首页 > 数据库技术 > 详细

定时每天执行前一天的数据导入oracle

时间:2015-10-20 19:13:21      阅读:334      评论:0      收藏:0      [点我收藏+]
#!/bin/bash
export LANG="en_US.UTF-8"

#设定时间变量,为前一天时间
log_date=`date +%Y-%m-%d -d "-1 days"`
#清空hive上的数据,再重建一个文件夹 hadoop dfs
-rm -r /hjh/channels hadoop dfs -mkdir /hjh/channels
#设置文件路径 curr_dir
="/home/hadoop/hjh/sh/channels/runlastdaychannels/" temdir="${curr_dir}template/" hqlfiledir="${curr_dir}hqlfile/"
#设置hql的文件路径 importTemFile
="${temdir}channels.hql" importHqlFile="${hqlfiledir}channels_${log_date}.hql" rm -f ${importHqlFile} cp ${importTemFile} ${importHqlFile}
#发送hql文件到另一个文件夹 sed
-i "s/__DATE_STR__/${log_date}/g" ${importHqlFile} /opt/hive-0.13.0/bin/hive -f ${importHqlFile}
#把执行之后hdfs上的数据导入到oracle
/opt/sqoop-1.4.4/bin/sqoop export --table mytablename --connect jdbc:oracle:thin:@**.**.**.**:***:dbasename --username myusername--password mypassword
--export-dir /result/hive/***/000000_0 --columns column1,column2,column3
--input-fields-terminated-by \001‘ --input-lines-terminated-by \n

定时每天执行前一天的数据导入oracle

原文:http://www.cnblogs.com/aijianiula/p/4895554.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!