首页 > 其他 > 详细

SQOOP

时间:2015-04-20 00:33:14      阅读:237      评论:0      收藏:0      [点我收藏+]

SQOOP是用于对数据进行导入导出的。

 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中  

(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

1.把数据从mysql导入到hdfs(默认是/user/<username>)中  

sqoop import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by ‘\t‘  --null-string ‘**‘  -m 1 --append  --hive-import   sqoop import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by ‘\t‘  --null-string ‘**‘  -m 1 --append  --hive-import  --check-column ‘TBL_ID‘ --incremental append --last-value 6  

2.把数据从hdfs导出到mysql中 

  sqoop export --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table ids --fields-terminated-by ‘\t‘ --export-dir ‘/ids‘  

3.设置为作业,运行作业  

sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by ‘\t‘  --null-string ‘**‘  -m 1 --append  --hive-import   

4. 导入导出的事务是以Mapper任务为单位。

SQOOP

原文:http://www.cnblogs.com/mlj5288/p/4440393.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!