首页 > 其他 > 详细

sqoop的安装和使用

时间:2018-01-11 19:56:33      阅读:212      评论:0      收藏:0      [点我收藏+]

1.下载sqoop

下载地址:http://ftp.wayne.edu/apache/sqoop/1.4.6/

技术分享图片

2.上传,解压

3.配置环境变量

vi /etc/profile

技术分享图片

使环境变量生效:

source /etc/profile

4.配置文件

技术分享图片

4.1 sqoop-env.sh

先将模板复制或重命名

vi sqoop-env.sh

 技术分享图片

4.2 添加mysq jar包

cp apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.45-bin.jar sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

 5.sqoop命令

5.1将hive数据导入mysql

注:

1.先在mysql中建表

2.mysql要授权给yarn子节点

 sqoop export --connect jdbc:mysql://linux1:3306/hive --username root --password oracle --table uv --export-dir /root/app/hadoop/hive/warehouse/hive.db/uv/000000_0 --input-fields-terminated-by ‘\t‘

5.2从mysql导出数据到hdfs

sqoop import –connect jdbc:mysql://linux1:3306/compression –username=hadoop –password=123456 –table uv -m 1
–target-dir /user/test

 5.3从mysql增量导入表数据到hdfs

sqoop import –connect jdbc:mysql://linux1:3306/compression –username=hadoop –password=123456 –table HADOOP_USER_INFO -m 1 –target-dir /user/test  –check-column id –incremental append –last-value 3

 

sqoop的安装和使用

原文:https://www.cnblogs.com/xiaoaofengyue/p/8269983.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!