首页 > 其他 > 详细

datax踩坑

时间:2020-03-01 20:16:51      阅读:112      评论:0      收藏:0      [点我收藏+]

datax使用心得:

1.下载路径:https://github.com/alibaba/DataX 在页面中【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名:datax.tar.gz。解压后{datax}目录下有{bin conf job lib log log_perf plugin script tmp}几个目录。

 2.由于现在用的 python 版本大多为 python3 ,所以把 [datax_hoem]/bin 目录下的三个py文件修改成了符合 python3 语法要求的文件,执行也没报错,修改后的文件,如需要可下载替换:https://github.com/TwoThreeWang/DataX_Python3

3.建立csv到mysql的json文件(命名为test.json)

{
     "job": {
          "setting": {
              "speed": {
                  "channel": 2
              }
         },
          "content": [
              {
                "reader": {
                     "name": "txtfilereader",
                     "parameter": {
                        "path": ["D:/a.csv"],
                         "encoding": "UTF-8",
                         "column": [
                             {
                                 "index": 0,
                                 "type": "string"
                             },
                             {
                                 "index": 1,
                                 "type": "string"
                             }
                         ],
                         "fieldDelimiter": ";",
                         "skipHeader": "False"
                    }
                 },
                 
                "writer": {
 
                    "name": "mysqlwriter",
 
                     "parameter": {
 
                       "writeMode": "insert",
 
                        "username": "root",
 
                         "password": "ljm",
 
                        "column": [

                            "http",
 
                             "https"
 
                         ],
 
                         "session": [],
 
                         "connection": [
 
                             {
 
                                 "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/big_shuju?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8",
 
                                 "table": ["test"]

                             }
 
                         ]
 
                     }
 
                 }                 
                
             }
         ]
     }
 }

  注:密码不能为空,如果mysql连接密码是空,请提前修改密码。

4.启动datax的执行命令:python datax.py D:\DataX-json\test.json(注:后面的是json文件路径,控制台运行时提前切换到datax/bin目录)

5.控制台出现乱码:直接输入CHCP 65001即可

 测试截图:

技术分享图片

 

 

技术分享图片

 

 

 

datax踩坑

原文:https://www.cnblogs.com/ljm-zsy/p/12391406.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!