设计网站页面步骤,外贸建站培训,住房和城乡建设局,网站栏目规划注意事项简介
DataX 是阿里云 DataWorks数据集成 的开源版本#xff0c;在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databe…简介
DataX 是阿里云 DataWorks数据集成 的开源版本在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
个人发现特点数据量超过千万的迁移速度回加快50000/s低于千万的速度只有4000/s左右目前还没发现原因 特点
DataX本身作为数据同步框架将不同数据源的同步抽象为从源头数据源读取数据的Reader插件以及向目标端写入数据的Writer插件理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
支持数据库
类型数据源Reader(读)Writer(写)文档RDBMS 关系型数据库MySQL√√读 、写Oracle√√读 、写OceanBase√√读 、写SQLServer√√读 、写PostgreSQL√√读 、写DRDS√√读 、写Kingbase√√读 、写通用RDBMS(支持所有关系型数据库)√√读 、写阿里云数仓数据存储ODPS√√读 、写ADB√写ADS√写OSS√√读 、写OCS√写Hologres√写AnalyticDB For PostgreSQL√写阿里云中间件datahub√√读 、写SLS√√读 、写图数据库阿里云 GDB√√读 、写Neo4j√写NoSQL数据存储OTS√√读 、写Hbase0.94√√读 、写Hbase1.1√√读 、写Phoenix4.x√√读 、写Phoenix5.x√√读 、写MongoDB√√读 、写Cassandra√√读 、写数仓数据存储StarRocks√√读 、写ApacheDoris√写ClickHouse√√读 、写Databend√写Hive√√读 、写kudu√写selectdb√写无结构化数据存储TxtFile√√读 、写FTP√√读 、写HDFS√√读 、写Elasticsearch√写时间序列数据库OpenTSDB√读TSDB√√读 、写TDengine√√读 、写
前提条件
JDK(1.8以上推荐1.8)Python(2或3都可以)Apache Maven 3.x (Compile DataX)
原生安装及使用
安装
安装包下载地址 下载后解压至本地某个目录进入bin目录即可运行同步作业
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json} 使用
配置示例从stream读取数据并打印到控制台 第一步、创建作业的配置文件json格式 可以通过命令查看配置模板 python datax.py -r {YOUR_READER} -w {YOUR_WRITER} $ cd {YOUR_DATAX_HOME}/bin
$ python datax.py -r streamreader -w streamwriter
DataX (UNKNOWN_DATAX_VERSION), From Alibaba !
Copyright (C) 2010-2015, Alibaba Group. All Rights Reserved.
Please refer to the streamreader document:https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md Please refer to the streamwriter document:https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md Please save the following configuration as a json file and usepython {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.{job: {content: [{reader: {name: streamreader, parameter: {column: [], sliceRecordCount: }}, writer: {name: streamwriter, parameter: {encoding: , print: true}}}], setting: {speed: {channel: }}}
} 根据模板配置json如下 #stream2stream.json
{job: {content: [{reader: {name: streamreader,parameter: {sliceRecordCount: 10,column: [{type: long,value: 10},{type: string,value: hello你好世界-DataX}]}},writer: {name: streamwriter,parameter: {encoding: UTF-8,print: true}}}],setting: {speed: {channel: 5}}}
} 第二步启动DataX $ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./stream2stream.json 同步结束显示日志如下 ...
2015-12-17 11:20:25.263 [job-0] INFO JobContainer -
任务启动时刻 : 2015-12-17 11:20:15
任务结束时刻 : 2015-12-17 11:20:25
任务总计耗时 : 10s
任务平均流量 : 205B/s
记录写入速度 : 5rec/s
读出记录总数 : 50
读写失败总数 : 0
data-web本地部署
前提是安装了datax
下载源码 https://github.com/WeiYe-Jing/datax-web.git
目录结构如下 修改admin配置文件
修改datax_admin下resources/application.yml文件
#数据源datasource:username: rootpassword: rooturl: jdbc:mysql://localhost:3306/datax_web?serverTimezoneAsia/ShanghaiuseLegacyDatetimeCodefalseuseSSLfalsenullNamePatternMatchesAlltrueuseUnicodetruecharacterEncodingUTF-8driver-class-name: com.mysql.jdbc.Driver 修改数据源配置目前仅支持mysql
# 配置mybatis-plus打印sql日志
logging:level:com.wugui.datax.admin.mapper: errorpath: ./data/applogs/admin
修改日志路径path
# datax-web emailmail:host: smtp.qq.comport: 25username: xxxqq.compassword: xxxproperties:mail:smtp:auth: truestarttls:enable: truerequired: truesocketFactory:class: javax.net.ssl.SSLSocketFactory
修改邮件发送配置(不需要可以不修改)
修改excutor配置文件
修改datax_executor下resources/application.yml文件
# log config
logging:config: classpath:logback.xmlpath: ./data/applogs/executor/jobhandler 修改日志路径path
datax:job:admin:### datax-web admin addressaddresses: http://127.0.0.1:8080executor:appname: datax-executorip:port: 9999### job log pathlogpath: ./data/applogs/executor/jobhandler### job log retention dayslogretentiondays: 30executor:jsonpath: /Users/mac/data/applogspypath: /Users/mac/tools/datax/bin/datax.py
修改datax.job配置
admin.addresses datax_admin部署地址如调度中心集群部署存在多个地址则用逗号分隔执行器将会使用该地址进行执行器心跳注册和任务结果回调executor.appname 执行器AppName每个执行器机器集群的唯一标示,执行器心跳注册分组依据executor.ip 默认为空表示自动获取IP多网卡时可手动设置指定IP该IP不会绑定Host仅作为通讯实用地址信息用于 执行器注册 和 调度中心请求并触发任务executor.port 执行器Server端口号默认端口为9999单机部署多个执行器时注意要配置不同执行器端口executor.logpath 执行器运行日志文件存储磁盘路径,需要对该路径拥有读写权限;executor.logretentiondays 执行器日志文件保存天数,过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能executor.jsonpath datax json临时文件保存路径pypath DataX启动脚本地址例如xxx/datax/bin/datax.py 如果系统配置DataX环境变量DATAX_HOMElogpath、jsonpath、pypath可不配log文件和临时json存放在环境变量路径下。 启动项目
本地idea开发环境
1.运行datax_admin下 DataXAdminApplication2.运行datax_executor下 DataXExecutorApplication
admin启动成功后日志会输出三个地址两个接口文档地址一个前端页面地址
启动成功
启动成功后打开页面默认管理员用户名admin 密码123456 http://localhost:8080/index.html#/dashboard data-web的docker安装
前提条件安装好mysql
docker run -d --name datax-admin -p 2020:2020 -v /newdisk/datax/log/datax-admin.log:/tmp/datax-admin.log hametan/datax-web:2.1.2 java -jar datax-admin-2.1.2.jar --PORT2020 --MYSQL_SERVICE_HOST192.168.31.131 --MYSQL_SERVICE_PORT3306 --MYSQL_USERroot --MYSQL_PASSWORD123456 --DB_DATABASEdataxdocker run -d --name datax-executor -p 2021:2021 -v /newdisk/datax/log/:/home/applogs/executor/jobhandler/ hametan/datax-web:2.1.2 java -jar datax-executor-2.1.2.jar --PORT2021 --ADDRESSEShttp://192.168.31.131:2020
