php外贸网站制作,科技咨询公司,常州公司网站建设多少钱,小程序有什么用1#xff0c;实时同步#xff1f;
datax 通常做离线数据同步使用。
目前能想到的方案
利用 linux 的定时任务时间戳的方式做增量同步。
2#xff0c;同步速度快不快#xff1f;
单表同步速度还是挺快的 但是如果遇到复杂的 sql 查询#xff0c;其同步效率#xff0c… 1实时同步
datax 通常做离线数据同步使用。
目前能想到的方案
利用 linux 的定时任务时间戳的方式做增量同步。
2同步速度快不快
单表同步速度还是挺快的 但是如果遇到复杂的 sql 查询其同步效率依赖于读取数据的 sql 的执行效率
单表使用 querySql数量 三千五百万数据全量同步时间 3writeMode模式选择
总共三种insert/replace/update
对于导入端是 mysql的话
insert 就是单纯的插入。不判重。如果遇到主键冲突就报错提示。
replace原理类似 mysql 的 replace into 的原理
update原理类似 mysql 的on duplicate key update的原理。
总之在设计目标的表时候需要增加唯一索引避免出现数据重复插入的问题。
4, 优化
这个目前还在研究中。。。。
另外如果不设置splitPk属性datax 按单通道执行。
