广州公司网站建设公司万物识别扫一扫
8 Maxwell
文章目录
- 8 Maxwell
- 8.1 Maxwell与Canal、FlinkCDC的对比
- 8.2 Maxwell好处
- 8.3 Maxwell底层原理
- 8.4 全量同步速度如何
- 8.5 Maxwell数据重复问题
8.1 Maxwell与Canal、FlinkCDC的对比
1）FlinkCDC、Maxwell、Canal都是主要用于实时系统中实时数据同步处理场景。
| FlinkCDC | Maxwell | Canal | |
|---|---|---|---|
| SQL与数据条数关系 | SQL影响几条出现几条 | SQL影响几条出现几条 | 只有一整条（后续可能需要炸开） |
| 数据初始化功能（同步全量数据） | 有（支持多库多表同时做） | 有（单表） | 无 |
| 断点续传功能 | 有（放在CK） | 有（存在MySQL） | 有（本地） |
8.2 Maxwell好处
支持断点续传。
全量初始化同步。
自动根据库名和表名把数据发往Kafka的对应主题。
8.3 Maxwell底层原理
MySQL主从复制。
8.4 全量同步速度如何
同步速度慢，全量同步建议采用Sqoop或者DataX。
8.5 Maxwell数据重复问题
同步历史数据时，bootstrap会扫描所有数据。
同时maxwell会监听binlog变化。
例如：用bootstrap同步历史数据库时，历史数据库中新插入一条数据，这时bootstrap扫描到，maxwell进程也监控到了，这时就会出现数据重复问题。