网站 数据库,网络推广速成班,网页游戏排行榜奇迹,手机网站导航模板Flink 1.11 引入了 Flink SQL CDC#xff0c;CDC 能给我们数据和业务间能带来什么变化#xff1f;本文由 Apache Flink PMC#xff0c;阿里巴巴技术专家伍翀 (云邪#xff09;分享#xff0c;内容将从传统的数据同步方案#xff0c;基于 Flink CDC 同步的解决方案以及更多…Flink 1.11 引入了 Flink SQL CDCCDC 能给我们数据和业务间能带来什么变化本文由 Apache Flink PMC阿里巴巴技术专家伍翀 (云邪分享内容将从传统的数据同步方案基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。 1、传统数据同步方案 2、基于 Flink SQL CDC 的数据同步方案Demo 3、Flink SQL CDC 的更多应用场景 4、Flink SQL CDC 的未来规划 直播回顾https://www.bilibili.com/video/BV1zt4y1D7kt/
传统的数据同步方案与 Flink SQL CDC 解决方案
业务系统经常会遇到需要更新数据到多个存储的需求。例如一个订单系统刚刚开始只需要写入数据库即可完成业务使用。某天 BI 团队期望对数据库做全文索引于是我们同时要写多一份数据到 ES 中改造后一段时间又有需求需要写入到 Redis 缓存中。
很明显这种模式是不可持续发展的这种双写到各个数据存储系统中可能导致不可维护和扩展数据一致性问题等需要引入分布式事务成本和复杂度也随之增加。我们可以通过 CDCChange Data Capture工具进行解除耦合同步到下游需要同步的存储系统。通过这种方式提高系统的稳健性也方便后续的维护。 Flink SQL CDC 数据同步与原理解析
CDC 全称是 Change Data Capture 它是一个比较广义的概念只要能捕获变更的数据我们都可以称为 CDC 。业界主要有基于查询的 CDC 和基于日志的 CDC 可以从下面表格对比他们功能和差异点。
经过以上对比我们可以发现基于日志 CDC 有以下这几种优势 · 能够捕获所有数据的变化捕获完整的变更记录。在异地容灾数据备份等场景中得到广泛应用如果是基于查询的 CDC 有可能导致两次查询的中间一部分数据丢失 · 每次 DML 操作均有记录无需像查询 CDC 这样发起全表扫描进行过滤拥有更高的效率和性能具有低延迟不增加数据库负载的优势 · 无需入侵业务业务解耦无需更改业务模型 · 捕获删除事件和捕获旧记录的状态在查询 CDC 中周期的查询无法感知中间数据是否删除 基于日志的 CDC 方案介绍
从 ETL 的角度进行分析一般采集的都是业务库数据这里使用 MySQL 作为需要采集的数据库通过 Debezium 把 MySQL Binlog 进行采集后发送至 Kafka 消息队列然后对接一些实时计算引擎或者 APP 进行消费后把数据传输入 OLAP 系统或者其他存储介质。 Flink 希望打通更多数据源发挥完整的计算能力。我们生产中主要来源于业务日志和数据库日志Flink 在业务日志的支持上已经非常完善但是在数据库日志支持方面在 Flink 1.11 前还属于一片空白这就是为什么要集成 CDC 的原因之一。 Flink SQL 内部支持了完整的 changelog 机制所以 Flink 对接 CDC 数据只需要把CDC 数据转换成 Flink 认识的数据所以在 Flink 1.11 里面重构了 TableSource 接口以便更好支持和集成 CDC。
重构后的 TableSource 输出的都是 RowData 数据结构代表了一行的数据。在RowData 上面会有一个元数据的信息我们称为 RowKind 。RowKind 里面包括了插入、更新前、更新后、删除这样和数据库里面的 binlog 概念十分类似。通过 Debezium 采集的 JSON 格式包含了旧数据和新数据行以及原数据信息op 的 u表示是 update 更新操作标识符ts_ms 表示同步的时间戳。因此对接 Debezium JSON 的数据其实就是将这种原始的 JSON 数据转换成 Flink 认识的 RowData。 选择 Flink 作为 ETL 工具
当选择 Flink 作为 ETL 工具时在数据同步场景如下图同步结构
通过 Debezium 订阅业务库 MySQL 的 Binlog 传输至 Kafka Flink 通过创建 Kafka 表指定 format 格式为 debezium-json 然后通过 Flink 进行计算后或者直接插入到其他外部数据存储系统例如图中的 Elasticsearch 和 PostgreSQL。
但是这个架构有个缺点我们可以看到采集端组件过多导致维护繁杂这时候就会想是否可以用 Flink SQL 直接对接 MySQL 的 binlog 数据呢有没可以替代的方案呢 答案是有的经过改进后结构如下图
社区开发了 flink-cdc-connectors 组件这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。目前也已开源开源地址https://github.com/ververica/flink-cdc-connectors flink-cdc-connectors 可以用来替换 DebeziumKafka 的数据采集模块从而实现 Flink SQL 采集计算传输ETL一体化这样做的优点有以下 · 开箱即用简单易上手 · 减少维护的组件简化实时链路减轻部署成本 · 减小端到端延迟 · Flink 自身支持 Exactly Once 的读取和计算 · 数据不落地减少存储成本 · 支持全量和增量流式读取 · binlog 采集位点可回溯*
