风讯网站内容管理系统,在线做任务的网站,国家网站集约化建设试点方案,成都创新网站建设简述
Kafka 为处理实时数据提供了一个统一、高吞吐、低延迟的平台#xff0c;其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”#xff0c;这使它作为企业级基础设施来处理流式数据非常有价值。因此实现 Kafka 到 Kafka 的数据同步也成了一项重要…简述
Kafka 为处理实时数据提供了一个统一、高吞吐、低延迟的平台其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”这使它作为企业级基础设施来处理流式数据非常有价值。因此实现 Kafka 到 Kafka 的数据同步也成了一项重要工作。
本篇文章主要介绍如何使用 CloudCanal 构建一条 Kafka 到 Kafka 的数据同步链路。
技术点
消费者消息推送
在任务创建后CloudCanal 会自动创建消费组并订阅需要同步消息的 Topic。CloudCanal 从源端拉取到消息后会将消息推送到目标端。
心跳机制
Kafka 在记录消费者的位点时只会保存最新一条消息的时间在源端 Kafka 未发送消息时CloudCanal 便无法正常感知消息的延时时间。
我们采用了主动发送心跳消息的方式解决这个问题在 打开 Kafka 源端心跳 后源端会定时向目标端发送一条空消息在目标端接收到消息后CloudCanal 会更新延时时间并过滤掉该条消息。根据业务需要可设置 dbHeartbeatIntervalSec 参数控制发送消息的间隔。
操作示例
步骤1: 配置 Kafka 权限
参考 Kafka 需要的权限 文档设置 CloudCanal 需要的账号权限。
步骤2: 安装 CloudCanal
请参考 全新安装(Docker Linux/MacOS)下载安装 CloudCanal 私有部署版本。
步骤 3: 添加数据源
登录 CloudCanal 控制台点击 数据源管理 新增数据源 。
步骤4: 创建任务 点击 同步任务 创建任务。 选择源和目标数据源并分别点击 测试连接。 选择同步的 消息格式。倘若没有特定的消息格式请选择 原始消息格式。 选择 增量同步。 选择需要同步的 Topic。 点击 确认创建。 任务创建过程将会进行一系列操作点击 同步设置 异步任务找到任务的创建记录并点击 详情 即可查看。 Kafka 源端的任务创建会有以下几个步骤 结构迁移分配任务执行机器创建任务状态机完成任务创建 等待任务自动流转。 当任务创建完成CloudCanal 会自动进行任务流转其中的步骤包括 结构迁移: Kafka 源端会自动为对端创建 Topic如果目标 Topic 在对端已存在则会忽略。增量数据同步: 增量数据将会持续地同步到对端数据库并且保持实时秒级别延迟。
总结
本文简单介绍了如何使用 CloudCanal 进行 Kakfa 到 Kafka 数据同步助力企业快速构建数据管道增强数据分析能力。
