西城网站制作公司,电商平台建站,怎么创办网站,wordpress怎么制作搜索框导语
自2024年9月6日起#xff0c;TDMQ Pulsar 版专业集群支持消息、元数据两级跨地域复制功能#xff0c;消息级复制解决用户全球地域的数据统一归档问题#xff0c;元数据级复制提供解决用户核心业务跨地域容灾的场景。
用户在跨地域场景遇到的疑问和挑战
在跨地域相关…导语
自2024年9月6日起TDMQ Pulsar 版专业集群支持消息、元数据两级跨地域复制功能消息级复制解决用户全球地域的数据统一归档问题元数据级复制提供解决用户核心业务跨地域容灾的场景。
用户在跨地域场景遇到的疑问和挑战
在跨地域相关场景下通常有两大类原始需求
跨地域容灾
TDMQ Pulsar 版目前支持在同一地域下进行跨可用区部署这种部署方式能够在一定程度上提高系统的可用性和容灾能力。 如上图所示在广州地域内的3个可用区部署了 TDMQ Pulsar 版集群。如果广州的某个可用区无法使用系统仍然可以依靠其他两个可用区继续提供服务。
然而金融级客户通常需要更高的容灾标准希望能够通过跨地域部署来实现跨地域的容灾以确保在极端情况下比如发生自然灾害或网络故障时也能保证业务的连续性和数据的安全性。 如上图展示的架构用户业务可以在主地域进行日常的生产和消费同时在其他地域进行数据备份和灾备。这种架构能够实现当一个数据中心发生故障时迅速切换到另一个地域的数据中心确保业务不中断以保护数据的完整性和可用性。
全球数据归档
这类需求一般来源于国际站用户例如某客户希望实现流数据的全球跨地域传输和统一数据归档 。具体场景如下图 不同地域的生产者各自在本地生成数据并将这些数据发送到对应地域的 TDMQ Pulsar 版集群这些集群将接收到的数据传输到数据中心的 TDMQ Pulsar 版集群数据中心收集来自所有地域的数据后将其聚合在同一个 Topic 中之后消费者可以从聚合后的数据中读取和处理信息实现数据的统一归档。
TDMQ Pulsar 版跨地域复制功能介绍
基于以上两类用户需求TDMQ Pulsar 版提供了跨地域复制的解决方案。
TDMQ Pulsar 专业版基于 GEO Replication 方案实现跨地域的集群复制专业集群支持两种类型的复制 元数据级用于满足用户核心业务跨地域容灾需求元数据级复制集群的命名空间、Topic、订阅、角色等内容。 消息级解决用户全球地域的数据统一归档问题消息级复制消息内容、消息顺序、标签、消息类型等。 元数据级复制
元数据级复制用于应对跨地域容灾场景当发生地域级灾难时客户能够快速迁移业务确保业务的连续性。 在正常场景下业务在 A 地域访问 TDMQ Pulsar 版服务端用户需要完成两个前置动作 建立跨城网络的连接通过云联网打通跨地域的 VPC 网络 建立两地的集群元数据同步。
异常发生时TDMQ Pulsar 版提供域名解析切换功能将原 A 地域使用的域名指向到目标容灾 B 地域的集群这样做可避免在客户端修改接入点地址而实现对容灾 B 地域的集群连接方案保障业务的延续性。
A 地域异常恢复后
用户首先需要判断是否要将 B 地域所产生的消息回写至 A 地域以确保消息的完整性。
接着用户在 B 地域的集群进行接入点的域名解析切回切回操作执行后客户端即可正常访问 A 地域。
消息级复制
TDMQ Pulsar 版消息级复制用于解决数据统一归档问题。 以上海地域复制到北京地域为例。
上海地域的 Pulsar 集群中运行 Replicator 组件该组件中会启动 Producer-R绑定了北京地域对端集群的 Topic1将消息数据用生产者的方式发送到北京机房。具体的复制过程如下 Producer1 生产消息到上海集群 Topic1 上海集群把消息持久化到 BookKeeper BookKeeper 返回成功后把消息推给 Replicator 的 Cursor Replicator 的 Cursor 通过 Producer-R 把消息发给北京集群 Topic1 北京集群 Topic1 写入 BookKeeper 成功后给上海集群 Replicator 的 Cursor 回复 ACK上海机房 Cursor 收到 ACK 后通过 Producer-R 推送下一条消息。
通过这种方式上海集群的消息就可以被可靠地复制到北京集群确保数据在两个地域之间的一致性和可用性。这种流程就实现了全球多个地点生成的数据 能够集中在一个地点进行管理和处理实现了数据归档操作。
跨地域复制使用指引 在目标复制地域创建专业集群在集群购买界面需要开启「跨地域复制」开关并选择数据源集群 通过控制台配置集群的复制链路 ● 复制链路名称为同步链路定义一个名字。 ● 链路类型选择消息级。 ● 源集群选择选择要进行数据源的 TDMQ Pulsar 版集群。 ● 目标集群选择在不同地域选择创建好的目标集群此处仅会显示「集群 ID」相同的集群。 ● 复制级别支持集群级、命名空间和 Topic 三个级别 ○ 集群级适用于集群级的复制。○ 命名空间级适用于两地集群日常都是活跃的不同的命名空间分布在不同地域。○ Topic 级跨地域复制的最小粒度。创建完成后消息级的复制任务会进入到监控界面您可以查阅复制任务的事实复制速率、复制消息堆积等数据。 基于 TDMQ Pulsar 版在金融在线高并发场景的最佳实践
FiT 是腾讯公司提供移动支付与金融服务 的 综合业务平台。业务领域包括 移动支付、投资理财、民生服务和国际化等。
业务需求
FiT 在日常的交易流程中需要通过 消息中间件 来实现上游和下游衔接以实现广播、过滤、延迟推送等场景。由于 FiT 均是交易类场景对消息产品的高并发、容灾均有非常高的要求。
TDMQ Pulsar 版解决方案
在应用实践上用户选择了 TDMQ Pulsar 版这款产品。 标准模型-发布订阅使用标准的 pub - sub 模式生产者生产一条消息任意一个消费者成功消费即可。在部署方面客户端的生产者和消费者均解耦部署。 扩散模型消息生产消费比例为 1N 将业务请求异步「扩散」到其他的多个SET中实现一端生产多端消费。 限定模型-消息标签过滤自动创建订阅使用了 TAG 消息过滤的方式限定消息只能在某一个客户端消费。消息标签过滤用于对某个 Topic 下的消息进行分类例如交易流水 Topic 包含了下单流水、支付流水、发货流水等业务若只想消费者订阅其中一种类别的流水可在客户端进行 tag 的过滤。 跨地域复制通过配置复制关系自动将消息复制到对端集群当其中一个地域发生故障时通过接入层的流量调度将流量调度至另外一个集群。确保在发生灾难时业务能够迅速恢复保障业务的连续性降低了灾难发生时的风险和损失。 用户评价
得益于 TDMQ Pulsar 高吞吐、低延迟的能力FiT 金融产品业务迁移到 TDMQ Pulsar 后消息从生产者到消费者的耗时缩短了大约80%消息积压情况大大缓解积压数量减少了70%。
