漳州正规网站建设价格,wordpress后台慢的问题,温州互联网前十名公司,网址浏览器作者#xff1a;娜米
云消息队列 Kafka 版为什么需要做无代码转储
云消息队列 Kafka 版本身是一个分布式流处理平台#xff0c;具有高吞吐量、低延迟和可扩展性等特性。它被广泛应用于实时数据处理和流式数据传输的场景。然而#xff0c;为了将云消息队列 Kafka 版与其他数…作者娜米
云消息队列 Kafka 版为什么需要做无代码转储
云消息队列 Kafka 版本身是一个分布式流处理平台具有高吞吐量、低延迟和可扩展性等特性。它被广泛应用于实时数据处理和流式数据传输的场景。然而为了将云消息队列 Kafka 版与其他数据源和数据目的地集成需要额外的开发/组件来实现数据的传输和同步客户需要大量的研发、运维等投入。
为了提升研发效率云消息队列 Kafka 版联合阿里云产品支持到无代码、全托管、Serverless 化的功能特性支持从云消息队列 Kafka 版到 OSS 的转储。该功能特性的优势有
简单 敏捷开发简单配置就可以支持该能力轻松转储不同应用程序的 OSS 数据无需复杂的软件和基础设施 全托管 提供 Serverless 计算能力免运维成熟功能 低成本 云消息队列 Kafka 版本身不额外收费底层依赖函数计算按量收费函数计算为该场景做深度优化结合架构实现低成本引入 CDN 缓存机制动态计算配合衍生副本存储成本产品集成链路一定的减免费用
云消息队列 Kafka 版OSS 主要应用场景 数据备份和归档 OSS 提供了数据备份和归档的功能。客户可以选择将重要数据备份到 OSS 中以提供数据灾难恢复的能力。OSS 提供了数据持久性和可靠性的保证可以确保数据的安全性和可用性。同时OSS 还提供了归档存储的功能用于长期存储不经常访问的数据。客户可以将数据归档到 OSS 的归档存储类别中以节省存储成本并根据需要进行数据恢复。 大数据分析 阿里云的对象存储 OSS 可以作为大数据的存储平台。客户可以将各种类型的大数据文件如日志文件、传感器数据、用户行为数据等存储在 OSS 中以便后续进行数据分析、数据挖掘和机器学习等任务。客户可以在阿里云上完成大数据的存储、处理和分析任务实现弹性扩展和高性能的大数据处理。 FC 计算结果的缓存 阿里云函数计算Function Compute简称 FC是一种事件驱动的无服务器计算服务用于帮助用户以更低的成本和更高的弹性运行代码。而阿里云对象存储 OSS 是一种云端数据存储服务提供安全、稳定、高扩展性的云端存储能力。FC 是无状态的计算服务不提供持久化的本地存储。因此如果需要在函数执行期间存储和访问数据可以通过与 OSS 结合使用将数据存储在 OSS 中。这样可以实现数据的持久化存储确保数据不会因为函数计算的瞬时性而丢失。
代码转储产品能力介绍 1. 0 代码开发 转储/Connector 提供了与各种数据源和数据目的地的集成功能。通过使用云消息队列 Kafka 版转储/Connector 能力研发人员无需编写复杂的数据集成代码只需配置相应的 Connector 即可实现数据的传输和同步大大简化了数据集成的过程。
2. 配置化支持 用户可以根据自己的需求和业务场景灵活配置转发规则和存储策略。无论是按照时间、关键字、主题等维度进行转发支持按照文件夹、文件名等维度进行存储都可以通过简单的配置实现满足的个性化需求。
3. 高可靠性和容错性 转储/Connector 保证了数据的高可靠性和容错性。数据在传输过程中Connector 会自动处理数据的冗余和故障恢复确保数据不会丢失或损坏。这样用户不需要关注数据传输的细节和异常处理可以更加专注于业务逻辑的开发。
4. Serverless 化 可以根据请求的负载自动扩展和缩减计算资源。与传统的预分配服务器相比Serverless 化可以更灵活地适应实际需求降低资源浪费和成本。组件负责管理和维护底层基础架构客户无需关心服务器的配置和管理。
使用步骤说明
前提条件
1. 云消息队列 Kafka 版实例准备 [ 1]
依赖开放请参见创建前提 [ 2]
步骤一创建目标服务资源
在对象存储 OSS 控制台创建一个存储空间Bucket。详细步骤请参见控制台创建存储空间 [ 3] 。
本文以 oss-sink-connector-bucket Bucket 为例。
步骤二创建 OSS Sink Connector 并启动
登录云消息队列 Kafka 版控制台 [ 4] 在概览页面的资源分布区域选择地域。
在左侧导航栏选择 Connector 生态集成 消息流出Sink。
在消息流出Sink页面单击创建任务。
在消息流出创建面板配置以下参数单击确定。
在基础信息区域设置任务名称将流出类型选择为对象存储 OSS。
在资源配置区域设置以下参数。 完成上述配置后在消息流出Sink页面找到刚创建的 OSS Sink Connector 任务单击其右侧操作列的启动。当状态栏由启动中变为运行中时Connector 创建成功。
步骤三测试 OSS Sink Connector
在消息流出Sink页面在 OSS Sink Connector 任务的事件源列单击源 Topic。
在 Topic 详情页面单击体验发送消息。
在快速体验消息收发面板按照下图配置消息内容然后单击确定。 在消息流出Sink页面在 OSS Sink Connector 任务的事件目标列单击目标 Bucket。
在 Bucket 页面选择左侧导航栏的文件管理 文件列表然后进入 Bucket 的最深层路径。 可以看到此路径中有如下两类 Object
系统 meta 文件 格式为 .oss_meta_file_partition_{partitionID}文件数量和上游 Topic 的 Partition 数量相同用于记录攒批信息您无需关注。数据文件 格式为 partition_{partitionID}offset{offset}_{8位Random 字符串}如果一个 Object 中聚合了一个 Partition 的多条消息Object 名称中的 Offset 为这批消息中的最小 Offset 值。
在对应 Object 右侧操作列选择 下载。
打开下载的文件查看消息内容。
如图所示多条消息之间通过换行分隔。
相关链接
[1] 云消息队列 Kafka 版实例准备
https://help.aliyun.com/zh/apsaramq-for-kafka/getting-started/getting-started-overview
[2] 创建前提
https://help.aliyun.com/zh/apsaramq-for-kafka/user-guide/prerequisites#concept-2323967
[3] 控制台创建存储空间
https://help.aliyun.com/zh/oss/getting-started/console-quick-start#task-u3p-3n4-tdb
[4] 云消息队列 Kafka 版控制台
https://account.aliyun.com/login/login.htm?oauth_callbackhttps%3A%2F%2Fkafka.console.aliyun.com%2F%3Fspm%3Da2c4g.11186623.2.22.6bf72638IfKzDmlangzh
点击此处云消息队列 Kafka 版 V3 公测正式开启
