中小学生在线做试卷的网站,中国万网域名注册免费,源码建站教程,河北建设网官网首页Kafka 介绍
Kafka 是一个高吞吐的分布式消息系统#xff0c;不但像传统消息队列#xff08;RaabitMQ、RocketMQ等#xff09;那样能够【异步处理、流量消峰、服务解耦】
还能够把消息持久化到磁盘上#xff0c;用于批量消费。除此之外由于 Kafka 被设计成分布式系统…Kafka 介绍
Kafka 是一个高吞吐的分布式消息系统不但像传统消息队列RaabitMQ、RocketMQ等那样能够【异步处理、流量消峰、服务解耦】
还能够把消息持久化到磁盘上用于批量消费。除此之外由于 Kafka 被设计成分布式系统吞吐量和可用性大大提高
Kafka 角色
kafka 客户端 生产者producer也叫发布者负责创建消息消费者consumer也叫订阅者负责消费读取消息Kafka 服务端broker leader对外提供读写服务follower不提供服务负责向 leader 同步数据
Topic主题和 partition分区
topic 就是消息发布的地方消费者通过订阅 topic 来消费到对应的消息
为了提高吞吐量实现 topic 的负载均衡Kafka 在 topic 下又引用了分区partition的概念每个 topic 可以被划分成多个分区
分区允许消息在 Topic 下水平分割和存储每个分区都是一个有序且不可变的消息队列消费者可以以并行的方式消费同一个 topic 中的消息
PStopic 是逻辑上的概念消息真正是存储到 partition 中去的 例如某个 topic 下被划分成 n 个分区那么这个 topic 的并发度就提高 n同时可以支持 n 个 consumer 并行消费该 topic 中的消息 log日志
对于每一个 topic Kafka 都会维护一个分区日志 每个分区都是一个有序的、不可变的消息队列且可以持续地添加消息。消息在分区中分配了唯一的序列号被称为偏移量Offset offset 用来唯一的标识分区中每一条记录 Kafka 会保留所有分区中的消息不会自动删除消息。消息的保留策略由 Kafka 配置参数控制消息可以在一定时间或达到一定大小后过期过期的消息会被删除
消费者在 Kafka 中只保留自己的 Offset用于标识它在分区中的位置。通常情况下当 消费者消费消息时它的 Offset 会线性增加表示它已经消费了这些消息
消费者可以选择将 Offset 重置为更旧的值从而重新开始读取消息
每个消费者实例唯一负责一个分区Kafka 只保证分区内的记录是有序的而不保证主题中不同分区的顺序
Kafka 集群
Kafka 是分布式架构有集群cluster的概念
Kafka 中的一个实例被称为 broker它接收生产者的消息并存入磁盘消费者连接 broker 消费消息
多个 broker 组成一个 Kafka cluster集群内某个 broker 会成为集群控制器cluster controller负责管理整个 Kafka 集群包括分配分区给 broker监控 broker 等
分区被复制成了多个副本replica然后均分在不同的 broker 上 其中一个副本 Leader其他的是 Follower 创建副本的单位是 topic 的 分区 正常情况下每个分区都有一个 leader 和零或多个 followers 。这样即使某个 broker 发生故障其他 broker上的副本仍然可以继续提供服务 那如何将所有的副本均匀分布在不同 broker 上呢
分配副本的算法如下
将所有 broker假设共 n 个 broker和待分配的分区排序将第 i 个分区分配到第i mod n个 broker上将第 i 个分区的第 j 个副本分配到第(i j) mode n个 broker 上
如何实现数据同步
我们先来看下 Kafka 中的 ISRIn-Sync Replicas 机制
既然每个 leader 下面都有至少一个 follower于是便有了 ISRISR 就是 Kafka 动态维护的一组同步副本集合
ISR 中所有的 follower 都与 leader 保持同步状态而且 leader 也在 ISR 列表中只有在自己 ISR 列表中的副本才能参与 leader 竞选
当生产者写入数据时leader 更新数据follower 是怎么知道 leader 更新然后去同步数据的呢
follower 会通过定期向 leader 发送 fetch 请求来实现数据同步这个是由 fetcher 线程来负责的
当一个副本被选举成为 follower 后会启动副本的 fetcher 线程随后 Follower 会定期向 Leader 发送心跳请求以保持连接并发送 fetch 请求来获取最新的数据。
如果 follower 发现自己的 LEOLog End Offset日志结束偏移量与 Leader 的 LEO 有差距时会触发同步数据请求以便将自身日志同步至 Leader 的对应位置确保与 Leader 的数据保持一致
如果一个 follower 在指定时间内配置字段为 replica.lag.time.max.ms没有发送 fecth 请求或者没有追上 leader 的 LEO就会从 ISR 中移除
