网站的建设方式,济南网站建设 刘彬彬,深圳营销外贸网站制作,网络编程课文章目录 常见的消息队列工作模式基本概念kafka 特性Kafka 基本架构topic 分区的 目的/ 好处 日志存储形式消费者#xff0c;消费方式 逻辑消费组 高性能写入#xff1a; 顺序写 mmap读取#xff1a;零拷贝DMA 使用场景 常见的消息队列工作模式
至多一次#xff1a;消息被… 文章目录 常见的消息队列工作模式基本概念kafka 特性Kafka 基本架构topic 分区的 目的/ 好处 日志存储形式消费者消费方式 逻辑消费组 高性能写入 顺序写 mmap读取零拷贝DMA 使用场景 常见的消息队列工作模式
至多一次消息被确认消费后删除消息一般只允许被一个消费者消费且队列中的数据不允许被重复消费。activeMQ 就是这种。没有限制消息可以被多个消费者同时消费并且同一个消费者可以多次消费同一个记录大数据场景。
基本概念
集群中的一则消息也称为 RecordTopic 用于分类集群中的消息-record每个topic 可以有多个订阅者。topic 是一种逻辑上的概念每一个Record 只属于一个Topic分区日志 partition 用于持久化存储 topic 中的 record生产者决定 record 发送到 topic 中的哪一个partition 中Broker 一个具体的消息服务实例Leader Broker 中语言读写数据的角色follower同步leader 数据leader如果宕机 用于选举新leader来读写集群中的 Leader 的监控 和 Topic 元数据 存储在 Zookeeper 中
kafka 特性
高吞吐率海量存储
Kafka 基本架构 topic 分区的 目的/ 好处
对 topic 容量的提升属于同一个 topic 的日志分散到多个 服务器 扩展了单机的容量还可以扩缩容提高并发/ 分流集群中 不同 的服务器作为不同 分区的 leader提高 io 能力均衡系统负载在使用消费组时增加分区也会增加 消费能力每个分区需要适配 托管它的服务器
日志存储形式
每组日志分区时一个有序的不可变的日志序列分区中的每一个Record 都被分配了唯一的序列编号 称为 offset record 会持久化时间越早序号越小使用硬盘存储日志文件。性能问题kafka 会定期检查日志文件然后将过期的数据从log 中移除由于分区的存在及写入策略的不同kafka 只能保证单个分区的先入先出的顺序性 无法保证多个分区之间的顺序性。也就是不是严格意义上的先进先出所以如果需要让kafka 保证顺序那就可以采用不分区的方式。
消费者消费方式 逻辑
每个消费者维护自己本次消费对应分区的偏移量由上多个消费者之间相互独立消费者在消费完一个批次的数据后将本次消费的偏移量( 实际是offset1是下次读取的起始位置)提交给 kafka 集群所以对每个消费者而言可以随意的控制 消费者的偏移量消费者可以从一个 topic 分区中的任意位置读取数据。
消费组
消费者使用 Consumer Group 名称标记自己发布到Topic 的每条记录都会传递到每个 消费组 中的一个消费者也就是说一个分区上的消息还是仅由组中的一个 消费者 消费新加入组的实例会接管其他消费者负责的某些分区是否优先接管负载大的消费者的分区组中的消费者个数 一般 不会大于 topic中 分区的数量多的只能作为备用基于的是均分策略 就是消费者的分身是一种逻辑上的消费者视为一个消费者提高了消费者的吞吐量在组中的实例间 均分消费提高了消费者的 可用性/容错性 一个 消费者 下线其负责的分区将由组中的其他实例 负责处理
高性能
写入 顺序写 mmap
mmap 内存传入 fd 直接映射文件对应内核 PageCachekafka 写入 mmap 映射的内存OS 自动刷写磁盘数据丢失问题#2顺序写入
读取零拷贝DMA
零拷贝用户空间零拷贝 数据不经过用户空间从 内核缓冲区 直接拷贝到socket 缓冲区然后发送出去dma 协处理器传统io 需要cpu 在磁盘驱动器缓冲区与内核缓冲区之间来回拷贝过程中磁盘反复发出中断cpu还需要反复处理中断引入dma后 cpu 来回拷贝、中断处理 的动作由dma 完成拷贝完成后/ 数据足够多后 通知cpu。期间 cpu 可以用于处理其他任务。
使用场景
解耦异步通信削峰填谷大数据
