青岛网站维护公司,浙江进出口贸易公司名录,国家企业信息公示网查询官网,深圳龙华医院网站建设Architecture
系统间解耦#xff0c;异步通信#xff0c;削峰填谷 Topic 消息主题#xff0c;用于存储消息 Partition 分区#xff0c;通过扩大分区#xff0c;可以提高存储量 Broker 部署Kafka服务的设备 Leader kafka主分区 Follwer kafka从分区 高性能之道#xff1a…Architecture
系统间解耦异步通信削峰填谷 Topic 消息主题用于存储消息 Partition 分区通过扩大分区可以提高存储量 Broker 部署Kafka服务的设备 Leader kafka主分区 Follwer kafka从分区 高性能之道 读零拷贝技术sendfile 写顺序写 内存映射文件mmap
Config
Producer ackretry机制 ack配置参数 0表示生产者只要将消息发出就认为发送成功不会等待任何回复性能最高 1表示生产者发出消息后会等待Leader回复收到回复后认为发送成功 all表示生产者发出消息后会等待Leader和所有Follwer回复才认为发送成功最可靠 retry 发送失败重试 idempotence 幂等性配置 transaction-id 事务id配置确保事务id唯一 batch-size 批处理大小 buffer-memory 缓冲区内存大小 key-serializer key 序列化 value-serializer value 序列化 Consumer group-id 组id auto-offset-reset 配置消费位置 earliest 表示从最早的位置开始消费 latest 表示从最新的下一个偏移位置消费 none 根据最近一次提交位置消费没有提交位报错 enable-auto-commit 是否开启自动提交 auto-commit-interval 自动提交间隔 transaction-isolation-level 配置事务隔离级别 key-deserializer key 反序列化 value-deserializer value 反序列化
HW LE
早期使用HW截断处理了可能会造成丢失数据和数据不一致问题 0.11版本以后使用LE不会直接截断会根据leader返回的版本进行判断是否截断从而避免了数据丢失和不一致问题
