珠海企业网站建设价格,企业名录免费查询器下载,南宁在百度上建网站,网站开发有什么文章目录 概要背景解决方法技术细节小结 概要
关于kafka重平衡问题在实践工作的应用
背景
重平衡包括以下几种场景:
消费者组内成员发生变更#xff0c;这个变更包括了增加和减少消费者。注意这里的减少有很大的可能是被动的#xff0c;就是某个消费者崩溃退出了主题的分… 文章目录 概要背景解决方法技术细节小结 概要
关于kafka重平衡问题在实践工作的应用
背景
重平衡包括以下几种场景:
消费者组内成员发生变更这个变更包括了增加和减少消费者。注意这里的减少有很大的可能是被动的就是某个消费者崩溃退出了主题的分区数发生变更kafka目前只支持增加分区当增加的时候就会触发重平衡订阅的主题发生变化当消费者组使用正则表达式订阅主题而恰好又新建了对应的主题就会触发重平衡
在实际工作应用中 第一点出现的情况会比较多 因为23经常就是初始化时候会触发一次正常运行下是不会出现23的 1增加和减少消费者 在涉及新服务接入等场景时 会触发。
导致1情况出现的具体场景有:
某个消费者服务重启某个服务在进行消费时(消费消息的过程就是对消息的计算或者说CSUD) 这个消息卡顿住了 进而超时 影响了整个消费者 例如: 500 max.poll.interval.ms 默认值5分钟表示若5分钟之内消费者没有消费完上一次poll的消息那么consumer会主动发起离开group的请求
解决方法 提示这里可以添加技术名词解释
例如
抑制重试机制在工作中一个消费者太长时间不去进行消费 会被强制踢掉下线这样就会导致消费者的减少 进而整个消费者组都进行重平衡优化架构 很多架构都是下游处理单元直接作为消费者进行消费 例如下游A,B,C三个服务直接消费kafka 那么其中一个服务除了问题 都有可能会影响到其余两个服务的消费 这种情况下 可以考虑通过优化架构的方式实现 重新建立一个服务 只负责作为消费者拉取消息那么流程就是kafka-D-A,B,C, D只负责拉取消息 并存储(存储到redis, mysql ES等存储组件中) 下游的A,B,C再去这些存储组件拉取消息并进行处理消费者消费逻辑优化 消费消息时 可以先把消息存储下来 后续在进行处理GPT-3ChatGPT
技术细节
无
小结
kafka重平衡无法避免 但可以通过多个手段来保证稳定性 包括业务层的优化 架构的优化和kafka组件配置的设置等
