网站页面怎么算,商城网站做推广方案,网站建设 自适应,做网站 指导背景
在之前的业务场景中#xff0c;我们发现Kafka的实际消费能力远低于预期。尽管我们使用了kafka-go组件并进行了相关测试#xff0c;测试情况见《kafka-go:性能测试》这篇文章。但并未能准确找出消费能力低下的原因。
我们曾怀疑这可能是由我的电脑网络带宽问题或Kafka部…背景
在之前的业务场景中我们发现Kafka的实际消费能力远低于预期。尽管我们使用了kafka-go组件并进行了相关测试测试情况见《kafka-go:性能测试》这篇文章。但并未能准确找出消费能力低下的原因。
我们曾怀疑这可能是由我的电脑网络带宽问题或Kafka部署时的某些未知配置所导致。
为了进一步确定问题的根源我们决定对Kafka的消费能力进行压力测试。
在这篇《kafka的Docker镜像使用说明wurstmeister/kafka》文章中我们介绍了基于Docker安装并运行kafka的步骤。
这篇文章中我们重点看一下压测的情况。
压测
kafka消费者压测。
测试命令
kafka-consumer-perf-test.sh --broker-list 172.26.224.165:30001 --topic dreame_mall_log_uat_business --fetch-size 10000 -messages 100000 --threads 1
参数解释
broker-list部署的kafka节点地址。我这里测试的是部署在服务器上的kafka消费性能。topic指定topic名称fetch-size指定每个fetch的数据大小单位字节。messages总共要消费的消息个数
使用方法
进入容器中进入命令行工具到bin目录下输入上述测试命令。 结果
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec 2025-02-18 03:52:57:888, 2025-02-18 03:59:35:970, 1732.0945, 4.3511, 100008, 251.2246 输出参数含义
start.time开始时间
end.time结束时间
data.consumed.in.MB共消费数据单位MB。如我们上述的结果1732.0945MB。
MB.sec:吞吐量每秒多少MB。如我们上述的结果4.3511MB/s。
data.consumed.in.nMsg共消费数据。如我们上述的结果100008条。
nMsg.sec平均每秒消费多少条。如我们上述的结果251.2246条/s。
结论
通过压测工具的数据和我之前通过kakfa-go组件测试的情况看kafka消费性能比预期差了很多的原因并不是由kafka-go这个组件导致的应该是网络带宽限制造成的。
进一步测试我本地从WIFI切换到有线网络消费能力提升了一倍确定了是我本地计算机网络带宽限制造成的。
