网站导航栏目焦点设置,北京互联网企业有哪些,建设网站的目的以及意义,浏览器网站网址大全背景 Some time#xff0c;有个现场童鞋说咱的Kafka实例有个broker一直crash#xff0c;还截图给我看了#xff0c;大致是Kafka启动加载topic分区日志文件的时候#xff0c;然后就没了#xff0c;连个WARN都没有。当然#xff0c;光看这个截图咱啥都不知道#xff0c;因…背景 Some time有个现场童鞋说咱的Kafka实例有个broker一直crash还截图给我看了大致是Kafka启动加载topic分区日志文件的时候然后就没了连个WARN都没有。当然光看这个截图咱啥都不知道因此只能搞个会议一起看看这里说一下公司内部聊天软件太菜了所以就用腾讯会议嗯挺好的反正是免费的。
干活 好跟现场童鞋搞起来。嗯Kafka启动日志既然看不了啥那只能看下pod状态哦豁OOMKILLEDnice找到原因了嗯但是使用kubectl describe node xxxx 查看这个node还剩一半呀咋回事呢
Kafka pod是OOMKILLEDkubectl describe nodes xxxx 查看cpu/内存是足够的 那么是不是Node资源不够呢free -m 一看好家伙256G只剩1个G了而Kafka pod配置的request是4Gi那么启动的时候当然会被内核给干死了没内存了。到这一步了基本上就不干Kafka的事情了不过都查看现在了这会儿就继续查看哪个大哥占用了。
top -b -n 1 | head -n 12 | tail -n 10 查看前10占用内存最大的进程嗯发现是个死进程是容器的死进程但是这个容器所在的pod都已经删除了跟k8s大佬一沟通好吧是个开源bug到这我就没法处理了跟大佬沟通后有个脚本可以把这些死进程给干掉释放掉这些占用的内存出来当前环境只能通过脚本来巡检处理了不过新版本已经解决哎客户私有场景下现场环境版本总是落后的而且客户还不一定想升级不好搞呀
