网站建设技术指标,公司网络组建,网站开发哈尔滨网站开发公司电话,wordpress 开启多站点这几天用Spark计算任务时#xff0c;发现yarn上有两个节点不参与计算#xff0c;很是tm的离谱。使用下面的命令查看Yarn上的nodemanager节点状态yarn node -list -all发现两个节点处于unhealthy状态。经过Google查明原因#xff1a;这种情况一般是因为那个节点上HDFS文件过多…这几天用Spark计算任务时发现yarn上有两个节点不参与计算很是tm的离谱。使用下面的命令查看Yarn上的nodemanager节点状态yarn node -list -all发现两个节点处于unhealthy状态。经过Google查明原因这种情况一般是因为那个节点上HDFS文件过多导致剩余磁盘空间不足一般解决方法是删除HDFS上不常用的文件。或者更改yarn-site.xml下文件添加或者修改这个参数property
nameyarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage/name
value99.99/value
/property该参数表示每块盘符的最高使用比例超过该值该节点就会被列入不健康列表并且不再使用该盘符参与计算任务。默认值为90%将该值增大即可解决问题可以更改至99.99%。之后重启HDFS还有YARN即可再次使用yarn node -list -all可以看到所有节点可以都变为正常状态OK。
