亿联网络 网站,友情链接出售平台,免费网站源码建站系统,wordpress 模板加密1、总体原则
以单台服务器 128G 内存#xff0c;32 线程为例。 先设定单个 Executor 核数#xff0c;根据 Yarn 配置得出每个节点最多的 Executor 数量#xff0c;每个节点的 yarn 内存/每个节点数量单个节点的数量 总的 executor 数单节点数量*节点数。
2、具体提交参数 …1、总体原则
以单台服务器 128G 内存32 线程为例。 先设定单个 Executor 核数根据 Yarn 配置得出每个节点最多的 Executor 数量每个节点的 yarn 内存/每个节点数量单个节点的数量 总的 executor 数单节点数量*节点数。
2、具体提交参数
1executor-cores 每个 executor 的最大核数。根据经验实践设定在 3~6 之间比较合理。 2num-executors 该参数值每个节点的 executor 数 * work 节点数 每个 node 的 executor 数 单节点 yarn 总核数 / 每个 executor 的最大 cpu 核数考虑到系统基础服务和 HDFS 等组件的余量yarn.nodemanager.resource.cpu-vcores 配 置为 28参数 executor-cores 的值为4那么每个 node 的 executor 数 28/4 7,假设集 群节点为 10那么 num-executors 7 * 10 70 3executor-memory 该参数值yarn-nodemanager.resource.memory-mb / 每个节点的 executor 数量 如果 yarn 的参数配置为 100G那么每个 Executor 大概就是 100G/7≈14G, 同时要注意yarn 配置中每个容器允许的最大内存是否匹配。
Spark的提交参数 spark-submit常用参数--master 指定任务提交到哪个资源调度器中--executor-memory 指定每个executor的内存大小--executor-cores 指定每个executor的cpu核数--total-executor-cores 指定所有executor的cpu总核数[仅限于standalone模式使用]--num-executors 指定任务需要的executor个数[仅限于yarn模式使用]--queue 指定任务提交到哪个资源队列中[仅限于yarn模式使用]--deploy-mode 指定任务的部署模式[client/cluster]--driver-memory 指定driver的内存大小--class 指定待运行的带有main方法object的全类名
