上海 设计网站建设有哪些推广平台和渠道

概念

不需要指定并发，只需要指定内存， 程序在运行后会动态调节并发数量，我们只需要设置一个上线即可

1. 在spark 配置文件设置：
   spark.dynamicAllocation.enabled true
   spark.shuffle.service.enabled true

2. 准备shuffer jar
   将spark安装包中的spark--yarn-shuffle.jar 放在集群中每个节点的classpath中

3. yarn-site.xml 增加

	 <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle,spark_shuffle</value></property><property><name>yarn.nodemanager.aux-services.spark_shuffle.class</name><value>org.apache.spark.network.yarn.YarnShuffleService</value></property>

5. 重启 NodeManager