大赛网站开发需求,wordpress 邮箱配置,创新网站建设工作室,网站推广免费渠道Standalone集群搭建与Spark on Yarn配置
1、Standalone
Standalone集群是Spark自带的资源调度框架#xff0c;支持分布式搭建#xff0c;这里建议搭建Standalone节点数为3台#xff0c;1台master节点#xff0c;2台worker节点#xff0c;这虚拟机中每台节点的内存至少给…Standalone集群搭建与Spark on Yarn配置
1、Standalone
Standalone集群是Spark自带的资源调度框架支持分布式搭建这里建议搭建Standalone节点数为3台1台master节点2台worker节点这虚拟机中每台节点的内存至少给2G和2个core这样才能保证后期Spark基于Standalone的正常运行。搭建Standalone集群的步骤如下
1、下载安装包解压
登录Spark官网下载Spark官网地址Spark官网链接 点击“Download”找到“ Spark release archives”找到对应的Spark版本下载。这里选择Spark2.3.1版本下载。
将下载好的Spark安装包上传到Spark Master节点解压 2、改名 3、进入安装包的conf目录下修改或者复制slaves.template文件去掉template后缀在新的slaves文件中添加从节点。保存。 在slaves中配置worker节点 4、复制$SPARK_HOME/conf/spark-env.sh.template 为spark-env.sh修改spark-env.sh内容
SPARK_MASTER_HOST:master的ip
SPARK_MASTER_PORT:提交任务的端口默认是7077
SPARK_WORKER_CORES每个worker从节点能够支配的core的个数
SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数
JAVA_HOME:java的home这里需要jdk8 5、同步到其他节点上 6、启动集群
进入sbin目录下执行当前目录下的./start-all.sh 7、搭建客户端
将spark安装包原封不动的拷贝到一个新的节点上然后在新的节点上提交任务即可。
注意
8080是Spark WEBUI界面的端口7077是Spark任务提交的端口。修改master的WEBUI端口 修改$SPARK_HOME/conf/spark-env.sh即可【建议使用】 修改start-master.sh即可。 也可以在Master节点上导入临时环境变量只是作用于之后的程序重启就无效了。 删除临时环境变量 2、yarn
Spark 也可以基于Yarn进行任务调度这就是所谓的Spark on YarnSpark基于Yarn进行任务调度只需要在Spark客户端做如下配置即可 同时这里需要在每台NodeManager节点中将每台NodeManager的虚拟内存关闭在每台NodeManager节点的$HADOOP_HOME/etc/hadoop/yarn-site.xml中加入如下配置
!-- 关闭虚拟内存检查 --
propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value
/property 二、Spark Pi任务测试
Spark PI案例 Standalone提交命令
./spark-submit --master spark://mynode1:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100
Spark on YARN提交命令
./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100
