网站被恶意仿站,记事本做网站代码,wap网站登陆系统,深圳协会网站建设集群规划
node01node02node03角色主节点从节点从节点NameNode√DataNode√√√ResourceManager√NodeManager√√√SecondaryNameNode√Historyserver√
上传安装包到node01
解压到指定目录 tar -zxvf /bigdata/soft/hadoop-3.3.3.tar.gz -C /bigdata/server/ 创建软链接 cd…集群规划
node01node02node03角色主节点从节点从节点NameNode√DataNode√√√ResourceManager√NodeManager√√√SecondaryNameNode√Historyserver√
上传安装包到node01
解压到指定目录 tar -zxvf /bigdata/soft/hadoop-3.3.3.tar.gz -C /bigdata/server/ 创建软链接 cd /bigdata/server ln -s hadoop-3.3.3/ hadoop 常见的Hadoop软件目录说明
目录作用说明bin/Hadoop最基本的管理脚本和使用脚本hdfs: 文件上传命令hadoop文件管理基础命令yarn: 资源调度相关mapred: 程序运行, 启动历史服务器etc/Hadoop配置文件的目录core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlinclude/对外提供的编程库头文件对外提供的编程库头文件具体动态库和静态库在lib目录中这些头文件均是用C定义的通常用于C程序访问HDFS或者编写MapReduce程序lib/动态库和静态库该目录包含了Hadoop对外提供的编程动态库和静态库与include目录中的头文件结合使用。libexec/shell配置文件各个服务对用的shell配置文件所在的目录可用于配置日志输出、启动参数比如JVM参数等基本信息。sbin/Hadoop管理命令主要包含HDFS和YARN中各类服务的启动/关闭脚本share/官方自带示例Hadoop各个模块编译后的jar包所在的目录
Hadoop配置文件修改
Hadoop安装主要就是配置文件的修改一般在主节点进行修改完毕后scp分发给其他各个从节点机器。
hadoop-env.sh
文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的即使我们当前的系统中设置了JAVA_HOME它也是不认识的因为Hadoop即使是在本机上执行它也是把当前的执行环境当成远程服务器。 vim hadoop-env.sh 54行的JAVA_HOME的设置 export JAVA_HOME/bigdata/server/jdk1.8 在文件末尾添加如下内容 export HDFS_NAMENODE_USERroot export HDFS_DATANODE_USERroot export HDFS_SECONDARYNAMENODE_USERroot export YARN_RESOURCEMANAGER_USERroot export YARN_NODEMANAGER_USERroot core-site.xml
hadoop的核心配置文件有默认的配置项core-default.xml。 core-default.xml与core-site.xml的功能是一样的如果在core-site.xml里没有配置的属性则会自动会获取core-default.xml里的相同属性的值。 cd /bigdata/server/hadoop/etc/hadoop/ vim core-site.xml 在文件的configuration的标签中添加以下内容: propertynamefs.defaultFS/namevaluehdfs://node01:8020/value
/propertypropertynamehadoop.tmp.dir/namevalue/bigdata/data/hadoop/value
/property!-- 设置HDFS web UI用户身份 --
propertynamehadoop.http.staticuser.user/namevalueroot/value
/property!-- 整合hive --
propertynamehadoop.proxyuser.root.hosts/namevalue*/value
/propertypropertynamehadoop.proxyuser.root.groups/namevalue*/value
/propertyhdfs-site.xml
HDFS的核心配置文件有默认的配置项hdfs-default.xml。
hdfs-default.xml与hdfs-site.xml的功能是一样的如果在hdfs-site.xml里没有配置的属性则会自动会获取hdfs-default.xml里的相同属性的值。 cd /bigdata/server/hadoop/etc/hadoop/ vim hdfs-site.xml !-- 指定secondarynamenode运行位置 --propertynamedfs.namenode.secondary.http-address/namevaluenode02:50090/value/propertymapred-site.xml
MapReduce的核心配置文件有默认的配置项mapred-default.xml。
mapred-default.xml与mapred-site.xml的功能是一样的如果在mapred-site.xml里没有配置的属性则会自动会获取mapred-default.xml里的相同属性的值。 cd /bigdata/server/hadoop/etc/hadoop/ vim mapred-site.xml propertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertyyarn-site.xml
YARN的核心配置文件有默认的配置项yarn-default.xml。
yarn-default.xml与yarn-site.xml的功能是一样的如果在yarn-site.xml里没有配置的属性则会自动会获取yarn-default.xml里的相同属性的值。 cd /bigdata/server/hadoop/etc/hadoop/ vim yarn-default.xml !-- 指定YARN的主角色ResourceManager的地址 --propertynameyarn.resourcemanager.hostname/namevaluenode01/value/property!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle才可运行MapReduce程序默认值 --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 是否将对容器实施物理内存限制 --propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value/property!-- 是否将对容器实施虚拟内存限制。 --propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property!-- 开启日志聚集 --propertynameyarn.log-aggregation-enable/namevaluetrue/value/property!-- 设置yarn历史服务器地址 --propertynameyarn.log.server.url/namevaluehttp://node02:19888/jobhistory/logs/value/property!-- 保存的时间7天 --propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value/propertyworkers
workers文件里面记录的是集群主机名。主要作用是配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候workers文件里面的主机标记的就是从节点角色所在的机器。 cd /bigdata/server/hadoop/etc/hadoop/ vim workers node01
node02
node03同步hadoop软件包到node02和node03 scp -r hadoop-3.3.3/ node02:$PWD scp -r hadoop-3.3.3/ node03:$PWD 在node02节点配置软链接 ln -s hadoop-3.3.3/ hadoop 在node03节点配置软链接 ln -s hadoop-3.3.3/ hadoop [所有节点]配置环境变量 vim /etc/profile export HADOOP_HOME/bigdata/server/hadoop export PATH P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile Hadoop集群启动
启动方式
要启动Hadoop集群需要启动HDFS和YARN两个集群。 注意首次启动HDFS时必须在主节点node01对其进行格式化操作。本质上是一些清理和准备工作因为此时的HDFS在物理上还是不存在的。 hadoop namenode -format 手动单个节点启动
在主节点node01启动namenode cd /bigdata/server/hadoop/bin ./hdfs --daemon start namenode 在node02启动secondarynamenode cd /bigdata/server/hadoop/bin ./hdfs --daemon start secondarynamenode 在所有节点启动datanode cd /bigdata/server/hadoop/bin ./hdfs --daemon start datanode 查看进程情况 jpg netstat -ntlp 其中hdfs的web端口: node01:9870已经可以正常访问 在主节点node01启动ResouceManager cd /bigdata/server/hadoop/bin ./yarn --daemon start resourcemanager 在所有节点启动Nodemanager cd /bigdata/server/hadoop/bin ./yarn --daemon start nodemanager 如果想要停止某个节点上某个角色只需要把命令中的start改为stop即可。 一键脚本启动
如果配置了etc/hadoop/workers和ssh免密登录则可以使用程序脚本启动所有Hadoop两个集群的相关进程在主节点所设定的机器上执行。
hdfs/bigdata/server/hadoop/sbin/start-dfs.sh
yarn/bigdata/server/hadoop/sbin/start-yarn.sh 停止脚本 hdfs/bigdata/server/hadoop/sbin/stop-dfs.sh yarn/bigdata/server/hadoop/sbin/stop-yarn.sh 完整的一键启动hdfs和yarn脚本 start-all.sh: 启动所有的hdfs和yarn的脚本 stop-all.sh: 停止所有的hdfs和yarn的脚本 启动后的效果 集群Web访问UI
hdfs: http://node01:9870 yarn:http://node01:8088 MapReduce JobHistory
JobHistory用来记录已经finished的mapreduce运行日志日志信息存放于HDFS目录中默认情况下没有开启此功能需要在mapred-site.xml中配置并手动启动。
修改mapred-site.xml cd /bigdata/server/hadoop/etc/hadoop/ vim mapred-site.xml propertynamemapreduce.jobhistory.address/namevaluenode02:10020/value/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluenode02:19888/value/propertyscp mapred-site.xml node02: P W D s c p m a p r e d − s i t e . x m l n o d e 03 : PWD scp mapred-site.xml node03: PWDscpmapred−site.xmlnode03:PWD 在node02节点启动JobHistory cd /bigdata/server/hadoop/bin ./mapred --daemon start historyserver 访问web管理界面
http://node02:19888/jobhistory
运行演示程序 在hdfs创建一个目录: hdfs dfs -mkdir /input 上传文件到hdfs的/input目录 hdfs dfs -put start-all.sh /input 运行示例程序 hadoop jar /bigdata/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.3.jar wordcount /input /output http://node02:19888/jobhistory
运行演示程序 在hdfs创建一个目录: hdfs dfs -mkdir /input 上传文件到hdfs的/input目录 hdfs dfs -put start-all.sh /input 运行示例程序 hadoop jar /bigdata/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.3.jar wordcount /input /output [外链图片转存中…(img-sGiM0nUt-1728869465896)]
[外链图片转存中…(img-P7KlMe3y-1728869465896)]
