网站建设论坛快速建站,室内设计平面图手绘图,用按键精灵做网站,微商自己做网站目录
一、环境
二、虚拟机配置
三、 JDK、Hadoop、HBase的安装和配置
【安装和配置JDK】
【安装和配置Hadoop】
【安装和配置Hbase】
四、 Hadoop和HBase集群测试
【Hadoop启动测试】
【Hbase启动测试】 一、环境
OS: CentOS-7
JDK: v1.8.0_131
Hadoop: v2.7.6
Hb…目录
一、环境
二、虚拟机配置
三、 JDK、Hadoop、HBase的安装和配置
【安装和配置JDK】
【安装和配置Hadoop】
【安装和配置Hbase】
四、 Hadoop和HBase集群测试
【Hadoop启动测试】
【Hbase启动测试】 一、环境
OS: CentOS-7
JDK: v1.8.0_131
Hadoop: v2.7.6
Hbase: v1.3.1
自行到官网下载
二、虚拟机配置
1、下载和安装VMware和CentOS-7创建和设置虚拟机配置运行内存2G。硬盘存储空间20G选取NAT网络适配器。设置root密码和创建用户进入虚拟机终端在终端执行sudo passwd root可重新设置用户密码使用su root命令登录root用户。 2、克隆虚拟机三台虚拟机分别命名为Hadoop1、Hadoop2、Hadoop3。 3、进行linux系统网络配置vi /etc/hostname修改主机名以下只截了Hadoop2的图。 4、 查看虚拟网络编辑器确认起始和终止IP地址看自己的不要照抄我的起始ip地址为192.168.204.128因此3个虚拟机的IP地址可以设置为
192.168.204.134 Hadoop1
192.168.204.135 Hadoop2
192.168.204.136 Hadoop3 5、分别在虚拟机Hadoop1、Hadoop2、Hadoop3中执行vi /etc/hosts添加ip映射在文件中添加上述的3个虚拟机IP地址。 6、修改虚拟机网卡配置进入vi /etc/udev/rules.d/70-persistent-net.rules后添加如下内容。 7、修改静态ip地址进入vi /etc/sysconfig/network-scripts/ifcfg-ens33后添加如下内容MAC地址在“虚拟机设置”-“网络适配器”-“高级”中查看。 HWADDR(MAC地址)
IPADDR192.168.204.135该虚拟机IP地址
GATEWAY192.168.204.2
NETMASK255.255.255.0
DNS18.8.8.8 8、reboot重启系统 9、检验成功用ping 虚拟机名测试显示出Hadoop2的IP地址192.168.204.135Ctrl C停止 10、检测网络连接保证个人计算机连网状态执行ping www.baidu.com命令检测虚拟机网络连接是否正常。 11、看是否安装和开启SSH服务分别执行“rpm -qa | grep ssh”和“ps -ef | grep sshd”命令查看当前虚拟机是否安装了SSH服务以及SSH服务是否启动。 注已重复Hadoop1和Hadoop3如上流程完成网络配置截图已忽略。
12、重启ssh服务systemctl restart sshd命令忘记截图使用远程连接工具SecureCRT。在SecureCRT主界面依次单击“File”-“Quick Connect”选项进入Quick Connect对话框创建快速连接输入虚拟机对应的ip地址和用户名及密码以下为连接Hadoop2截图。 13、配置ssh免密登录3个虚拟机都操作首先执行“systemctl restart sshd”命令生成密钥接着执行“cd /root/.ssh/”命令进入存储密钥文件的目录在该目录下执行“ll”命令查看密钥文件然后将生成的公钥文件复制到集群中相关联的所有虚拟机实现通过虚拟机Hadoop2可以免密登录虚拟机Hadoop1、Hadoop2和Hadoop3。 Hadoop1ssh-copy-id hadoop1 Hadoop2ssh-copy-id hadoop2 Hadoop3ssh-copy-id hadoop3 14、三个虚拟机分别执行ssh Hadoop1/2/3除了自己检验是否成功设置免密登录。
Hadoop1免密登录Hadoop2和Hadoop3 Hadoop2免密登录Hadoop1、Hadoop3 Hadoop3免密登录Hadoop1、Hadoop2 15、 关闭防火墙执行systemctl stop firewalld与systemctl disable firewalld两条命令。 三、 JDK、Hadoop、HBase的安装和配置
1、创建目录依次在虚拟机Hadoop1、Hadoop2和Hadoop3的根目录下创建以下目录
创建存放数据的目录mkdir -p /export/data/
创建存放安装程序的目录mkdir -p /export/servers/
创建存放安装包的目录mkdir -p /export/software/ 【安装和配置JDK】
2、上传JDK安装包
在虚拟机Hadoop1 的/export/software目录执行rz命令将JDK安装包上传执行ll命令查看该目录包含的内容,确认是否上传成功。 3、解压JDK将JDK安装到/export/servers目录。
tar -zxvf jdk-8u131-linux-x64.tar.gz -C /export/servers/ 4、切换目录进入/etc/servers配置jdk环境变量执行vi /etc/profile命令进入编辑环境变量的文件profile添加以下内容。 export JAVA_HOME/export/servers/jdk1.8.0_131
export PATH$PATH:$JAVA_HOME/bin 5、profile保存退出后使用source /etc/profile命令初始化系统环境变量执行java -version命令查看JDK版本号验证当前虚拟机是否成功安装JDK。此处不知为何显示的版本号是1.8.0_262而不是1.8.0_131因为对后续操作没影响我就没去管了。 6、通过scp命令将虚拟机Hadoop1的JDK安装目录分发至虚拟机Hadoop2和Hadoop3的/export/servers/目录。
向虚拟机Hadoop2分发JDK安装目录
scp -r /export/servers/jdk roothadoop2:/export/servers/ 向虚拟机Hadoop3分发JDK安装目录
scp -r /export/servers/jdk roothadoop3:/export/servers/ 7、通过scp命令将虚拟机Hadoop1的系统环境变量文件profile分发至虚拟机Hadoop2和Hadoop3的/etc目录并初始化环境变量。
向虚拟机Hadoop2分发系统环境变量文件
scp /etc/profile roothadoop2:/etc
向虚拟机Hadoop3分发系统环境变量文件
scp /etc/profile roothadoop3:/etc 【安装和配置Hadoop】
8、Hadoop集群部署模式完全分布式模式cd /export/software/进入software目录执行rz命令上传Hadoop安装包ll显示验证安装是否成功。 9、解压安装Hadoop将Hadoop安装到虚拟机Hadoop1的/export/servers目录。
tar -zxvf /export/software/hadoop-2.7.6.tar.gz -C /export/servers 10、配置Hadoop系统环境变量执行vi /etc/profile命令进入profile添加以下内容。保存退出后初始化环境变量。 export HADOOP_HOME/export/servers/hadoop-3.1.3
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 11、执行Hadoop version命令查看当前虚拟机Hadoop版本号验证环境变量是否配置成功。 12、配置Hadoop运行环境切换到Hadoop目录下执行vi hadoop-env.sh命令进入文件添加以下内容。 export JAVA_HOME/export/servers/jdk1.8.0_131
export HDFS_NAMENODE_USERroot
export HDFS_DATANODE_USERroot
export HDFS_SECONDARYNAMENODE_USERroot
export YARN_RESOURCEMANAGER_USERroot
export YARN_NODEMANAGER_USERroot 13、配置Hadoop执行vi core-site.xml命令进入文件添加以下内容。 property namefs.defaultFS/name valuehdfs://hadoop1:9000/value
/property
property namehadoop.tmp.dir/name value/export/data/hadoop-3.1.3/value
/property
property namehadoop.http.staticuser.user/name valueroot/value
/property property namehadoop.proxyuser.root.hosts/name value*/value
/property
property namehadoop.proxyuser.root.groups/name value*/value
/property
property namefs.trash.interval/name value1440/value
/property 14、配置HDFS执行vi hdfs-site.xml命令进入文件添加以下内容。 property
namedfs.replication/name
value2/value
/property
property namedfs.namenode.secondary.http-address/name valuehadoop2:9868/value
/property 15、配置MapReduce执行vi mapred-site.xml命令进入文件添加以下内容。 property namemapreduce.framework.name/name valueyarn/value
/property
property namemapreduce.jobhistory.address/name valuehadoop1:10020/value
/property
property namemapreduce.jobhistory.Webapp.address/name valuehadoop1:19888/value
/property
property nameyarn.app.mapreduce.am.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/property
property namemapreduce.map.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/property
property namemapreduce.reduce.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/property 16、配置YARN执行vi yarn-site.xml命令进入文件添加以下内容。 property nameyarn.resourcemanager.hostname/name valuehadoop1/value
/property
property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value
/property
property nameyarn.nodemanager.pmem-check-enabled/name valuefalse/value
/property
property nameyarn.nodemanager.vmem-check-enabled/name valuefalse/value
/property
property nameyarn.log-aggregation-enable/name valuetrue/value
/property
property nameyarn.log.server.url/name valuehttp://hadoop1:19888/jobhistory/logs/value
/property
property nameyarn.log-aggregation.retain-seconds/name value604800/value
/property 17、配置Hadoop从节点服务器执行vi workers命令将workers文件默认的内容修改为如下内容。 18、分发Hadoop安装目录使用scp命令将虚拟机Hadoop1的Hadoop安装目录分发至虚拟机Hadoop2和Hadoop3中存放安装程序的目录。
向虚拟机Hadoop2中分发存放安装程序的目录
scp -r /export/servers/hadoop-3.1.3 roothadoop2:/export/servers/ 向虚拟机Hadoop3中分发存放安装程序的目录
scp -r /export/servers/hadoop-3.1.3 roothadoop3:/export/servers/ 19、分发环境变量使用scp命令将虚拟机Hadoop1的系统环境变量文件profile分发至虚拟机Hadoop2和Hadoop3的/etc目录。
向虚拟机Hadoop2中分发/etc目录 scp /etc/profile roothadoop2:/etc
向虚拟机Hadoop3中分发/etc目录 scp /etc/profile roothadoop3:/etc 【安装和配置Hbase】
20、安装hbase使用rz命令上传hbase安装包忘记截图了ll命令显示验证安装是否成功 21、解压安装hbase将hbase安装到虚拟机Hadoop1的/export/servers目录。 22、配置hbase系统环境变量执行vi /etc/profile命令进入profile添加以下内容最后两条。保存退出后初始化环境变量。 23、使用yum命令安装对应的openjdk_devel。 24、执行hbase version命令查看当前虚拟机hbase版本号验证环境变量是否配置成功。 25、进入/export/servers/hbase-1.3.1/conf目录修改配置文件hbase-env.sh添加如下信息。 export JAVA_HOME/export/servers/jdk1.8.0_131 export HBASE_MANAGES_ZKtrue export HBASE_CLASSPATH/export/servers/hadoop-2.7.6/etc/hadoop 26、修改配置文件hbase-site.xml添加如下信息具体的名称和ip地址要改成自己的不能照抄 property namehbase.rootdir/name valuehdfs://192.168.204.134:9000/hbase/value descriptionThe directory shared by regionservers./description /property property namehbase.cluster.distributed/name valuetrue/value /property property namehbase.tmp.dir/name value./tmp/value /property property namehbase.unsafe.stream.capability.enforce/name valuefalse/value /property property namehbase.master/name valuehdfs://192.168.204.134:60000/value /property property namehbase.master.maxclockskew/name value180000/value /property property namehbase.zookeeper.property.dataDir/name value/export/zookeeper/value /property property namehbase.zookeeper.quorum/name value192.168.204.134,192.168.204.135,192.168.204.136/value /property 27、通过scp命令将虚拟机Hadoop1的hbase安装目录分发至虚拟机Hadoop2和Hadoop3的/export/servers/目录。
向虚拟机Hadoop2分发hbase安装目录 向虚拟机Hadoop3分发hbase安装目录 28、通过scp命令将虚拟机Hadoop1的系统环境变量文件profile分发至虚拟机Hadoop2和Hadoop3的/etc目录并初始化环境变量。
向虚拟机Hadoop2分发系统环境变量文件
scp /etc/profile roothadoop2:/etc
向虚拟机Hadoop3分发系统环境变量文件
scp /etc/profile roothadoop3:/etc 四、 Hadoop和HBase集群测试
【Hadoop启动测试】
1、在虚拟机Hadoop1执行“hdfs namenode -format”命令对基于完全分布式模式部署的Hadoop进行格式化HDFS文件系统的操作。 2、启动Hadoop执行start-dfs.sh 3、启动yarn执行start-yarn.sh 4、查看Hadoop运行状态分别在虚拟机Hadoop1、Hadoop2和Hadoop3执行“jps”命令查看Hadoop运行状态。 5、关闭Hadoop和YARN.执行stop-dfs.sh和stop-yarn.sh 【Hbase启动测试】
1、启动Hbase。执行start-hbase.sh 2、查看Hbase运行状态分别在虚拟机Hadoop1、Hadoop2和Hadoop3执行“jps”命令查看。
