外贸网站建设加推广,网站服务器镜像,做代销的网站,网站优化排名软件网站作者简介#xff1a;大家好我是小唐同学(๑๑#xff09;#xff0c;好久不见#xff0c;为梦想而努力的小唐又回来了#xff0c;让我们一起加油#xff01;#xff01;#xff01; 个人主页#xff1a;小唐同学(๑๑#xff09;的博客主页 目前… 作者简介大家好我是小唐同学(๑๑好久不见为梦想而努力的小唐又回来了让我们一起加油 个人主页小唐同学(๑๑的博客主页 目前再学习大数据现在在初级阶段-刚学Hadoop若有错误请指正 目录 hadoop的三种运行模式区别
完全分布式运行模式步骤
一虚拟机准备
二编写集群分发脚本xsync 1scp定义 2基础语法
(1)按照上述语法进行拷贝jdk
2按照上述语法拷贝Hadoop第二种方法
3拷贝也可以让Hadoop103操作 从Hadoop102中拷贝入Hadoop104 三rsync远程同步工具
rsync语法
ssh免密登录
免密登录原理
ssh免密登录实操 hadoop的三种运行模式区别 完全分布式运行模式步骤
1.准备三台客户机关闭防火墙静态IP主机名
2.安装jdk
3.配置环境变量
4.安装Hadoop
5.配置环境变量
6.配置集群
7.单点启动
8.配置ssh
9.群起并测试集群
一虚拟机准备
详见上章
二编写集群分发脚本xsync 1scp定义
scp可以实现服务器与服务器之间的数据拷贝 2基础语法
scp -r $pdir/$fname $user$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的地用户主机目的地路径/名称
实例演示Hadoop100Hadoop102Hadoop103Hadoop104已 经准备完全
将jdk从Hadoop102上 拷贝到Hadoop103Hadoop104上
将Hadoop从Hadoop102上拷贝到Hadoop103Hadoop104上
拷贝有两种方法
1把本服务器文件拷贝入其他服务器
2把其他服务器文件拷贝入本服务器
(1)按照上述语法进行拷贝jdk
这是上述的第一种拷贝 首次拷贝需要验证 需要通过Xshell登录到Hadoop103 所以需要输入密码 拷贝jar包 进入Hadoop103 可以进入指定目录查看 2按照上述语法拷贝Hadoop第二种方法
在Hadoop103中操作从Hadoop102中拷贝Hadoop
scp -r tangxiaoconghadoop102:/opt/module/hadoop-3.1.3 ./ 这种操作可以让本机路径简化
以上两种操作就使Hadoopjdk从Hadoop102拷贝入Hadoop103
3拷贝也可以让Hadoop103操作 从Hadoop102中拷贝入Hadoop104
听上去很无赖很像小美
scp -r tangxiaoconghadoop102:/opt/module/* tangxiaoconghadoop104:/opt/module/e/* tangxiaocon
在这里需要输入两次密码 三rsync远程同步工具
rsync主要用于备份和镜像具有速度快避免复制相同内容和支持符号链接的优点 rsync和scp的区别 用rsync做文件的复制要比scp的速度快rsync只对差异文件进行操作 scp是把所有文件都进行复制
rsync语法 rsync -av $pdir/$fname $user$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的地用户主机目的地路径/名称 xsync集群分发脚本
需求 循环复制文件到所有节点的相同目录下
需求分析 (a)rsync命令原始拷贝
rsync -av /opt/module tangxiaoconghadoop103:/opt/ b期望脚本
xsync要同步的文件名称 c期望脚本在任何路径下都能使用脚本在全局环境变量的路径
ssh免密登录 ssh是一种网络协议用于计算机之间的加密登录
免密登录原理
ssh免密登录实操
现在是Hadoop102ssh远程登录Hadoop103
现在是有密登录 可以显示已经在Hadoop102上有密登录
先来到自己家目录下 ls -al是查看所有隐藏文件 执行过ssh命令所以会在家目录中有ssh的隐藏文件 设置ssh
免密登录
执行命令 ssh-keygen -t rsa
rsa 是密钥对的一种算法免密登录是通过密钥队进行联系---私钥和公钥 没有执行命令之前 执行命令时 执行命令后会生成密钥队 设置免密登录的服务器需要将公钥进行拷贝私钥不用拷贝
ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下 实现免密登录 Hadoop在Xshell下访问自己也是要输入密码的
所以还需要在给自己copy一份 可知copy后再ssh就不需要输入密码实现免密登录
当然这是普通用户的登录如果切换到root用户下需要重新配置
