网站建设一百万,中文网站建设公司,wordpress注册码系统,江苏网站建设seo优化参考博客#xff1a;
https://blog.csdn.net/duchenlong/article/details/114597944
与上面这个博客几乎差不多#xff0c;就是java环境配置以及后面的hadoop的hdfs-site.xml文件有一些不同的地方。
准备工作
1.更新
# 更新
sudo apt update
sudo apt upgrade2.关闭防火…参考博客
https://blog.csdn.net/duchenlong/article/details/114597944
与上面这个博客几乎差不多就是java环境配置以及后面的hadoop的hdfs-site.xml文件有一些不同的地方。
准备工作
1.更新
# 更新
sudo apt update
sudo apt upgrade2.关闭防火墙 不用单独开辟端口
sudo ufw disable创建Hadoop用户
# 创建Hadoop用户并使用/bin/bash作为shell
sudo useradd -m hadoop -s /bin/bash# 为Hadoop设置登录密码
sudo passwd hadoop# 增加管理员权限
sudo adduser hadoop sudo创建一个Hadoop用户是因为可以避免Hadoop在运行的过程中影响到其他用户的正常使用。
增加管理员权限可以避免Hadoop在运行时出现一些权限的问题比如在一些目录下创建文件等。
如何后续的安装在hadoop用户下进行
# 切换为 Hadoop用户
su hadoop或者退出当前用户 方法一使用快捷键CtrlD组合键 方法二在终端中输入$exit或者$logout命令然后按下回车键就可退出当前用户会话 安装Java
如果安装的Hadoop是2.*版本的那么需要安装的java版本最好是1.8默认安装的是11在配置伪分布式节点时会报一些警告
sudo apt install openjdk-8-jdk配置环境变量 Ctrl s 保存Ctrl x 退出
nano ~/.bashrc在结尾添加
export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME/usr/lib/jvm/java-8-openjdk-amd64/jre
export CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH${JAVA_HOME}/bin:$PATH
然后更新环境变量
# 更新环境变量
source ~/.bashrc查看是否安装成功以及java的版本信息
# 查看是否安装成功
whereis java# java的版本信息
java-version# 环境变量是否导入成功
echo $JAVA_HOME设置ssh免密登录
# 登录localhost
ssh localhost忘记直接截图在哪了放上面博客博主的图吧操作一样 然后会在~/目录下发现一个.ssh文件。 配置秘钥免密登录
# 到.ssh 目录下
cd ~/.sshssh-keygen -t rsa# 加入授权
cat ./id_rsa.pub ./authorized_keys再次输入$ssh localhost不需要密码的话就是配置成功了 Hadoop下载安装 安装地址https://blog.csdn.net/m0_62110645/article/details/134403165?spm1001.2014.3001.5502 我是使用共享文件夹安装的 在在virtualbox的ubuntu虚拟机上设置共享文件夹步骤 1.设置共享文件夹 自行设定共享文件夹路径以及名称记得勾选自动挂载A运行虚拟机的时候才会自动加载该文件夹。 # 将hadoop 压缩包在/usr/local 目录下解压
sudo tar -zxvf hadoop-2.10.1.tar.gz -C /usr/local/# 进入该目录
cd /usr/local# 更新名字文hadoop
sudo mv ./hadoop-2.10.1/ ./hadoop# 修改文件权限
sudo chown -R hadoop ./hadoop 配置java环境变量在hadoop中 # 进入配置文件目录
cd /usr/local/hadoop/etc/hadoop# 打开文件
nano hadoop-env.sh查看hadoop版本信息 # 进入bin目录
cd /usr/local/hadoop/bin./hadoop version伪分布式安装
# 进入配置文件的目录
cd /usr/local/hadoop/etc/hadoop需要修改的两个文件core-site.xml和hdfs-site.xml文件
修改core-site.xml文件为
nano core-site.xmlconfigurationpropertynamehadoop.tmp.dir/namevaluefile:/usr/local/hadoop/tmp/valuedescriptionAbase for other temporary directories./description/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configuration修改hdfs-site.xml文件为
nano hdfs-site.xmlconfigurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/data/value/propertypropertynamedfs.http.address/namevaluelocalhost:50070/value/property
/configuration
这里我直接是localhost:50070在自己主机上访问。因为我按教程来但是得不到一样的结果就启动不出教程192.168.*的界面。后来经过四处搜索方法。在终端输入$ifconfig显示我的是10.0.2.15 。 尝试过什么修改为桥接网络等等各种方法但始终不成功所以我干脆修改为只在自己主机运行。
