成都网站怎么推广,网站优化连云港哪家强?,贴吧aso优化贴吧,网站建设公司南昌文章目录 前言一、准备1. 下载Hadoop2. 配置环境变量3. 配置免密 二、Hadoop配置1. hadoop-env.sh2. hdfs-site.xml3. core-site.xml4. mapred-site.xml5. yarn-site.xml 三、格式化四、启动 前言
hadoop学习——伪分布式环境——普通用户搭建 一、准备
1. 下载Hadoop
2. 配… 文章目录 前言一、准备1. 下载Hadoop2. 配置环境变量3. 配置免密 二、Hadoop配置1. hadoop-env.sh2. hdfs-site.xml3. core-site.xml4. mapred-site.xml5. yarn-site.xml 三、格式化四、启动 前言
hadoop学习——伪分布式环境——普通用户搭建 一、准备
1. 下载Hadoop
2. 配置环境变量
vi ~/.bash_profile# 增加如下配置
export HADOOP_HOME/home/install/hadoop-3.3.4
export PATH$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH# 使配置生效
source ~/.bash_profile3. 配置免密
二、Hadoop配置
配置的目录是$HADOOP_HOME/etc/hadop
1. hadoop-env.sh
修改JAVA_HOME设置为JDK所在的位置
# Linux命令行输出 JDK 位置
echo $JAVA_HOME2. hdfs-site.xml
!--指定数据冗余份数--
propertynamedfs.replication/namevalue1/value
/property
propertynamedfs.http.address/namevaluehadoop01:50070/value
/property3. core-site.xml !--hadoop01是机器名 hostname--
propertynamefs.defaultFS/namevaluehdfs://hadoop01:9000/value
/property
!-- hadoop临时目录 --
propertynamehadoop.tmp.dir/namevalue/home/install/data/hadoop/HADOOP_TMP_DIR/valuedescriptionAbase for other temporary directories./description
/property
!--所有用户可访问--
propertynamehadoop.proxyuser.hduser.groups/namevalue*/value
/property
!--设置buffer size--
propertynameio.file.buffer.size/namevalue131072/value
/property
!--任何IP可访问--
propertynamehadoop.proxyuser.hduser.hosts/namevalue*/value
/property4. mapred-site.xml
propertynamemapreduce.framework.name/namevalueyarn/value
/property
propertynamemapreduce.job.counters.max/namevalue1200000/value
/property
propertynamemapreduce.map.memory.mb/namevalue4096/value
/property
propertynamemapreduce.reduce.memory.mb/namevalue8192/value
/property
propertynamemapreduce.map.java.opts/namevalue-Xmx3072m/value
/property
propertynamemapreduce.reduce.java.opts/namevalue-Xmx6144m/value
/property5. yarn-site.xml
propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value
/property
propertynameyarn.resourcemanager.hostname/namevaluehadoop01/value
/property
propertynameyarn.nodemanager.vmem-pmem-ratio/namevalue4/value
/property
propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value
/property
propertynameyarn.nodemanager.resource.memory-mb/namevalue20480/value
/property
propertynameyarn.scheduler.minimum-allocation-mb/namevalue1024/value
/property
propertynameyarn.scheduler.maximum-allocation-mb/namevalue20480/value
/property三、格式化
hadoop namenode -format四、启动
# 懒一点的方式
start-all.sh
