海口省建设厅网站,国外贸易平台,园区网互联及网站建设,软件工程专业介绍目录 介绍
版本
优势 大数据技术生态体系 介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 解决 存储和分析计算Google在大数据方面的三篇论文GFS ---HDFS Map-Reduce ---MR BigTable ---HBaseHadoop创始人Doug Cutting版本 Hadoop 三大发行版本HDFS Map-Reduce ---MR BigTable ---HBase Hadoop创始人Doug Cutting 版本 Hadoop 三大发行版本Apache、Cloudera、Hortonworks。 http://hadoop.apache.org https://www.cloudera.com/downloads/cdh https://hortonworks.com/products/data-center/hdp/ Apache 版本最原始最基础的版本对于入门学习最好。2006 Cloudera 内部集成了很多大数据框架对应产品 CDH。2008 Hortonworks 文档较好对应产品 HDP。2011 Hortonworks 现在已经被 Cloudera 公司收购推出新的品牌 CDP。 优势 高可靠性Hadoop底层维护多个数据副本所以即使Hadoop某个计算元 素或存储出现故障也不会导致数据的丢失。 高扩展性在集群间分配任务数据可方便的扩展数以千计的节点。 高效性在MapReduce的思想下Hadoop是并行工作的以加快任务处 理速度。 高容错性能够自动将失败的任务重新分配。 组成 大数据技术生态体系 推荐系统 运行 关闭防火墙和开机自启 systemctl stop firewalld
systemctl disable firewalld.service 注意在企业开发时通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安 全的防火墙 修改克隆虚拟机的静态IP vim /etc/sysconfig/network-scripts/ifcfg-ens33 DEVICEens33
TYPEEthernet
ONBOOTyes
BOOTPROTOstatic
NAMEens33
IPADDR192.168.10.102
PREFIX24
GATEWAY192.168.10.2
DNS1192.168.10.2 修改虚拟网络编辑器 修改Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址 修改主机名 修改主机名
vim /etc/hostname
配置主机映射hosts文件
vim /etc/hosts192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108重启克隆机
reboot 修改windows C:\Windows\System32\drivers\etc
hosts 文件
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
如果操作系统是 window10先拷贝出来修改保存以后再覆盖即可安装 cd /opt/software/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/sudo vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME/opt/module/hadoop-3.1.3
export PATH$PATH:$HADOOP_HOME/bin
export PATH$PATH:$HADOOP_HOME/sbinsource /etc/profile 目录结构 bin 目录存放对 Hadoop 相关服务hdfsyarnmapred进行操作的脚本 etc 目录Hadoop 的配置文件目录存放 Hadoop 的配置文件 lib 目录存放 Hadoop 的本地库对数据进行压缩解压缩功能 sbin 目录存放启动或停止 Hadoop 相关服务的脚本 share 目录存放 Hadoop 的依赖 jar 包、文档、和官方案例
