帝国网站模版,网站建设静态部分总结,常用的软件开发文档有哪些,旅行网站系统目录
相关资料
第一部分
1.课程内容大纲和学习目标
2.数据分析和企业数据分析方向
3.数据分析基本流程步骤
4.大数据时代
5.分布式和集群
6.Linux操作系统概述
7.VMware虚拟机概念与安装
8.centos操作系统的虚拟机导入
9.VMware虚拟机常规使用、快照
第二部分
1.课…目录
相关资料
第一部分
1.课程内容大纲和学习目标
2.数据分析和企业数据分析方向
3.数据分析基本流程步骤
4.大数据时代
5.分布式和集群
6.Linux操作系统概述
7.VMware虚拟机概念与安装
8.centos操作系统的虚拟机导入
9.VMware虚拟机常规使用、快照
第二部分
1.课程内容大纲-学习目标
2.Apache Hadoop介绍、发展简介、现状
3.Apache Hadoop特性优点、国内外应用
4.Apache Hadoop发行版本、架构变迁
5.Apache Hadoop安装部署--集群组成介绍
6.Apache Hadoop安装部署--服务器基础环境设置
7.Apache Hadoop安装部署--安装包结构
8.Apache Hadoop安装部署--修改配置文件、同步安装包和环境变量
9.Apache Hadoop安装部署--format初始化操作
10.Apache Hadoop安装部署--集群启停命令、web UI页面
11.Apache Hadoop安装部署--初体验
12.传统文件系统在大数据时代面临的挑战
13.场景互动分布式存储系统的核心属性及功能作用
14.HDFS简介、设计目标和应用场景
15.HDFS重要特性解读
16.HDFS shell命令行解释说明
17.HDFS shell命令行常用操作
18.HDFS工作流程与机制--各角色职责介绍与梳理
19.HDFS工作流程与机制--写数据流畅--pipeline、ack、副本策略
20.HDFS工作流程与机制--写数据流畅--梳理 相关资料
教程资源: https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g 提取码: 6666本套视频笔记https://upward.blog.csdn.net/article/details/129232552
第一部分
1.课程内容大纲和学习目标 2.数据分析和企业数据分析方向 3.数据分析基本流程步骤 4.大数据时代 5.分布式和集群 6.Linux操作系统概述 7.VMware虚拟机概念与安装 8.centos操作系统的虚拟机导入
课程配置了三台虚拟和大数据相关软件 安装虚拟机的时候会随机生成一个网段
但课程资料提供的都是88网段 第二步修改Windows本地的网卡
后面需要通过Windows笔记本去访问各个虚拟机
如果网站不在一个网段则无法访问 这样我们的虚拟机和本地都处于88网段 双击后就会自动被我们的虚拟机打开 ifconfig ping 9.VMware虚拟机常规使用、快照 本课程使用的node1是4Gnode2和3都是2G 挂起就是关机再开机的时候会恢复到我们挂起的状态 本课程提供了三种快照如果不想安装可直接点击使用 第二部分
1.课程内容大纲-学习目标 2.Apache Hadoop介绍、发展简介、现状 3.Apache Hadoop特性优点、国内外应用 4.Apache Hadoop发行版本、架构变迁 5.Apache Hadoop安装部署--集群组成介绍 灰色大框是一个个计算机彩色小框是一个个进程 6.Apache Hadoop安装部署--服务器基础环境设置 快照1就包含基础环境 快照1已经使用vim编辑好了下面用cat命令查看一下
用cat查看主机名 但一个个查看很麻烦 在任一机器下点击底栏 这里就可以给所有机器发送这个命令 正常情况下一台机器访问另外一台机器是需要密码的
后面涉及到一些的集群启动我们可以直接免密操作
这里已经配置好了下面做一个验证
ssh到我们的node1上没有问题然后退出 ssh到我们的node2上没有问题然后退出 ssh到我们的node3上没有问题然后退出 下面这个是阿里云的授时同步 这个命令要保持网络的通畅 这里我们也已经设置好 hadoop是Java写的Java需要jdk提供相关的支撑 将jdk拖拽到server下 安装好以后就可以删除这个安装包 下面去配置环境变量 我们在配置文件的最后加上下面三行
这里主要配置Java home Java安装包的路径等信息 保存好后就重新加载一下环境变量 验证Java是否安装成功 上面只是在node1机器上安装成功
下面是scp远程拷贝到其它机器 我们的环境变量同样需要拷贝 之后对三台机器同时做一个source命令 7.Apache Hadoop安装部署--安装包结构 我们在第一天机器上进行配置然后拷贝到其它机器上 将hadoop安装包拷贝到server下 解压
删除安装包 下面cd进去看一下hadoop安装包的内容 8.Apache Hadoop安装部署--修改配置文件、同步安装包和环境变量 这里的配置主要说明Java的地址和各个进程运行的一个用户名
我们先到hadoop目录下 在文件的最后复制粘贴一下 我们将上面的core-site.xml放到configuration之间 上面的两个对内存限制在企业中可以去掉 删除原先的localhost 上面只完成了一台机器的配置 下面我们在三台机器输入hadoop
看能否正确识别 三台机器都显示了hadoop命令成功 9.Apache Hadoop安装部署--format初始化操作 出现下面这个就是
成功了 10.Apache Hadoop安装部署--集群启停命令、web UI页面 下面继续打开第二和三台机器 上面我们HDFS集群就启动成功了
下面继续启动YARN集群 点击这里就会来到HDFS文件系统 11.Apache Hadoop安装部署--初体验 这个命令跟Linux命令比较相似 可以发现HDFS文件系统和Linux文件系统蛮像的 我们可以上传一个文件 我们再生成一个小文件然后上传 除了使用命令
也可以在web页面进行操作 下面计算圆周率 下面这个就是计算结果 我们新建一个目录然后将文件传过去 下面使用MapReduce去统计单词个数 12.传统文件系统在大数据时代面临的挑战 13.场景互动分布式存储系统的核心属性及功能作用 14.HDFS简介、设计目标和应用场景 15.HDFS重要特性解读 这个 rack 代表机架。机柜在机房中是一排排的机架机柜。机架 1 上有三个 DataNode机架 2 上有两个整体架构为一个主角色带领五个从角色的主从架构。数据底层是分块存储的块为 Block第三个块与块之间有副本备份Replication属于冗余存储。NameNode 记录元数据matadata如名字、备份副本数等。底层的 DataNode 专门存储数据块。 这里的size是文件本身大小block_size就是数据块的大小 16.HDFS shell命令行解释说明 上面就是查看本地文件系统
其中文件并不在hdfs文件系统在 可以发现本地系统的根目录下就是我们的文件 下面我们查看的就是HDFS系统的根目录 如果我们什么都不加默认就是HDFS的根目录 这个默认访问
取决fs_defaultFS参数 我们之前就配置好了 17.HDFS shell命令行常用操作 这里我们上传一个文件
人性化体现在红框中 本地就是执行命令的那台机器
如果在node1机器执行put本地机器就是node1
如果在node2机器执行put本地机器就是node2 但很多时候我们都是第一种写法 其它的查看命令比如tail 下面是简化写法 新创建三个文件 将其上传到hadoop 下面就是追加合并
将我们的文件内容追加到已经存在文件末尾 我们在企业中的小文件合并会用到上面的命令 18.HDFS工作流程与机制--各角色职责介绍与梳理 namenode放在内存中因为内存交互速度快但断电就消失了
所以使用磁盘进行持久化存储 19.HDFS工作流程与机制--写数据流畅--pipeline、ack、副本策略 上面就是我们的线性传输管道式方法传输
下面的红线就是拓扑式传输 20.HDFS工作流程与机制--写数据流畅--梳理
