聊城做网站推广公司,linux网站环境,软件定制开发系统,建筑设计甲级资质承接范围一、官方文档
我这里学习的是Hadoop3.1.3版本#xff0c;所以#xff0c;查看的也是3.1.3版本的文档 Architecture模块最下面
二、HDFS架构介绍
HDFS架构的主要组成部分#xff0c;是一下四个部分
1、NameNode(NN)
就是Master节点#xff0c;它是集群管理者。
1、管…一、官方文档
我这里学习的是Hadoop3.1.3版本所以查看的也是3.1.3版本的文档 Architecture模块最下面
二、HDFS架构介绍
HDFS架构的主要组成部分是一下四个部分
1、NameNode(NN)
就是Master节点它是集群管理者。
1、管理HDFS的名称空间 2、配置副本策略 3、管理数据块Block映射信息 4、处理客户端读写请求
2、DataNode
就是Slave节点干活的。NameNode下达程序命令DataNode执行具体命令。 1、存储实际的数据块 2、执行数据块的读写操作
3、Client
客户端web页面也算是客户端终端命令也是客户端来执行的。
1、切分文件文件上传到HDFS集群的时候Client将文件切分成一个个的Block然后进行上传 2、与NameNode交互获取文件的位置信息 3、与DataNode交互读写数据 4、Client提供一些命令来管理HDFS比如NameNode的格式化命令 5、Client可以通过一些命令来访问HDFS比如对HDFS的增删改查操作
4、Secondary NameNode(2NN)
它不是NameNode的热备当NameNode节点挂掉的时候它并不能马上替换NameNode并提供服务 实际场景中一般用两个NameNode来实现高可用2NN一般不用
1、辅助NameNode分担工作量 2、在紧急情况下可辅助恢复NameNode
三、思考题
1、NameNode中的Block大小如何设置设置多大合适怎么计算
1、配置参数dfs.blocksize 在Hadoop2.x/3.x版本中默认大小是128M1.x版本中是64M。 默认配置在hdfs-default.xml中我们可以在hdfs-site.xml中自定义配置
propertynamedfs.blocksize/namevalue134217728/valuedescriptionThe default block size for new files, in bytes.You can use the following suffix (case insensitive):k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.),Or provide complete size in bytes (such as 134217728 for 128 MB)./description
/property2、Block大小计算逻辑
这个Block大小的确定主要受寻址时间、传输时间、磁盘性能3个因素影响。 一般地 寻址时间为传输时间的1%时则为最佳状态。 假设寻址时间是10ms则最佳传输时间是10ms/0.011000ms1s 于是根据这个传输时间及磁盘的读写速率计算出Block的大小设置
一般性配置 机械硬盘我们就设置为128MB 固态硬盘我们就设置为256MB
3、设置太小或太大会有什么弊端
设置太小 那么HDFS里面会有很多的小文件这样会增加寻址时间影响性能。
设置太大 会降低HDFS的并发能力影响性能。
