网站建设优化哪家好,房地产做网站怎样吸引客户,重庆北京网站建设,免费logo设计 u钙Hadoop核心机制详细解析
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中#xff0c;通过Hadoop#xff0c;可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群#xff0c;提供大数据量的存…Hadoop核心机制详细解析
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中通过Hadoop可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群提供大数据量的存储和处理能力。 作者InBigData来源InBigData|2012-07-0310:57 移动端 收藏 分享 Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中通过Hadoop可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群提供大数据量的存储和处理能力。
知其然知其所以然。要想深入学习和理解Hadoop的核心机制还要从MapReduce和HDFS的原理入手。
MapReduce的“大事化小”
作为Google提出的架构MapReduce通过Map映射和Reduce化简来实现大规模数据TB级的并行计算。可以简单理解为通过Map映射函数把一组键值对映射成一组新的键值对指定并发的Reduce化简函数用来保证所有映射的键值对中的每一个共享相同的键组。
MapReduce是一种大数据计算的开发模式和思想方法。开发人员先分析需求所提出问题的解决流程找出数据可以并发处理的部分Reduce也就是那些能够分解为小段的可并行处理的数据再将这些能够采用并发处理的需求写成Map程序Map。
然后就可以使用大量服务器来执行Map程序并将待处理的庞大数据切割成很多的小份数据由每台服务器分别执行Map程序来处理分配到的那一小段数据接着再将每一个Map程序分析出来的结果透过Reduce程序进行合并最后则汇整出完整的结果。
MapReduce的整个流程就像…
MapReduce是Hadoop分布式计算的关键技术将要执行的问题拆解成Map和Reduce的方式来执行以达到分散运算的效果。例如要搜寻网页中的“In Big Data”这个词可以先用Map程序来计算出所有网页中每一个词的位置。再使用Reduce程序在每一个字的清单中检索出“In Big Data”所对应的URL您就来到了这个博客。MapReduce程序的执行过程如下
MapReduce运行流程
MapReduce的运作方式就像快递公司一样。物流部门会将发往各地的包裹先运送到各地的物流分站再由分站派出进行派送快递员等每个包裹的用户签单后将数据反馈给系统汇总完成整个快递流程。在这里每个快递员都会负责配送所执行的动作大致相同且只负责少量的包裹最后由物流公司的系统进行汇总而不是从一个库房一个快递员直接发往各地这样的话估计顺风、京东神马的会被人骂死。
在Hadoop集群架构中服务器依据用途可分成Master节点和Worker节点Master负责分配任务而Worker负责执行任务。
Hadoop中的Master与Worker
Hadoop运算集群中的服务器依用途分成Master节点和Worker节点。Master节点中含有JobTracker、NameNode、TaskTracker和DataNode程序Worker节点含有TaskTracker和DataNode。另外在系统的架构上最简单的Hadoop架构可以分成上层的MapReduce运算层以及下层的HDFS数据层。
在Master节点的服务器中会执行两套程序一个是负责安排MapReduce运算层任务的JobTracker以及负责管理HDFS数据层的NameNode程序。而在Worker节点的服务器中也有两套程序接受JobTracker指挥负责执行运算层任务的是TaskTracker程序与NameNode对应的则是DataNode程序负责执行数据读写操作以及执行NameNode的副本策略。
在MapReduce运算层上担任Master节点的服务器负责分配运算任务Master节点上的JobTracker程序会将Map和Reduce程序的执行工作指派给Worker服务器上的TaskTracker程序由TaskTracker负责执行Map和Reduce工作并将运算结果回复给Master节点上的JobTracker。
在HDFS数据层上NameNode负责管理和维护HDFS的名称空间、并且控制档案的任何读写动作同时NameNode会将要处理的数据切割成一个个档案区块Block每个区块是64MB例如1GB的数据就会切割成16个档案区块。NameNode还会决定每一份档案区块要建立多少个副本一般来说一个档案区块总共会复制成3份并且会分散储存到3个不同Worker服务器的DataNode程序中管理只要其中任何一份档案区块遗失或损坏NameNode会自动寻找位于其他DataNode上的副本来回复维持3份的副本策略。
在一套Hadoop集群中分配MapReduce任务的JobTracker只有1个而TaskTracker可以有很多个。同样地负责管理HDFS文件系统的NameNode也只有一个和JobTracker同样位于Master节点中而DataNode可以有很多个。
不过Master节点中除了有JobTracker和NameNode以外也会有TaskTracker和DataNode程序也就是说Master节点的服务器也可以在本地端扮演Worker角色的工作。
在部署上因为Hadoop采用Java开发所以Master服务器除了安装操作系统如Linux之外还要安装Java执行环境然后再安装Master需要的程序包括了NameNode、JobTracker和DataNode与TaskTracker。而在Worker服务器上则只需安装Linux、Java环境、DataNode和TaskTracker。
在之后的文章中将详细说明Hadoop安装部署方面的问题。这里只针对Hadoop的运行机制及内部细节做了讨论在实际的应用中虽然还需要很多知识但就理解Hadoop和MapReduce核心思想来说以上的内容值得反复推敲。对技术要知其然知其所以然
Hadoop核心机制详细解析-hadoop三大核心组件
