胶州网站建设效果,厦门网站制作建设,公司展厅设计策划,构建网站的主要步骤存储#xff1a; HDFS(namenode,datanode)
计算#xff1a;MapReduce(mapreduce#xff0c;基于磁盘)
便于用sql操作#xff1a;Hive(核心 metastore#xff0c;存储这些结构化的数据)#xff0c;同类的还有Impala#xff0c;hbase等
基于yaml的资源调度
hive …存储 HDFS(namenode,datanode)
计算MapReduce(mapreduce基于磁盘)
便于用sql操作Hive(核心 metastore存储这些结构化的数据)同类的还有Impalahbase等
基于yaml的资源调度
hive 通过 HQL访问适合执行ETL报表查询数据分析等数据仓库任务 支持运行在不同的计算框架包括MapReduce,Spark,Tez等 支持java数据库连接JDBC可以建立与ETLBI工具的通道 避免编写复杂的mapreduce减少学习成本 可以直接使用存储在hadoop文件系统中的数据 将元数据保存在关系数据库中大大减少查询过程中执行语义检查的时间 数据仓库 英文Data Warehouse 简称数仓DW是一个用于存储分析报告的数据系统目的是构建面向分析的集成化数据环境分析结果为企业提供决策支持
定义 1 数据仓库并不“生产”任何数据其数据来源不同的外部系统 2 数据仓库不需要“消费”任何的数据其结果开放给各个外部应用使用 3 这也是为什么叫“仓库”而不是“工厂”的原因
............................
参考视频
hdfs 核心概念 分布式存储存储在多个机器上 元数据记录存储的位置权限等便于查找由NameNode管理 两种类型 1 文件自身属性信息 文件名称权限修改世界文件大小复制因子数据块大小 2 文件块位置映射信息 记录文件块和DataNode之间的映射信息即哪个块位于哪个节点上 文件分块存储一个文件特别大/剩余空间不够默认一个块128M不足的本身就是一块(hdfs-default.xml:dfs.blocksize) 副本机制应对硬件故障: dfs.replication默认是3也就是本身是一份额外再复制2份。 抽象统一的目录树结构namespace[命名空间]由nameNode管理对任何系统文件名称空间或属性的修改都会被记录下来 NameNode记录元数据统领dataNode/DataNode 主从架构 1 hdfs集群是标准的master/slave主从架构集群 2 一般一个hdfs是有一个NameNode和一定数目的DataNode组成 3 NameNode 是HDFS主节点DataNode是HDFS的从节点两种角色各司其职共同协调完成分部署的文件存储服务 4 官方架构图是一主五从模式其中五个从角色位于两个机架Rack的不同服务器上
hdfs的shell命令 格式 hadoop fs [generic options] hadoop发展到现在除了支持hdfshdfs://nn:8020还支持谷歌(gfs://ip:port/)阿里云linux,本地文件系统(file:///)等文件系统 —— 具体操作什么取决于命令中文件路径URL中的前缀协议如果没有指定则读取core-site.xml:fs.defaultFS属性 hadoop fs -ls hdfs://node1:8020/ hadoop fs -mkdir [-p] path hadoop fs -ls [-h人性化显示] [-R递归查看目录和子目录] [path...] hadoop fs -put [-f覆盖目录文件已存在] [-p保留访问和修改时间所有权和权限] 文件 path hadoop fs -cat :对于大文件读取慎重 hadoop fs -get [-f] [-p] 完整的 hadoop fs -get hdfs://node1:8020/chino/2.txt file:///root/test/ 简化 hadoop fs -get /chino/2.txt /root/test/(./) hadoop fs -cp [-f覆盖] hadoop fs -appendToFile :追加数据到文件中 hadoop fs -appendToFile 2.txt 3.txt/1.txt [2.txt,3.txt追加到1.txt末尾1.txt要在namespace里] hadoop fs -mv :移动 hdfs的角色和职责 NameNode 1 是HDFS的核心架构中的主角色 2 namenode成为访问hdfs的唯一入口 3 维护和管理文件系统元数据包括命名空间目录树结构、文件和块的位置信息、访问权限等信息 4 内部通过内存和磁盘文件两种方式管理元数据 磁盘上的元数据文件包括Fsimage内存元数据镜像文件 和 edits log(Journal)编辑日志 职责 1 NameNode仅存储HDFS的元数据 文件系统中所有文件的目录树并跟踪整个集群中的文件不存储实际数据 2 NameNode知道HDFS中任何给定文件的块列表及其位置使用此信息NameNode知道如果从块中构建文件 3 NameNode不持久化存储每个文件中各个块所在的datanode的位置这些信息会在系统启动时从DataNode重构 4 NameNode是Hadoop集群中的单点故障 5 NameNode所在机器通常会配置有大量内存(RAM) DataNode 1 是HDFS的从角色负责具体的数据库存储 2 DataNode的数量决定了HDFS集群的整体数据存储能力通过和NameNode配合维护数据块 职责 1 DataNode负责最终数据块block的存储是集群中的从角色也成为Slave 2 DataNode启动时会将自己注册到NameNode并汇报自己负责持有的快信息 3 当某个DataNode关闭时不会影响数据的可用性NameNode将安排由其他DataNode管理的块进行副本复制 4 DataNode所在机器通常配置有大量的硬盘空间因为实际数据存储在DataNode中 SecondaryNameNode 1 Secondary NameNode 充当NameNode的辅助节点但不能替代NameNode 2 主要是帮助主角色进行元数据文件的合并动作可以通俗理解为主角色的“秘书” 核心概念 PipeLine 管道这是HDFS在上传文件写数据过程中采用的一种数据传输方式。 流程客户端将数据块写入第一个数据节点第一个数据节点保存数据之后将块复制到第二个数据节点后者保存后将其复制到第三个数据节点 Q/A 问为什么datanode之间采用pipeline线性传输而不是一次给三个datanode拓扑式传输 答因为数据以管道的方式顺序的沿着一个方向传输这样能够充分利用每个机器的宽带避免网络瓶颈和高延迟时的连接最小化推送所有数据的延时 ACK应答响应两两之间的校验三条数据三次响应 ACK即时确认字符在数据通信中接收方给发送方的一种传输类控制字符。表示发来的数据已确认接收无误。 在HDFS pipeline管道传输数据的过程中传输的反方向会进行ACK校验确保数据传输安全 默认三副本存储策略 默认副本存储策略是由BlockPlacementPolicyDefault指定 1 第一块副本优先客户端本地否则随机 2 第二块副本不同于第一块副本的不同机架 3 第三块副本第二块副本相同机架不同机器 写数据流程梳理 1 HDFS客户端创建对象实例DistributedFileSystem,该对象中封装了与HDFS文件系统操作的相关方法 2 调用DistributedFileSystem对象的create()方法通过RPC请求与NameNode创建文件 NameNode 执行各种检查判断 目标文件是否存在客户端是否具有创建该文件的权限等检查通过NameNode就会为本次请求记下一条记录返回FSDataOutputStream输出流对象给客户端用于写数据 3 客户端通过FSDataOutputStream输入流开始写数据HDFS的输出流相对客户端是输入流 4 客户端写数据时将数据分成一个个数据包(packet 默认64k)内部组件DataStreamer请求NameNode挑选出适合存储数据副本的一组DataNode地址默认是3副本存储 DataStreamer将数据包流式传输到pipeline的第一个DataNode该DataNode存储数据包并将它发送到pipeline的第二个DataNode。同样第二个DataNode存储数据包并且发送给第三个DataNode 5 传输的反方向上会通过ACK机制校验数据包传输是否成功 6 客户端数据写入后在FSDataOutputSteam输出流上调用colse()方法关闭 7 DistributedFileSystem联系NameNode告知其文件写入完成等待NameNode确认 因为namenode已经知道文件由那些块组成(DataStream请求分配数据块)因此仅需等待最小复制块即可成功返回。 最小复制是由参数dfs.namenode.replication.min指定默认是1 MapReduce和Yarn MapReduce : 分而治之思想设计构思官方示例执行流程现在退居二线 Yarn 介绍架构组件程序提交交互流程、调度器分布式通用的资源管理系统保证了hadoop屹立不倒 MapReduce: 分布式计算概念 1 分布式计算是一种计算方法和集中式计算是相对的 2 分布式计算将一个应用分解成许多小的部分分配给多台计算机进行计算。这样可以节约整体计算时间大大提高计算效率 MR是一个分布式计算框架是一种面向海量数据处理的一种指导思想也是一种对于大规模数据进行分布式计算的编程模型 特点比Spark等非常稳定 1 易于编程 2 良好的扩展性 3 高容错性 4 适合海量数据的离线处理 局限性 1 实时计算性能差 主要用于离线作业无法做到秒级或亚秒级的数据响应 2 不能进行流式计算 流式计算式数据式源源不断地计算数据是动态地而MR作为一个离线计算框架主要针对静态数据集数据是不能动态变化 MR地实例进程 1个完整的MR程序在分布式运行时有三类 1 MRAppMaster : 负责整个MR程序地过程调度以及状态协调只有一个 2 MapTask : 负责map阶段的整个数据处理流程 3 ReduceTask : 负责reduce阶段的整个数据处理流程 阶段组成 一个MR编程模型中只能包含一个Map阶段和一个Reduce阶段或者只有Map阶段 egmap-map-map-redce 不行 eg: map -reduce-map-reduce-map-reduce:可以 数据类型 注意 整个MR程序中数据都以kv键值对的形式流转的 在实际编程解决各种业务问题中需要考虑每个阶段的输入输出kv分别是什么 MR内置了很多默认属性比如排序分组等都和数据的k有关所以kv的类型数据确定及其重要 WordCount编程实现思路 1 map阶段的核心把输入的数据经过切割全部标记1因此输出就是单词1 2 shuffle阶段核心经过MR程序内部自带的排序分组等功能把key相同的单词作为一组构成新的kv对 3 reduce阶段核心处理shuffle完的一组数据该组数据就是该单词所有的键值对。对所有的1进行累加求和就是单词的总次数 hive的安装配置
JDK安装hadoop是用java编写需要安装jdkHadoop安装: hive 借助hadoop实现计算和大数据存储Mysql安装hive允许将元数据存储于本地远程的外部数据库中这种设置可以支持hive的多会话生产环境一般将mysql作为hive的元数据存储仓库meta store 存储哪些表表明类型拥有者列分区字段表数据所在目录等 Hive的安装及配置详解含图文_hive配置文件-CSDN博客
