除了亚马逊还有啥网站做海淘,农业银行官网,湛江网站建设保定公司,asp做的网站频繁报错 参数错误一、大数据的3种数据类型 1、结构化数据
可定义#xff0c;有类型、格式、结构的强制约束 如#xff1a;RDBMS#xff08;关系型数据库管理系统#xff09;
2、非结构化数据
没有规律没有数据约束可言#xff0c;很复杂难以解析 如#xff1a;文本文件#xff0c;视…一、大数据的3种数据类型 1、结构化数据
可定义有类型、格式、结构的强制约束 如RDBMS关系型数据库管理系统
2、非结构化数据
没有规律没有数据约束可言很复杂难以解析 如文本文件视频音频PDF文件各种类型文件图片邮件等
3、半结构化数据
有一定的格式约束但是不多 如 csv,xml,json,html文件拥有开标签闭标签规定但是中间内容不确定
二、大数据4V特征 1、Volume 大量性
数据量大包括采集、存储和计算的量都非常大。
2、Velocity高速性
数据增长速度快处理速度也快时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。
3、Variety 多样性
种类和来源多样化。包括结构化、半结构化和非结构化数据具体表现为网络日志、音频、视频、图片、地理位置信息等等多类型的数据对数据的处理能力提出了更高的要求。
4、Veracity 真实性、精准性
数据价值密度相对较低或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用信息感知无处不在信息海量但价值密度较低如何结合业务逻辑并通过强大的机器算法来挖掘数据价值是大数据时代最需要解决的问题。数据的准确性和可信赖度即数据的质量。数据不一定完整有一定缺陷 三、什么是Hadoop? 1、Apache公司用Java开发的一种开源框架
2、可以进行大数据的分布式存储HDFS分布式处理MapReduce
3、使用自身电脑资源进行并行化数据处理代码处理模式简单
四、Hadoop内部框架 1、Hadoop Common
Hadoop的通用类Hadoop是基于Java开发的所以需要一些Java的库和实体类的支持
2、HDFS
HDFS 全称为Hadoop Distribute File System中文名为Hadoop分布式文件系统, 用于文件的存储
3、MapReduce
MapReduce是分布式处理框架分为Map和Reduce两部分用于数据处理
4、YARN
YARN全称为 Yet Another Resource Negotiate中文名为另一个资源协调者用于作业管理和资源调度。
五、YARN例子讲解
1、作业管理
比如班级里需要搬凳子搬桌子擦窗子班长可以安排1-5号同学搬凳子安排6-10号同学搬桌子安排11-15号同学擦窗子。这个班长Yarn,安排不同的人电脑做不同的事情作业
2、资源调度
1-5号同学搬凳子有男有女男同学力气大所以每人搬10张女生力气小所以每人搬2张6-10号同学搬桌子有男有女男同学力气大所以每人搬10张女生力气小所以每人搬2张11-15号同学擦窗子有男有女男同学体力好所以每人擦3扇女生体力差所以每人擦1扇这个过程就是资源调度班长Yarn安排男生性能好的电脑空闲的电脑多干点安排女生性能差点的电脑繁忙的电脑少干点。
六、Hadoop Cluster Hadoop集群 1、Hadoop集群的架构为“主”“从”架构
2、由一台电脑作为主电脑其他多台电脑作为从电脑相互关联组成
3、主电脑的配置一般比较好性能比较高从电脑一般是市面上的普通商品电脑性能普通
4、在Hadoop中后续会将电脑称之为“节点”。
七、Hadoop Cluster DetailHadoop集群详解 1、Hadoop集群的主从架构
主节点叫做NameNode,从节点叫做DataNode
2、从节点用于数据的实际存放
数据存放时会将文件首先进行拆块split block,不同的块block文件会存放在不同的从节点中Hadoop1.x版本中块的默认大小为64MB,Hadoop2.xHadoop3.x中默认块大小为128MB。
3、主节点用于记录数据不用于存放数据
主节点中有一个MetaData文件叫做元数据文件也被称为记录数据的数据文件一般记录分块文件信息块名字信息块大小信息块路径信息等等。
八、Hadoop 历史
1、Hadoop创始人叫Doug Cutting2006年Hadoop问世 2、Hadoop的图标是他儿子的大象玩具
九、Hadoop 4种安装模式
1、Local runtime mode 单机模式
一般用于测试和debug无进程
2、Pseudo-distributed operating mode 伪分布模式
一般用于学习一台机器上有一个主节点一个从节点和其他环境
3、Fully distributed operating mode 全分布模式
多台机器一台作为主节点其他作为从节点完全符合Hadoop集群架构
4、High availability(HA) operating mode 高可用模式
保证Hadoop的一切运行顺利有两个主节点其中一个是备份
