白云区建网站公司,公众号小程序商城,先做网站后付款,沈阳住房城乡建设部网站文章目录 1. 大数据概述1.1 大数据概念和影响1.2 大数据的应用1.3 大数据的关键技术1.4 大数据与云计算和物联网的关系云计算物联网 1. 大数据概述
大数据的四大特点#xff1a;大量化、快速化、多样化、价值密度低
1.1 大数据概念和影响
大数据摩尔定律 大数据由结构化和非… 文章目录 1. 大数据概述1.1 大数据概念和影响1.2 大数据的应用1.3 大数据的关键技术1.4 大数据与云计算和物联网的关系云计算物联网 1. 大数据概述
大数据的四大特点大量化、快速化、多样化、价值密度低
1.1 大数据概念和影响
大数据摩尔定律 大数据由结构化和非结构化的数据组成非结构化的数据占比大如图像数据 结构化的数据就是关系数据库表中的图表数据 非结构化的数据种类繁多 大数据从数据的生成到消耗时间窗口非常小可用于生成决策的时间非常少必须实现秒级决策 价值密度低商业价值高 大数据的影响 全样非抽样因为现在存储廉价数据可以全部保存不在需要抽样进行统计分析效率而非精确因为从前的抽样的结果误差放在全样上会被放大现在基于全样的分析不存在效率问题相关而非因果大数据时代追求的更多的追求数据之间的相关性而非因果关系
1.2 大数据的应用 1.3 大数据的关键技术
四个关键技术 两大核心技术分布式存储和分布式处理 分布式存储解决海量数据的存储问题 分布式数据库以及分布式文件系统 分布式处理解决海量数据的处理问题 分布式并行处理技术 不同的计算模式需要不同产品批处理、流计算、图计算、查询分析计算 MapReduce是批处理计算模式的典型代表其无法满足实时要求流计算流数据需要实时处理给出实时响应否则分析结果会失去商业价值 S4StormFlume 图计算代表Goole Pregel 设计可以高效处理图流数据的产品查询分析计算秒级响应实现交互式计算如Google Dremel、Hive、Cassandra
1.4 大数据与云计算和物联网的关系
云计算 云计算解决海量数据的分布式存储问题和分布式处理问题 典型特征虚拟化、多租户概念云计算是通过网络以服务的方式为用户提供非常廉价的IT资源优势企业无需自建IT基础设施可以租用云端资源云的三种模式 云计算的三种模式 公有云构建的云平台是面对所有公众服务的如百度云 私有云企业内部自己构建的面对企业内部员工的云平台 混合云构建的云平台部分给自己用部分给外面用 三种云服务 IaaS:基础设施即服务 将基础设施计算资源和存储作为服务出租 PaaS平台即服务 开发云产品在别人提供的云服务环境中利用其提供的接口开发各种云服务产品也部署到其分布式环境中去 SaaS:软件即服务 将云中心财务软件买卖给你 虚拟化和多租户 云计算数据中心各种数据和应用并非在天上云端而是位于数据中心里 其应用广泛
物联网 概念物联网IoT:The Internet of Things物联网就是物物相连的互联网是互联网的延伸 物联网的层次架构 物联网的关键技术识别和感知技术 物联网的应用 云计算和物联网的关系
