《网站推广策划》,免费甜点网站模板下载,网站推广案例,建站经验系列文章目录
系统架构设计高级技能 软件架构概念、架构风格、ABSD、架构复用、DSSA#xff08;一#xff09;【系统架构设计师】 系统架构设计高级技能 系统质量属性与架构评估#xff08;二#xff09;【系统架构设计师】 系统架构设计高级技能 软件可靠性分析与设计…系列文章目录
系统架构设计高级技能 · 软件架构概念、架构风格、ABSD、架构复用、DSSA一【系统架构设计师】 系统架构设计高级技能 · 系统质量属性与架构评估二【系统架构设计师】 系统架构设计高级技能 · 软件可靠性分析与设计三【系统架构设计师】
现在的一切都是为将来的梦想编织翅膀让梦想在现实中展翅高飞。 Now everything is for the future of dream weaving wings, let the dream fly in reality. 系统架构设计高级技能 · 大数据架构设计理论与实践 系列文章目录一、传统数据处理系统的问题1.1 传统数据库的数据过载问题1.2 大数据的特点1.3 大数据的利用过程 二、大数据处理系统架构分析2.1 大数据处理系统面临的挑战2.2 大数据处理系统的特征 三、典型的大数据架构2.1 Lambda架构2.2 Kappa架构2.3 Lambda架构与Kappa架构对比 四、大数据架构的实践4.1 大规模视频网络4.2 广告平台4.3 电商智能决策大数据系统 一、传统数据处理系统的问题
1.1 传统数据库的数据过载问题
传统应用的数据系统架构设计时应用直接访问数据库系统。当用户访问量增加时数据库无法支撑日益增长的用户请求的负载从而导致数据库服务器无法及时响应用户请求出现超时的错误。
关于这个问题的常用解决方法如下 1增加异步处理队列 2建立数据库水平分区 3建立数据库分片或重新分片 4引入读写分离技术 5引入分库分表技术
1.2 大数据的特点
大数据具有体量大、失效性强的特点并非构造单调二是类型多样处理大数据时传统数据处理系统因数据过载来源复杂类型多样等诸多原因性能低下需要采用以新式计算架构和智能算法为代表的新技术大数据的应用重在发掘数据间的相关性而非传统逻辑上的因果关系因此大数据的目的和价值就在于发现新的知识洞悉并进行科学决策。
现代大数据处理技术主要分为以下几种
1基于分布式文件系统Hadoop。 2使用Map/Reduce或Spark数据处理技术。 3使用Kafaka数据传输消息队列及Avro二进制格式。
1.3 大数据的利用过程
大数据的利用过程分为采集、清洗、统计和挖掘 4个过程。
二、大数据处理系统架构分析
2.1 大数据处理系统面临的挑战
大数据处理系统面临的挑战主要有 1如何利用信息技术等手段处理非结构化和半结构化数据。 2如何探索大数据的复杂性、不确定性特征描述的刻画方法及大数据的系统建模。 3数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响。
2.2 大数据处理系统的特征
大数据处理系统应具有的属性和特征包括 鲁棒性和容错性、低延迟性、横向扩展通过增强机器性能扩展、通用、可扩展、即席查询用户按照自己的要求进行查询、最少维护和可调试。
三、典型的大数据架构
2.1 Lambda架构
Lambda架构是一种用于同时处理离线和实时数据的、可容错性、可扩展性的分布式系统。
如图Lambda架构
Lambda架构分为以下3层 1批处理层 (Batch Layer)存储数据集 该层核心功能是存储主数据集Batch Layer在数据集上预先计算查询函数并构建查询所对应的View。Batch Layer可以很好地处理离线数据但有很多场景数据是不断实时生成且需要实时查询处理对于这种情况 Speed Layer更为适合。
2加速层 (Speed Layer)Batch Layer处理的是全体数据集该层核心功能是处理增量实时数据而 Speed Layer处理的是最近的增量数据流。 Speed Layer 为了效率在接收到新的数据后会不断更新Real-time View, 而Batch Layer 是根据全体离线数据集直接得到Batch View。
3服务层 (Serving Layer)该层核心功能是响应用户请求Serving Layer用于合并Batch View和 Real-time View中的结果数据集到最终数据集。
Lambda架构优缺点
优点 1容错性好。 Lambda 架构为大数据系统提供了更友好的容错能力一旦发生错误我们 可以修复算法或从头开始重新计算视图。 2查询灵活度高。批处理层允许针对任何数据进行临时查询。 3易伸缩。所有的批处理层、加速层和服务层都很容易扩展。因为它们都是完全分布式 的系统我们可以通过增加新机器来轻松地扩大规模。 4易扩展。添加视图是容易的只是给主数据集添加几个新的函数。
缺点 1全场景覆盖带来的编码开销。 2针对具体场景重新离线训练一遍益
2.2 Kappa架构
Kappa架构是在Lamada架构的基础上进行了优化、删除了Batch Layer的架构将数据通道以消息队列进行替代。
从使用场景上来看 Kappa架构与Lambda相比主要有两点区别
1Kappa不是 Lambda的替代架构而是其简化版本 Kappa放弃了对批处理的支持更擅长业务本身为增量数据写入场景的分析需求例如各种时序数据场景天然存在时间窗口的概念流式计算直接满足其实时计算和历史补偿任务需求
2Lambda直接支持批处理因此更适合对历史数据分析查询的场景比如数据分析师需要按任意条件组合对历史数据进行探索性的分析并且有一定的实时性需求期望尽快得到分析结果批处理可以更直接高效地满足这些需求。
Kappa架构的优点在于将实时和离线代码统一起来方便维护而且统一了数据口径的问题避免了 Lambda架构中与离线数据合并的问题查询历史数据的时候只需要重放存储的历史数据即可。
而Kappa的缺点也很明显
1消息中间件缓存的数据量和回溯数据有性能瓶颈。通常算法需要过去180天的数据如果都存在消息中间件无疑有非常大的压力。同时一次性回溯订正180天级别的数据对实时计算的资源消耗也非常大。
2在实时数据处理时遇到大量不同的实时流进行关联时非常依赖实时计算系统的能力很可能因为数据流先后顺序问题导致数据丢失。
3Kappa 在抛弃了离线数据处理模块的时候同时抛弃了离线计算更加稳定可靠的特点。Lambda虽然保证了离线计算的稳定性但双系统的维护成本高且两套代码带来后期运维困难。对于以上Kappa框架存在的几个问题目前也存在一些解决方案对于消息队列缓存数据性能的问题 Kappa框架提出使用 HDFS来存储中间数据。针对 Kappa框架展示层能力不足的问题也有人提出了混合分析系统的解决方案。
2.3 Lambda架构与Kappa架构对比
Lambda架构和Kappa 架构对比
对比内容Lambda架构Kappa架构复杂度与开发、维护成本需要维护两套系统(引擎),复杂度 高开发、维护成本高只需要维护一套系统(引擎),复杂度低开发、维护成本低计算开销需要一直运行批处理和实时计算计算开销大必要时进行全量计算计算开销相对较小实时性满足实时性满足实时性历史数据处理能力批式全量处理吞吐量大历史据处理能力强流式全量处理吞吐量相对较低历史数据处理能力相对较弱 Lambda架构与Kappa架构的设计选择
根据两种架构对比分析将业务需求、技术要求、系统复杂度、开发维护成本和历史数据处理能力作为选择考虑因素。而计算开销虽然存在一定差别但是相差不是很大所以不作为考虑因素。
1业务需求与技术要求 用户需要根据自己的业务需求来选择架构如果业务对于 Hadoop、Spark、Strom 等关键技术有强制性依赖选择 Lambda架构可能较为合适如果处理数据偏好于流式计算又依赖Flink计算引擎那么选择Kappa架构可能更为合适。
2复杂度 如果项目中需要频繁地对算法模型参数进行修改 Lambda架构需要反复修改两套代码则显然不如 Kappa架构简单方便。同时如果算法模型支持同时执行批处理和流式计算或者希望用一份代码进行数据处理那么可以选择Kappa 架构。在某些复杂的案例中其实时处理和离线处理的结果不能统一比如某些机器学习的预测模型需要先通过离线批处理得到训练模型再交由实时流式处理进行验证测试那么这种情况下批处理层和流处理层不能进行合并因此应该选择Lambda架构。
3开发维护成本 Lambda架构需要有一定程度的开发维护成本包括两套系统的开发、部署、测试、维护适合有足够经济、技术和人力资源的开发者。而Kappa 架构只需要维护一套系统适合不希望在开发维护上投入过多成本的开发者。
4历史数据处理能力 有些情况下项目会频繁接触海量数据集进行分析比如过往十年内的地区降水数据等这种数据适合批处理系统进行分析应该选择Lambda架构。如果始终使用小规模数据集流处理系统完全可以使用则应该选择Kappa架构。
四、大数据架构的实践
4.1 大规模视频网络
如图某网奥运中的Lambda架构
4.2 广告平台
如图某网广告平台中的Lambda架构
如图某证券大数据系统架构
4.3 电商智能决策大数据系统
如图某电商智能决策大数据系统架构
