济南免费网站制作,页面设计布局,帝国小说网站模板,福建住房和城建设网站Spark 为什么比 mapreduce 快?
最重要的3点#xff0c;
数据缓存 : 中间结果可以缓存在内存中复用
资源管理 #xff1a;executor task 管理#xff0c;不同stage的task可以运行在同一个executor上
任务调度 : dag 对比多阶段mr 1.任务模型的优化#xff08;DAG图对比…Spark 为什么比 mapreduce 快?
最重要的3点
数据缓存 : 中间结果可以缓存在内存中复用
资源管理 executor task 管理不同stage的task可以运行在同一个executor上
任务调度 : dag 对比多阶段mr 1.任务模型的优化DAG图对比多阶段的MR,启动申请资源耗时更少
mapreduce框架中一个程序只能拥有一个map一个reduce的过程如果运算逻辑很复杂一个map一个reduce是表述不出来的可能就需要多个map-reduce的过程mapreduce框架想要做到这个事情就需要把第一个map-reduce过程产生的结果写入HDFS然后由第二个map-reduce过程去hdfs读取后计算完成后又将结果写入HDFS再交由第三个map-reduce过程去计算 重点–这样一来一个复杂的运算在mapreduce框架中可能就会发生很多次写入并读取HDFS的操作而读写HDFS是很慢的事情spark框架采用的是以rdd为核心dag为调度把上面的mapreduce-mapreduce-mapreduce的过程连续执行不需要反复落地到HDFS这样就会比mapreduce快很多啦
2.Spark支持在内存中缓存结果(基于RDD, RDD分布式弹性数据集, rdd.cache(),数据可复用) 比如一个复杂逻辑中 一个map-reduce产生的结果A如果在后续的map-reduce过程中需要反复用到spark可以把A缓存到内存中这样后续的map-reduce过程就只需要从内存中读取A即可也会加快速度
3.资源模型不同 (spark拥有更完善的资源管理方案task可以复用core) spark是多线程模型每个worker节点运行一个或多个executor服务每个task作为线程运行在executor中task间可共享资源 而MR是多进程模型任务调度(频繁申请、释放资源)和启动开销大不适合低延迟类型作业
Spark 对比 mapreduce的优势有哪些
计算模型优势spark的核心技术是弹性分布式数据集(Resilient Distributed Datasets)提供了比 MapReduce 丰富的模型可以快速在内存中对数据集 进行多次迭代来支持复杂的数据挖掘算法和图形计算算法。。Spark 和 Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据 通信是基于内存而 Hadoop 是基于磁盘。Spark Task的启动时间快。Spark采用fork线程的方式而Hadoop采用创建新的进程 的方式。Spark只有在shuffle的时候将数据写入磁盘而Hadoop中多个MR作业之间的数据交 互都要依赖于磁盘交互Spark的缓存机制比HDFS的缓存机制高效。
