微信手机网站三合一,最新新闻热点事件2023摘抄,wordpress 批量创建目录结构,唯品会网站开发技术分析一、宽窄依赖
窄依赖#xff1a;父RDD的一个分区数据全部发往子RDD的一个分区
宽依赖#xff1a;父RDD的一个分区数据发往子RDD的多个分区#xff0c;也称为shuffle
二、Spark是如何进行内存计算的#xff1f;DAG的作用#xff1f;Stage阶段划分的作用#xff1f;
父RDD的一个分区数据全部发往子RDD的一个分区
宽依赖父RDD的一个分区数据发往子RDD的多个分区也称为shuffle
二、Spark是如何进行内存计算的DAG的作用Stage阶段划分的作用
1Spark生成DAG图
2基于宽窄依赖对DAG图进行阶段划分
3每个stage内部都是窄依赖窄依赖内前后形成11的分区关系一个stage的多个并行任务就成为了多个内存迭代计算管道
4这些内存迭代计算的管道就是一个个具体的执行Task
5一个Task是一个具体的线程任务跑在一个线程之中就是走内存计算了。
