linux 网站建设模板,企业网站服务器的选择,杭州房产信息网官网,wordpress 整体搬家1、PySpark的编程模型 分三个模块#xff1a;
数据输入#xff1a;通过SparkContext对象#xff0c;完成数据输入
数据处理计算#xff1a;输入数据后得到RDD对象#xff0c;对RDD对象的成员方法进行迭代计算
数据输出#xff1a;最后通过RDD对象的成员方法#xff0…1、PySpark的编程模型 分三个模块
数据输入通过SparkContext对象完成数据输入
数据处理计算输入数据后得到RDD对象对RDD对象的成员方法进行迭代计算
数据输出最后通过RDD对象的成员方法完成数据输出将结果输出到list、元组、字典、文本文件、数据库等
2、如何安装PySpark库
pip install pyspark
注sprak支持环境变量通过入参告诉sparkpython在哪里 3、为什么要构建SparkContext对象作为执行入口
PySaprk的功能都是从SparkContext对象作为开始入口
4、算子
PySpark的数据计算都是基于RDD对象来进行的RDD对象内置丰富的成员方法算子
1、map算子
功能map算子是将RDD的数据一条条处理处理的逻辑基于map算子种接收的处理函数返回新的RDD对于返回值是新RDD的算子可以通过链式调用的方法多次调用算子 2、flatMap算子
功能对rdd执行map操作然后进行解除嵌套操作 funcT-U传入参数有一个最少一个返回值 funcVV- V 接受两个传入参数返回一个返回值类型和传入参数一致
3、reduceByKey算子
功能针对KV型RDD自动按照key分组对组内的数据进行两两计算然后根据你提供的聚合逻辑完成组内数据的聚合操作
注reduceByKey中接收的函数只负责聚合不理会分组 4 、filter算子
功能过滤器接收一个处理函数用lambda编写 5、distinct算子无需传参
功能对RDD的数据进行去重返回新的RDD 6、sortBy算子
功能对RDD数据进行排序基于你指定的排序一句
rdd.sortBy(func,ascendingFalse,numPartitions1)
func:(T)-U :告知rdd中按照哪个进行排序比如lambda x:x[1],表示按照rdd的第二列元素进行排序
ascending True 升序 False降序
numPartiontions用多少分区排序 输出数据
7、collect算子
功能将 RDD各个分区内的数据统一收集到Driver中形成一个List对象
用法rdd.collect(),返回值是一个list
8、reduce算子
功能对RDD数据集按照你传入的逻辑进行聚合
rdd.reduce()
# funcT,T- T
# 2参数传入 1个返回值返回值和参数类型要求类型一致
9、take算子
功能将RDD的前n个元素组合成list返回
10、count算子
功能统计RDD元素的个数
