天津网站建设行业新闻汕头疫情最新消息

1、 Spark中的窗口函数 
        窗口就是单纯在行后面加一个列
        可以套多个窗口函数，但彼此之间不能相互引用，是独立的
        
        窗口函数会产生shuffle
        
        over就是用来划分窗口的

    (1) 分组聚合里面的函数，基本都可以用于窗口函数
           count 、 avg 、 max 、 min
           DENSE_RANK :  连续排序    11122333
           RANK :        跳跃排名    11144666
    
    
    (2) 窗口函数  排序和不排序的区别 :
           不排序  -- 全局结果，同一个组内每一条数据后面的值都一样
           排序    --  累计， 第三条数据是第一条和第二条数据的和
           
           
    (3) 凡是通过自己和自己关联的， 都是可以通过窗口实现的
        
        sum(case when round(r/2)=zhongweishu then sco else 0 end)   -- 下标等于中位数返回true，做sum(sco)求和 ， 否则不求和
        

2、 Spark  --  DF与RDD之间的相互转换
    
    创建好 SparkSession 之后可以直接获取 SparkContext
    
    DF比RDD多了列名和列类型
    
    (1) RDD  转换成  DF    --   studentRDD.toDF
            需要注意字段的数量和顺序、 需要导入隐式转换
    
    (2) DF  转换成  RDD    --   studentDF.rdd
    
    

3、 Spark 自定义函数
        所有可以写sql的框架都可以自定义函数
        
        两种情况 :  用在DSL、 用在sql 
    
    (1) 定义自定义函数  
        val ageAdd: UserDefinedFunction = udf((age: Int) => {
          age + 1
        })
        
        
    (2) DSL 可以直接调用 自定义函数
    
    (3) 需要自定义函数， 并注册  才能在sql中使用
        // 注册自定义函数
        spark.udf.register("ageAdd", ageAdd)