小说网站制作公司,wordpress商城支付,wordpress音乐播放器刷新,wordpress添加自定义链接文章目录 1 什么是序列化2.RDD中的闭包检查3.Kryo 序列化框架 1 什么是序列化
序列化是指 将对象的状态信息转换为可以存储或传输的形式的过程。 在序列化期间#xff0c;对象将其当前状态写入到临时或持久性存储区。以后#xff0c;可以通过从存储区中读取或反序列化对象的… 文章目录 1 什么是序列化2.RDD中的闭包检查3.Kryo 序列化框架 1 什么是序列化
序列化是指 将对象的状态信息转换为可以存储或传输的形式的过程。 在序列化期间对象将其当前状态写入到临时或持久性存储区。以后可以通过从存储区中读取或反序列化对象的状态重新创建该对象。
2.RDD中的闭包检查
从计算的角度, 算子以外的代码都是在 Driver 端执行 算子里面的代码都是在 Executor端执行。 那么在 scala 的函数式编程中就会导致算子内经常会用到算子外的数据这样就形成了闭包的效果如果使用的算子外的数据无法序列化就意味着无法传值给 Executor端执行就会发生错误所以需要在执行任务计算前检测闭包内的对象是否可以进行序列化这个操作我们称之为闭包检测。Scala2.12 版本后闭包编译方式发生了改变。
package bigdata.wordcount.xuliehuaimport org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDDobject SerializableDemo01 {def main(args: Array[String]): Unit {//1.创建 SparkConf 并设置 App 名称val conf: SparkConf new SparkConf().setAppName(SparkCoreTest).setMaster(local)val sc: SparkContext new SparkContext(conf)//3.创建一个 RDDval rdd: RDD[String] sc.makeRDD(Array(hello world, hello spark, Scala, Java))//3.1 创建一个 Search 对象val search new Search(h)//筛选出单词首字母为h的单词search.getMatch1(rdd).collect().foreach(println)println()search.getMatch2(rdd).collect().foreach(println)//4.关闭连接sc.stop()}}//在类构造器中以val/var修饰的变量为类的实例变量在类中调用的时候实际是 实例.变量
//此时rdd内要用到次变量的化需要进行序列化操作
class Search(var query:String) extends Serializable
{def isMatch(s: String): Boolean {s.contains(query)}// 函数序列化案例def getMatch1(rdd: RDD[String]): RDD[String] {rdd.filter(isMatch)}// 属性序列化案例def getMatch2(rdd: RDD[String]): RDD[String] {rdd.filter(x x.contains(query))}} 如果Search类不实现Serializable特质的话会通不过闭包检查报出错误如下 可以直接定义样例类因为样例类自动继承了序列化特质,这样也可以通过rdd的闭包检查
case class Search(var query:String)
{def isMatch(s: String): Boolean {s.contains(query)}// 函数序列化案例def getMatch1(rdd: RDD[String]): RDD[String] {//rdd.filter(this.isMatch)rdd.filter(isMatch)}// 属性序列化案例def getMatch2(rdd: RDD[String]): RDD[String] {//rdd.filter(x x.contains(this.query))rdd.filter(x x.contains(query))//val q query//rdd.filter(x x.contains(q))}}3.Kryo 序列化框架
Java 的序列化能够序列化任何的类。但是比较重字节多序列化后对象的提交也比较大。Spark 出于性能的考虑Spark2.0 开始支持另外一种 Kryo 序列化机制。Kryo 速度是 Serializable 的 10 倍。当 RDD 在 Shuffle 数据的时候简单数据类型、数组和字符串类型已经在 Spark 内部使用 Kryo 来序列化。
在使用Kryo序列化框架的时候也需要继承序列化特质。
Kryo参考
