福建省住建厅网站官网,眉山网站制作,电子商务网站建设试题,app推广平台接单渠道需求 根据给定的轨迹编号在这一列后面生成随机颜色_16
输入数据
(吃饭, 123),
(吃饭, 宋江),
(郭靖, 宋江),
(杨过, 奥特曼),
(周芷若, 张无忌),…需求 根据给定的轨迹编号在这一列后面生成随机颜色_16
输入数据
(吃饭, 123),
(吃饭, 宋江),
(郭靖, 宋江),
(杨过, 奥特曼),
(周芷若, 张无忌),
(石破天, 谢逊),
(赵敏, 张三丰),
(小龙女, 杨过),
(黄蓉, 郭靖),
(洪七公, 欧阳锋)
Spark代码
package testimport org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import scala.util.hashing.MurmurHash3object randomV2 {def main(args: Array[String]): Unit {val spark SparkSession.builder().appName(ColorGeneration).master(local[*]).getOrCreate()import spark.implicits._// 创建DataFrame使用提供的数据这里是测试数据//生产环境中我们一般是读取的上一个节点传来的dataframe,直接调下面的方法自定义函数即可//完全可以实现我们想要的功能可根据我们的具体虚修再做修改//val df spark.read.csv(xxx.csv, header true, inferSchema true),//20231117lxh//https://blog.csdn.net/qq_52128187?typeblogval data Seq((吃饭, 123),(吃饭, 宋江),(郭靖, 宋江),(杨过, 奥特曼),(周芷若, 张无忌),(石破天, 谢逊),(赵敏, 张三丰),(小龙女, 杨过),(黄蓉, 郭靖),(洪七公, 欧阳锋))val df1 data.toDF(a1, a2)// 定义基于种子的随机颜色生成函数def getRandomColorFromSeed(seed: String): String {val hashed MurmurHash3.stringHash(seed) // 使用MurmurHash3生成种子的哈希值//https://blog.csdn.net/qq_52128187?typeblogval r (hashed 0xFF0000) 16val g (hashed 0x00FF00) 8val b hashed 0x0000FFf#$r%02x$g%02x$b%02x}val getRandomColorWithSeedUDF udf((seed: String) getRandomColorFromSeed(seed))val dfWithColor df1.withColumn(c1, getRandomColorWithSeedUDF($a1))dfWithColor.show() // 显示包含使用相同随机种子生成的新 c1 列的 DataFrame //20231117lxh}
}输出结果
-----------------
| a1| a2| c1|
-----------------
|吃饭| 123|#ff5e52|
|吃饭| 宋江|#cfac7d|
|郭靖| 宋江|#e0e0e0|
|杨过|奥特曼|#ff5e52|
|周芷若|张无忌|#ffb961|
|石破天| 谢逊|#1c6a77|
|赵敏|张三丰|#ff89a7|
|小龙女| 杨过|#ff5e52|
|黄蓉| 郭靖|#e0e0e0|
|洪七公| 欧阳锋|#1298d5|
-----------------这是其中一版能基本实现我生产中的需求还有第二版回头再补充吧
