悦阁网站建设,去除wordpress活动及新闻,网站设计哪家专业,平面设计教程网站环境配置
5个节点#xff0c;每个节点10G内存。
测试SQL#xff0c;每个执行3次#xff0c;求平均#xff0c;对比计算性能。
版本信息
Spark#xff1a;2.3.1Presto: 0.208
10亿量级查询性能对别
Spark#xff1a;
spark-sql select sex,count(1) from conta…环境配置
5个节点每个节点10G内存。
测试SQL每个执行3次求平均对比计算性能。
版本信息
Spark2.3.1Presto: 0.208
10亿量级查询性能对别
Spark
spark-sql select sex,count(1) from contact10 group by sex;
F 499976538
M 500023462
Time taken: 2.55 seconds, Fetched 2 row(s)Presto
presto select sex,count(1) from contact10 group by sex;
sex | _col1
----------------
M | 500023462
F | 499976538
(2 rows)Query 20180827_131349_00018_8qdyf, FINISHED, 5 nodes
Splits: 1,019 total, 1,019 done (100.00%)
0:05 [1000M rows, 123MB] [215M rows/s, 26.4MB/s]Spark计算比Presto快一倍胜出。
1000W量级查询性能对比
平分秋色Spark会好那么一丢丢。
Spark: 0.43sPresto: 0.5s
100条以内的表查询性能对比
Presto无论聚合计算还是全表扫描查询都略比Spark有优势不过总的查询不大性能优势可以忽略。
Spark0.19sPresto0.11s
发现的问题
Presto 不支持Hive的View
结论
测试结果上和京东的朋友做的对比测试确实比较吻合。
从生态及性能两方面考虑Presto相比Spark2.x确实没啥优势了。
