越南做It网站推广,wordpress插件audio player,网络公司经营范围,深圳燃气公司招聘分析回答
1#xff0c;如果预聚合不影响最终结果#xff0c;可以使用conbine#xff0c;提前对数据聚合#xff0c;减少数据量。使用combinner合并,combinner是在map阶段,reduce之前的一个中间阶段,在这个阶段可以选择性的把大量的相同key数据先进行一个合并,可以看做…分析回答
1如果预聚合不影响最终结果可以使用conbine提前对数据聚合减少数据量。使用combinner合并,combinner是在map阶段,reduce之前的一个中间阶段,在这个阶段可以选择性的把大量的相同key数据先进行一个合并,可以看做是local reduce,然后再交给reduce来处理。
2使用2次mr的方式。第一次mr在map输出是给key加上一个前缀则可以把相同的key分配到不同的reduce聚合可以实现同一个key数据量大的问题第二次mr对把第一次mr输出的数据的key去掉前缀在聚合。
3增加reduce个数提示并行度。最容易造成的结果就是大量相同key被partition到一个分区,从而一个reduce执行了大量的工作,而如果我们增加了reduce的个数,这种情况相对来说会减轻很多,毕竟计算的节点多了,就算工作量还是不均匀的,那也要小很多。
4自定义分区自定义散列函数把数据均匀分配到不同reduce。 喵呜面试助手一站式解决面试问题你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] - 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享
