


























这是一个创建于 2747 天前的主题,其中的信息可能已经有所发展或是发生改变。
问题:什么应用场景下 group by 比 reduce by 更好?
当时懵逼了,感觉不是默认都尽量使用 reduce by 吗,现在我能想到的情况也只有在 key 值非常少的情况下用 group by 比较好,不知道对不对。
2 VoidChen 2018 年 12 月 7 日groupBy 不好的原因是因为在计算前会先移动数据,reduceby 是先各自计算出结果再汇聚起来计算。所以什么情况下用 groupBy 好呢,我想啊,可能在需要移动数据的时候,比如说我有一批数据希望分组存放,直接移到一起输出成一个文件,后续分 rdd 直接一个文件一个 rdd 这么计算就会非常快。我也刚学没多久,不知道说得对不对,只是给出一点想法=。= |
3 vowers 2018 年 12 月 7 日em.....我都是能用 reduce 绝不用 group 的。。。 |
4 naga1003 2018 年 12 月 7 日费解的就在问的是 group by 的优势啊,我是怎么都感觉没有优势啊,看来还是经验少了。 |
5 naga1003 2018 年 12 月 7 日但仔细一想,如果 groupbykey 没有任何优点的话,岂不是没有存在必要了?所以应该确实是有应用场景的。 |
6 sakura1 2020 年 8 月 14 日不支持结合律的计算,比如去重? |
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。