关于 Spark Task 的疑问 - V2EX
starry97
·
2020-08-04
·
via Spark
这是一个创建于 2140 天前的主题，其中的信息可能已经有所发展或是发生改变。
关于上面那个图，ShuffleMapStage 中，有三个 RDD，每个 RDD 有三个分区
我看网上文章都是说一个分区对应一个 task，
1.上面那个 ShuffleMapStage 中阶段里是否存在 9 个 Task 。
2.但站在 pipeline 角度上看，应该只有三个 task，每个 RDD 的一个分区组合成一个 task 。
上面两种说法，哪种是正确的呢，被搞糊涂了。谢谢！
 |
|
1
Finch 2020 年 8 月 5 日 via iPhone
一般是多少个 partition 就有多少个 task 。
如果是 9 个 task 就没有 DAG 的必要了。
|
 |
|
2
starry97 2020 年 8 月 5 日
@Finch 一般是多少个 partition 就有多少个 task 。 那 ShuffleMapStage 中有 9 个分区，那么就有 9 个 task 了？ 不过我现在知道了，是以 stage 最后 RDD 的分区数为例，还是感谢您！ |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
