流式计算的调度复杂性在于需要考虑公平性和数据本地化。
FIFO调度
FIFO是一个简单的调度策略，适合用于作业并发少，或者无作业并发，且作业的map任务数量大，最好是大于等于集群的slot数量。FIFO调度中经典的两个问题
head-of-line
小作业，多作业并发的场景，量化数据本地化的公式为，为总的slot，为map任务需要的slot
sticky slots
大作业，多作业并发，slot数量小于总作业所需的slot数。作业能达到的最大本地化是
延迟调度
适用于大作业、适用于小作业、适用于长作业。延迟调度是一个综合表现比较好的调度策略。注意：大量作业并发也会存在数据本地化偏低的情况。
Hadoop延迟调试
1. 多级延迟调度
2. map任务做延迟调度，reduce任务不做延迟调度
3. 本地化公式：=73%
D：每秒能释放的slot=S/T
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。