从 static batching 到 continuous batching：一文看懂 LLM 推理吞吐量优化 – A/B's Blog
B分之A 这家伙很懒，什么都没写 返回
·
2026-05-30
·
via A/B's Blog
本文从 Prefill 与 Decode 的性能差异出发，介绍 LLM 推理中的 Static Batching 与 Continuous Batching，分析 Orca 提出的迭代级调度思想，以及 vLLM 的 P…
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
