这篇讨论围绕 Kog 发布的 LLM inference engine 技术预览展开，声称在 8× NVIDIA H200（数据中心 GPU）上把单请求吞吐做到约 3k tokens/s。标题里的“Standard GPUs”引发大量误解，很多人以为是消费级显卡，随后作者澄清并更新为“standard datacenter GPUs”。评论里反复提到 Monokernel（单内核优化）和 Delayed Tensor Parallelism（DTP，延迟张量并行）这两条路线：前者通过手写 CUDA/HIP/assembly 压榨推理路径，后者则面向更激进的 10k+ tok/s 目标。争论焦点不只是速度本身，而是这套方法能否从 2B 的预览模型外推到 GPT-OSS-120B、DeepSeek V4 Pro/Flash 这类更有用的 MoE（Mixture of Experts，混合专家）模型，以及在 consumer GPU、PCIe 和多节点环境下会遇到什么带宽上限。
评论区首先争论的是“Standard GPUs”这个说法是否成立。很多人以为指的是消费级显卡，比如 4090、3090 或至少能接显示器的“普通 GPU”，但文章实际用的是 8× NVIDIA H200 这类数据中心加速卡。作者随后澄清并把文章标题改成了“standard datacenter GPUs”，但不少人仍认为原标题带有误导性，甚至接近 clickbait。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10] [来源11] [来源12] [来源13] [来源14]
不少评论认为，拿 2B dense model 做 3k tok/s 展示，无法说明这套方案对真正有用的大模型也成立。有人直接把这种外推类比成“1 到 4 核线性提升就假设 256 核也一样”，或者“缓存内优化就假设多机问题也能同样优化”，并要求看到 27B、30B 甚至更大的实测。作者回应说，文章最后给了 scaling math：按 active params 和显存占用估算，GPT-OSS-120B、DeepSeek V4 Pro/Flash 这类 MoE 模型理论上可以继续扩展，但真正难点在于保持速度、处理更复杂的 routing 和 attention 逻辑。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10] [来源11] [来源12] [来源13]
支持者强调，token/s 并不只是“跑分”，而是直接影响 agentic workflow 的体验。比如软件工程、vibe coding、代码重构、测试循环都需要大量连续推理，如果每秒只能几十个 token，整个交互会被模型速度拖垮。也有人提到实时 video、shader generation、worldbuilding，甚至并行生成多个方案、做 Monte Carlo search 这类场景，认为 400–500 tok/s 可能只是起步，真正高吞吐才会打开新的工作流。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9]
技术讨论集中在这套推理引擎到底怎么做到这么快。作者说明他们会为不同 GPU 类型手写 CUDA/HIP 和 assembly，把模型逻辑重写到非常底层，以压缩 launch、sync、CPU sampling 等微秒级开销。评论和回复还解释了 Monokernel（单内核优化）和 TP（tensor parallelism，张量并行）的关系：当前 1k–5k tok/s 主要靠把 all-reduce 压到 3µs 以下，而 DTP（Delayed Tensor Parallelism，延迟张量并行）是面向 10k+ tok/s 的更激进路线。即便如此，consumer GPU 仍会受限于带宽和 PCIe 等互连性能，开源与否则被认为还要权衡 startup 的 IP 价值。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8]
Monokernel: 把推理流程尽量压缩到少量 GPU kernel 的优化思路，用来减少 launch 和同步开销。
DTP（Delayed Tensor Parallelism）: 一种把张量并行中的通信尽量延后或隐藏的设计，目标是进一步提高 tokens/s。
TP（Tensor Parallelism）: 把模型张量切分到多块 GPU 上并行计算的常见方法。
all-reduce: 多 GPU 间同步归并数据的通信操作，常常是性能瓶颈。
MoE（Mixture of Experts）: 混合专家模型，只激活部分专家参数，以较少 active params 支撑更大的总参数量。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。