DeepSeek 联合北大发布并开源了推理加速框架 DSpark（已上线 DeepSeek-V4 预览版）。该框架能根据系统负载和文本置信度，动态调整推测解码的验证长度，在线上高并发场景下将系统吞吐提升了 50% 以上，显著提升了生成速度并降低了推理成本。项目地址：GitHub - deepseek-ai/DeepSpec: DeepSpec: a full-stack codebase for training and evaluating speculative decoding algorithms · GitHub
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。