做了个小工具站,感兴趣的朋友可以看看:turbo-quant.com
起因是看到 Google Research 三月底发了 TurboQuant 这篇论文,讲 KV cache 压缩的,3-bit 量化能省 6 倍显存。但原论文读起来比较硬核,网上的中文资料要么是机翻 要么就是把"3-bit 零损失"这个标题党复读一遍。
所以借助 AI 花了点时间整了这个站,主要几个东西:
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。