这是一个创建于 41 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1 ddddad 5 月 3 日挺好，给出模型评分参考就更好了 |
 |
3 shiyuu 5 月 4 日上面的推理速度就图个乐，实际只有 1/3 ，至少我选了自己用的显卡和模型对比了一下，而且我还是部署的量化版 |
 |
4 jifengg 5 月 6 日选了我在用的硬件和模型，估算出来的速度倒是蛮接近的。 |
 |
8 midraos 5 月 6 日不太准确，我在 amd 7950x + nvidia 5080 上部署的 qwen 3.6 35b a3b 模型，速度能达到 40t/s |
|
10 midraos 5 月 6 日@diudiuu #9 直接用的 lm studio ，用的 Q6 量化，通过调整配置，将 MOE 层部署在 cpu ，通用层部署在显卡，这样做比使用低量化的效果好，比在 CPU 部署的速度快，上下文大小能达到 128k 以上，token 生成速度有 40t/s |
 |
15 beginor 5 月 7 日算法不太准确，比实际的高很多，M1Max 用户路过 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
