

















4 ahdw 5 月 25 日用 oMLX ,然后 32GB RAM 可以很舒服地跑 gemma-4-26b-a4b-fp16 了,你选一下 oQ8 量化配短一点的上下文,或者 oQ4 量化,跑 32K 以上的上下文。 M1 和 M2 系列的 GPU 没有 bf16 格式的硬件加速,所以关键不在量化,在 fp16 上,能显著提升 PP 和 TG 的速度。 另外,Dflash 和 MTP 对 M1 系列来说,基本上净收益为负,不用浪费时间了。 Qwen3.6-35b-a3b 比那个 9B 模型强,你都有 32GB RAM 了,没必要用它了。 |
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。