 |
21 restkhz 5 月 10 日 4
@davidyin 我不专业，但是有些经验你可以参考： 12G 显存太小了，完全完全地不推荐。小的模型完全能跑，甚至跑挺快，但模型本身太小鸡肋无用，能做点事的模型至少 30B 左右。哪怕 Q4 了你 12G 也跑不动。我有一个 3060 ，12G 显存，算力带宽都没问题但是生产力相关的基本什么都跑不了。 另外 UMA 带宽小的要谨慎。比如 AI MAX 395 ，我有一台，请谨慎考虑。用 Qwen3.6 35B 那些 MoE 模型倒是挺好，密集模型速度很慢，比如 Qwen3.6 27B ，不错的模型，但是跑推理大概 10t/s 不到，非常缓慢。不知道未来上 MTP 或者投机解码会不会有一点改善，最近 llama.cpp 有但是貌似还没进主线。另外在 395 上 Q4,Q5 的 Qwen3.5 122B 倒也不是不能跑，但是经常让我觉得不如高精度的 Qwen3.6 35B 。 还有 AI MAX 395 跑 ComfyUI 那些扩散模型玩 AIGC 也不快，能跑是都能跑，就是太慢。跑 LTX-2.3 生成 5 秒视频用了 15 分钟。这机器内存大很多东西都能跑，但问题是很多东西跑不快... 精度也很重要，我不觉得 Q4 量化真的好用。能跑归能跑，但是回答模棱两可，幻觉多，不建议用于生产。为了生产有条件建议 Q6 起步。 说到底还是建议直接 VRAM 直接 32G 起步吧。首先关注 VRAM,其次关注带宽。24G 可以是 ComfyUI 玩得舒服，但是你要跑编码我真不建议。 我只是踩过坑，请你千万不要对 20G 以下 VRAM 抱有任何不切实际的幻想。甚至我上文提到的那些模型生产力在 claude, gemini 和 chatGPT 面前也不是一个档次的。只是说，它具备这个能力罢了。 |
 |
53 drafter 5 月 10 日 1
@davidyin 对的 https://benchlm.ai/coding 可以看这个模型 coding 能力排行榜，Qwen3.6-27B 排名 19 ，比很多的收费模型都强，但是这个量化版也要 24G 显存以上才行，4090 ，5090 太贵，3090 矿卡风险高，Qwen3.6-35B-A3B 排名 30 ，基本上觉得大多工作都能做，我上午开始试的，效果可以，至少做同样的事比 minimax 2.7 显得专业很多，还是稀疏模型，一些权重可以放内存里，但是推理慢，这个很关键，同样的问题 trae 里的 minimax 2.7 大该 1 分钟，这个模型我用 claude 大概 11 分钟。。。 反正未来 20B ，30B 模型 在消费级显卡上的效果应该会越来越好，可以观望下 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。