这是一个创建于 51 天前的主题，其中的信息可能已经有所发展或是发生改变。
感觉比 3.5 强不少，秒 gemma4 。可以说是 24G 内存 mac 或显卡的目前最佳本地模型，稠密的太慢了。
有个很困难的只有 GPT5.4 才能找到的代码 bug ，它当然也是找不出来的。
还是给 openai 充钱吧，开源就只能玩一玩。
 |
1 hanguofu 4 月 16 日谢谢分享，楼主你是在什么硬件上跑的啊？给个参考呗 ~ |
 |
2 C64NRD 4 月 17 日牛，这是刚发布的 |
 |
3 MLawliet 4 月 17 日 via Android24g 内存 mac 跑不了 35b 吧？ |
 |
6 qdwang 4 月 17 日@MLawliet 跑的 iq4_xs 量化，运算时刚刚好吃满 23g 内存，不会写 swap ，128k 上下文。 做了 100k 上下文里乱序随机位置插 26 个关联计算题测试，能做对。 |
 |
7 Hermitist 4 月 17 日我用 omlx 直接下, git clone, hf 下, 都不能完整下来, 不知道什么鸟情况. |
|
8 qdwang 4 月 17 日@Hermitist mac 不要用 mlx ，mlx 一方面量化模型拉垮，另一方面速度也不快，第三方面内存占用还高，第四方面整个包体积太大。 gguf 系强太多，少折腾直接上 llama.cpp ，手动下载 gguf 模型 |
 |
9 xing7673 4 月 18 日小模型不要太期待有多强的智能，我是觉得可以在 hermes 这种 agent 上让大模型做好 skill ，安排好边界处理后再让小模型去处理，看看这种老师带学生的模式能不能持续比较好。 |
|
11 qdwang 4 月 18 日@Hermitist 快是因为 mlx 量化里，有些关键权重被砍成低量化了，会速度快但是质量差。你测试 gguf 也会发现，同样 4bit 里，iq4_xs 会比 q4_k_m 快很多。 |
 |
13 godymho 4 月 18 日我的 24G mac iq4_xs 跑不起来。降到了 2bit 试了一下，30token 左右 |
 |
14 wsbqdyhm 4 月 19 日m1max64 跑。直接起飞，最好的开源能跑的模型，没有之一，吊打 gemma4.脚踢 qwen3.5 ，个人用下来有 minimax2.7 ，5-6 成能力了。搭配 openclaw 和 hermes |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。