这是一个创建于 68 天前的主题，其中的信息可能已经有所发展或是发生改变。
Gemma4 E4B IT 4bit MLX 能跑出几十 tokens/s ，但是有什么用呢？试着在同一局域网里面的 Mac Mini ，把 OpenCode 的 Quick 类指定成它，但是 12K 上下文都能报错，tensors cannot be broadcast 。这玩意儿到底有什么用？
也试了一下 Jackrong 的 Qwopus 3.5 9B 6bit MLX ，还是只能当单次聊天回复机器人用，接入 OpenCode 就报错。
实在是想不出来本地 LLM 有什么用。
加钱换 64G 的新机器？那钱买 Coding Plan 都够用多长时间了，不比本地模型强多了。
第 1 条附言 · 4 月 12 日
用 TurboQuant+ 部署了 Qwen3.5 9B Q8_0 GGUF 版本，竟然通过了洗车测试和长杆进门测试，有 16 ～ 17 tokens/s ，开 16K 上下文 RAM 峰值占用不到 11GB ，可以修改 wired RAM 的上限，给 13GB ，应该能尝试一下 32K 上下文了。
缺点就是思考的时间长了一点。
但是这样当 headless server ，或者没网的时候玩，好像也可以？
第 2 条附言 · 4 月 14 日
感谢 TurboQuant+，在模型权重量化的基础上，让 KV Cache 也显著缩小了体积。最终在 16 GB RAM M1 Pro MBP 上使用上面的模型，都能有 48K 的上下文，还有余裕。
64K 能启动 llama-server，但使用时会报错。
96K 无法启动 llama-server。
太长了放不下，回复在内容里面了。
 |
2 yougo 4 月 8 日之前看到说 50 张 H200 也无法支撑起一个 GPT 5.2 Pro 的稳定的算力需求 所以即便那些遥遥领先的闭源模型哪天开源了 也跟大多数人没有关系 光是电费就远超当前订阅的费用 所以以后只要需求持续存在 模型就会持续涨价直到和个人部署成本达成平衡 |
 |
3 nc 4 月 8 日64G 统一内存都不够用。不如用买机器的钱去买 token ，本地模型智商还是低，上下文也有限。 |
 |
4 aklllw 4 月 8 日想起一个冷笑话： |
 |
5 wsbqdyhm 4 月 8 日 via iPhone 1
单卡 4090 跑过 qwen3.5:35b 、gemma4:27b ，没什么实际意义。 |
 |
6 unusualcat 4 月 8 日 via Android没有。唯一的用处就是即时翻译…… |
 |
7 villivateur 4 月 8 日我想到本地模型有一个用处，就是帮盲人了解周围的情况，盲人用手机拍照后，用本地模型解析为语音 |
 |
8 fredweili 4 月 8 日有用，用法是跑本地小模型测试自己写的 agent/rag 代码，节约一点 token ，还方便看 log |
 |
9 workbest 4 月 8 日搞搞翻译，summary 这些没问题； coding ，作图，视频肯定不行 |
 |
10 bcllemon 4 月 8 日本地模型用来做路由可行吗？根据业务自动切换至不同的 ai |
 |
12 mengdu 4 月 8 日现阶段没啥用。 |
 |
13 Whittaker 4 月 8 日彦祖们，如果用本地模型搭建一个 QA Agent 有搞头嘛？ |
 |
14 yjhatfdu2 4 月 8 日这个问题我在 omlx 上遇到过，似乎是你设置的上下文大小，不是比较整数的值，比如你填个 32768 或者 65536 试试 |
 |
15 beginor 4 月 8 日不要那么悲观，本地跑一个 Zeta 或者 Qwen coder 配合 llama-code 插件做代码提示还是挺好的 🙂 |
 |
16 MacsedProtoss 4 月 8 日 via iPhone本地模型感觉就翻译了 或者劣质小说生成器 |
 |
17 iango 4 月 9 日16G 顶多只能 8K 上下文…… |
 |
18 ahdw 4 月 12 日@iango no no no, 强烈推荐 TurboQuant+，8K 上下文 context 占用仅 152 MB llama_memory_breakdown_print: | memory breakdown [MiB] | total free self model context compute unaccounted | 链接： Qwen3.5-9B-Q8_0.GGUF, 8K context RAM 还有剩！ 现在当 headless server ，用 SSH 连进去用，GUI cost 降低了，Context Window 还能再调高一点 |
|
19 ahdw 4 月 14 日``` print_info: file format = GGUF V3 (latest) load_tensors: CPU_Mapped model buffer size = 360.00 MiB llama_context: n_ctx_seq (49152) < n_ctx_train (131072) -- the full capacity of the model will not be utilized |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
