


























这是一个创建于 39 天前的主题,其中的信息可能已经有所发展或是发生改变。
比如通过路由分发,简单任务给本地 Qwen 30B MoE ,复杂问题给云端 opus4.6/gpt5.3.等,这种场景实际效果如何呢?
听说 M5 PRO 这次本地跑大模型没有之前那么慢,如果是真的,这种混合架构靠谱吗,还是纯想多了?
2 vcmt 3 月 14 日 via Android这样给你说吧,我朋友买了一台十几万的机器跑,结果还是觉得慢。 |
3 YUXPRO 完全可以 我用的就是 https://ohmyopenagent.com/ Sisyphus 用 anthropic/claude-opus-4-6 max ,Oracle 用 openai/gpt-5.4 xhigh, Hephaestus kimi-for-coding/k2p5, 其余默认用本地的 qwen3.5 35b |
4 beginor 3 月 14 日 via Android本地跑 zeta 做代码提示感觉还行,其它交给云端大模型 |
5 oncethink 3 月 14 日说起来大家可能不信,这个时间点 mac 上 oMLX 配合 qwen3.5:35b-a3b 这样的 MoE 模型真的很丝滑,前提是得预留 20GB 的内存。 |
6 nutting 3 月 14 日感觉不是慢的问题,尤其是符合那个什么 ai 接口规范的模型,本地好像都有问题,一旦要做些文件之类的操作就有 bug ,如果只是问答可以 |
8 liujing906qdOP @YUX 请问你用的大概是什么样的本地环境呢?我在纠结于 MBP M5 PRO 24/48/64G ,大模型未来两年的发展可能维持住当前的模型大小的基础上提升能力,如果是这样,我可能会考虑 64GB ,但是确实有点贵了。24GB 据说跑 30B MOE 的模型还是很容易爆内存闪退。 |
10 dilidilid 3 月 14 日我一直搞不懂你们为啥老幻想在移动设备上跑生产级的 LLM 呢,这么小的模型 token 都是白菜价 |
13 leozeeho 3 月 14 日跑本地模型写代码简直是自寻烦恼,那点内存跑容器都不是太够,还能跑 llm 。。。 |
14 gigishy 3 月 16 日 via iPhone写代码,千问 30bmoe 的质量差了点,这个是关键。 |
15 wobuhuicode 3 月 16 日本地的小模型我一般都用来做 cli 的。这样的好处是我不用记各种命令行。 |
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。