近期看了下，因为人在深圳，去 hk 非常方便，加上有教育渠道，想选一台 mac studio 作为个人本地跑龙虾专用，也不准备全部本地，那个内存最低都要 128G ，性价比太低，想着端云结合着来。
模型估计是：
1.gemm4 31b
2.qwen3 32b
想问问有本地跑模型的吗，跑的怎么样？
初步计划硬件为
M4Max 64G 1Tb 这个版本，22749 折合下来估计在 19000 左右
 |
1 andyskaura 5 月 27 日看出来了，你单纯就是想买个 mac studio |
 |
2 anerevol 5 月 27 日64G 能跑的也不多吧. 现在 deepseek v4 flash 感觉跟不要钱一样随便用了, 干简单的活也完全没问题的. |
 |
4 novaren 5 月 27 日 via Android降价了吗 |
 |
5 AIgogo 5 月 27 日现在端侧或者本地部署，适合特别有兴趣或者能和工作任务挂钩的情况，不然就是吃灰、投资硬件。。。 |
 |
9 xxq2334 5 月 27 日 via iPhone256g 应该能跑量化后 deepseek v4 flash |
 |
11 uprit 5 月 28 日30B 左右的这个级别，本地只能干简单的活儿。比如翻译、写个 commit 文档什么的。 |
 |
12 sn0wdr1am 5 月 28 日我总感觉的，目前的情况下，端侧部署本地大模型，要么是土豪的不行，要么就是性价比太差。 |
 |
13 frantic 5 月 28 日 1
@SteveRogers 你这诉求直接 deepseek v4 flash 就好了，买设备的预算拿出来 2000 够你用大半年的 |
 |
14 coefu 5 月 28 日 2
mac studio m4 max 的 内存带宽才 410GB/s ，跑 30B 左右的 dense ，虽然可以用 mtp 加速，但是依然鸡肋。 mac studio 只能买 ultra ，m3 ultra 的内存带宽 819GB/s ，nvidia tesla v100 的 hbm2 900GB/s ，可以接近，但是容量超过 128G 就是鸡肋。 mac studio 最大的优势是 功耗低，最大持续功耗 480 瓦，也就 2 张 N 卡的功耗。 |
 |
15 zhongzh 5 月 28 日 2
我的 M5 Pro 64G ，用 omlx ，gemma-4-31b-it-OptiQ-4bit 会在 prefill 时强行触发内存保护导致 omlx 退出，Qwen3.6-27B-OptiQ-4bit ，占用内存大概是 40G 多一点。不好用 |
 |
17 ahdw 5 月 30 日@zhongzh 你跑多大的 context ？ oMLX - LLM inference, optimized for your Mac Single Request Results |
 |
18 yiranw09 5 月 30 日除非有保密需求，我已经想不出用本地模型的理由了 |
 |
19 SteveRogers 5 月 31 日 via iPhone@yiranw09 本地大模型可以跑越狱的大模型，比如加壳破解、程序逆向分析。除此之外，也可以可以自由的把很多大作包括马克思等进行无灌输中立性的客观分析。 可以理解开局就是一把刀，什么都可以自由创造，这就是科学的原始形态。 不过这种模型也很危险，最近用了 qwen3.6 越狱模型，这种无束缚的模型需要意志坚定、伦理道德观念强一些的人才能掌控 |
|
21 zhongzh 5 月 31 日内存占用是 omlx 的问题，我看最新的提交已经在修复了。本地布署最难受的是，让他改代码，他总是提供错误的字符导致修改失败，有时一轮对话，十几次尝试修改，全是错误。 |
|
22 ahdw 5 月 31 日@zhongzh 我试了一圈下来，Qwen3.6-35b-a3b-oQ8 不开思考模式是最稳的，我 hot cache 设置成 2GB ，memory guard 设置成 aggressive ，用 Pi Coding Agent ，在一个 session 里面反复探索、深入，体验和用 DSv4 Flash 这样的模型很接近了。当然，智力是明显差一些的。但是真的已经是能用的程度了。 27B 和 31B 两个，在我的 M1 Max 上最大的问题是 PP 太慢。这两个 Dense Model 对量化的容忍程度比 MoE 高，为了速度，我选了 4bit 量化，但是还是慢。差不多 10 tokens/s 的生成速度我能忍，但是真实场景里面到了中途以后，动辄 10 分钟起步的 PP 令我难以忍受。 |
|
23 SteveRogers 5 月 31 日 via iPhone@ahdw 可以再让子弹飞一会，等 m5 u 。看看带宽上去是不是更快 |
|
25 ahdw 12 天前 via iPhone@SteveRogers 太贵了太贵了，我 7000 块钱搞了个 16 寸无头骑士 64GB 的 M1 Max ，够我玩一阵子了 再往上升级目前看就 M5 Max 性能提升明显，但是对比 7K 的价格，太不划算了…… |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。