打算自组一 AI 主机，用于本地 llm 。 可用于 kiro IDE 的，gitlab duo 。
可行性有多大，能否代替订阅的那些 ai 服务？
配置有没有推荐的，各 AI 行家请出手相助。
第 1 条附言 · 16 天前
第 2 条附言 · 15 天前
算是成功劝退我了。
但还是埋着一颗 self hosting 的心。
等着看大量二手 ai 机器出来的时候再说。
第 3 条附言 · 14 天前
刚知道，大女儿的同学给她一张旧显卡 rx6800 xt 16g
目前就考虑等回家（要一个月后才回家）先用这个试试看，能到什麽程度。
据 copilot 的说法，下面这些可行：
✔ Ask （轻量、快）
- Qwen2.5 7B Instruct
- Llama 3.1 8B Instruct
✔ Plan （中型项目）
- Qwen2.5 14B Instruct （ Q4 ）
- Llama 3.1 13B Instruct （ Q4 ）
✔ Agent （工具调用）
- Qwen2.5 Coder 7B （首选）
- Qwen2.5 Coder 14B （ Q4 ）
 |
1 qfdkPRO 看了明矾系列的 到现在没下手... 要不要等等 mac mini ？ 说不定有新科技？ 本来打算买 m4 ， 后来一拉配置，直接充 cc 了. 我 m1 跑 llm 吐字都不如我打的快... 也这里蹲一个吧 |
|
2 qfdkPRO 看了明矾系列的 到现在没下手... 要不要等等 mac mini ？ 说不定有新科技？ 本来打算买 m4 ， 后来一拉配置，直接充 cc 了. 我 m1 跑 llm 吐字都不如我打的快... 也这里蹲一个吧 |
 |
3 yusf 16 天前老老实实买用 api 吧 |
 |
7 davidyinOP 现在有个初步的配置清单： |
 |
8 AastroLula 16 天前 2
还是考虑买 api 吧,当然实在有钱可以折腾玩玩,如果 op 是需要正式干活可能 anthropic 博客里提的用聪明的大模型指导小模型是个算是能用的方案,但是这块一来需要折腾很久,二来还是得买外面的 api. 我之前也是想搞本地大模型折腾玩玩,后来发现纯粹是垃圾佬的馋瘾上来了,再说现在啥都涨价的买了也是大冤种,如果 op 想买 aimax 395 算是个选择吧,当然有特殊需求部署几 b 模型能用上也是好事,12g 显存骗骗哥们还行,别把自己骗了,以上是我的一点想法 |
 |
10 ntedshen 16 天前 2
降价期间屯硬件，那 bro 你很勇哦（ 4070s 有没有 4060ti 好使我不知道。。。 |
|
12 davidyinOP @Livid @AastroLula @ntedshen @devzhangyu |
 |
14 viskem 16 天前64G M4 MacMini 循环跑 DeepSeek V4 Pro 中，MLX 31B 27B 啥的放那一堆 都停用了。 |
 |
15 luodan 16 天前就看显存大小，其它可以全部忽略。要么独立显卡，要么统一内存。 |
 |
17 gtchan13579 16 天前Intel Arch B50 16G |
 |
19 zzutmebwd 16 天前 via Android 4
5 万以内无法替代 minimax deepseek-v4-flash 这种比较蠢的国产，20 万以内无法代替 glm 这种比较比较聪明的国产，无论花多少钱都无法达到 gpt5.5 和 opus4.7 这种顶尖的。 |
 |
20 bzw875 16 天前除了为了学习本地训练 AI ，买大显存电脑用来推理的都不是划算。就和买 deepseek 一体机一样鸡肋 |
 |
21 restkhz 16 天前 4
@davidyin 我不专业，但是有些经验你可以参考： 12G 显存太小了，完全完全地不推荐。小的模型完全能跑，甚至跑挺快，但模型本身太小鸡肋无用，能做点事的模型至少 30B 左右。哪怕 Q4 了你 12G 也跑不动。我有一个 3060 ，12G 显存，算力带宽都没问题但是生产力相关的基本什么都跑不了。 另外 UMA 带宽小的要谨慎。比如 AI MAX 395 ，我有一台，请谨慎考虑。用 Qwen3.6 35B 那些 MoE 模型倒是挺好，密集模型速度很慢，比如 Qwen3.6 27B ，不错的模型，但是跑推理大概 10t/s 不到，非常缓慢。不知道未来上 MTP 或者投机解码会不会有一点改善，最近 llama.cpp 有但是貌似还没进主线。另外在 395 上 Q4,Q5 的 Qwen3.5 122B 倒也不是不能跑，但是经常让我觉得不如高精度的 Qwen3.6 35B 。 还有 AI MAX 395 跑 ComfyUI 那些扩散模型玩 AIGC 也不快，能跑是都能跑，就是太慢。跑 LTX-2.3 生成 5 秒视频用了 15 分钟。这机器内存大很多东西都能跑，但问题是很多东西跑不快... 精度也很重要，我不觉得 Q4 量化真的好用。能跑归能跑，但是回答模棱两可，幻觉多，不建议用于生产。为了生产有条件建议 Q6 起步。 说到底还是建议直接 VRAM 直接 32G 起步吧。首先关注 VRAM,其次关注带宽。24G 可以是 ComfyUI 玩得舒服，但是你要跑编码我真不建议。 我只是踩过坑，请你千万不要对 20G 以下 VRAM 抱有任何不切实际的幻想。甚至我上文提到的那些模型生产力在 claude, gemini 和 chatGPT 面前也不是一个档次的。只是说，它具备这个能力罢了。 |
 |
22 csunny 16 天前5060ti 16G + 32G ddr5 跑 qwen3.6 35B Q5 。llama.cpp 速度大概 56/s 。 |
 |
24 2000wcw 16 天前为啥大家都不支持 PO 主？我倒觉得应该大力支持一下，然后 PO 主真金白银花了后说一下实际感受，这样我们才好避坑。 |
 |
25 bytesfold 16 天前 via iPhone我的建议直接 rtx pro 6000 ，不好用直接出掉 |
 |
27 cin 16 天前 1
你的这个"初步的配置清单"能跑起来的模型大概有 gemma4:e4b gemma-3-12b qwen3.5-9b 之类的，先建议找个对应的 api 尝试下 |
 |
28 tcper 16 天前如果你真想跑 LLM ，显存顶到最高就行，不过就怕又来一句，也想玩玩 3A 游戏 |
 |
29 whusnoopy 16 天前1. 预算多少？上可到 512G 的 M3 Ultra 的 Mac Studio ，或 128G 的 nVidia DGX Spark |
 |
30 zls3201 16 天前@davidyin cpu 高了 显卡我觉得 5060ti 16G 可能比你这个好 我最近看 reddit ，很多用 unsloth/Qwen3.6-35B-A3B 量化版本的，有内存 8g 都用起来的 |
 |
31 smlcgx 16 天前如果你玩本地推理的话，M3 ultra 确实是必备选项之一，电费账单是一笔隐藏开支，尤其是长期下来 |
|
32 davidyinOP |
|
33 davidyinOP |
 |
34 uprit 16 天前 1
显卡俺在用双卡 2080ti-22GB ，总共 44GB 显存，主机还是 1151 的老平台。可以跑 qwen3.6-27B-Q4KM ，256K 上下文，推理速度大概 20T/s |
 |
35 alinwu05 16 天前 via Android不划算，机器便宜了，LLM 不够聪明，没有意义啊，请一个小学生干活当然便宜，但是干不了活也不中呀 |
 |
36 maolon 16 天前楼上提议的挺好的， 跟现在的旗舰或者次旗舰模型还是差很远的（尤其是现在各家都开始往 1T 到几 T 的参数量发展），对本地模型的期望还是要明确的好 |
 |
37 Kevin2 16 天前 via Android同蹲方案，我也有这想法。另外再玩虚拟化系统，多开几个电脑玩 |
 |
38 Moonkin 16 天前 via Android@davidyin 12g 来搞笑的？臭打游戏的都看不上。3090 都比这强，显存直接觉得模型能不能用。32G 的改装卡/更大的走私卡如果不想要，那就 5090d ，或者 API 等 60 系。 |
 |
39 HojiOShi 16 天前lz 这帖子提醒我一件事，我有一台双 A770 的机器吃灰有点久了，现在想再看看 LLM 性能提升了多少。 |
|
40 ntedshen 16 天前@davidyin ddr4 目前是 ddr5 的半价，而且 14k 口碑并不怎么样。。。你可以在加钱或者减钱里面选（ |
 |
44 tootfsg 16 天前 via Android@davidyin 用 12g 显存跑本地 llama.cpp ？这是真的吗，我 16g 显存都不够，像 26b 27b 这种 q4km 都 15,16g 了，1,2g 给上下文要极致压缩 kv 类型和特别低的上下文 |
 |
45 coefu 16 天前 1
@davidyin #33 真正的行家来告诉你，2000$的方案。 amd epyc 单路 9004 12 通道 ddr5 主板，目前大概 4000 。12 通道全插满 4800 MT/s DDR5 内存时，12 个通道的总带宽约为 500GB/s 以上。使用更高频率（如 6400 MT/s ）的内存时，理论总带宽可达到约 614 GB/s 。几乎摸到了 hbm2 的边。关键是容量可伸缩。 ddr5 6400 16G 目前单条价格大概 700*12 ，8400 amd epyc 9124 cpu 目前大概 4000 总成本正好 2000$ 左右。 此时，你有 192G 内存（ Qwen3.5-122B-A10B ，这种都能跑），带宽 500 ～ 614G 左右，500G 的带宽足够让你跑 MOE ，20 ～ 25 token/s ，再加一块几百块的 16G hbm2 gpu ，完全够。 |
 |
46 huaweii 16 天前 via Android个人本地 llm 能做的事情和 vibe coding 两回事😅 性价比敏感还在这浪费钱呢，建议问一下 AI 一些基本的常识 |
 |
48 drafter 16 天前 1
昨天刚买的主机 跟你一样，5060ti 16G 显存 +96G 内存，270kcpu ，场景家里主机挂着，公司电脑通过 tailScale 连接 跑 qwen3.6-35B-A3B ，开启思考模式会比较慢，跟官方 api 比，3 ～ 5 分钟吧，我后面把思考模型关了会快点，但是像一个小的项目用 claude 进行/init 要处理 10 多分钟，如果非编程 用 Lm studio 对话框对话很快 ，输出 40t/s ，还在研究怎么在 coding 下推理速度加快 |
|
50 davidyinOP Gemini 得到的。 |
 |
52 aklllw 16 天前这个价位的跑起来的 AI...送我跑龙虾我都嫌弃 |
|
53 drafter 16 天前 1
@davidyin 对的 https://benchlm.ai/coding 可以看这个模型 coding 能力排行榜，Qwen3.6-27B 排名 19 ，比很多的收费模型都强，但是这个量化版也要 24G 显存以上才行，4090 ，5090 太贵，3090 矿卡风险高，Qwen3.6-35B-A3B 排名 30 ，基本上觉得大多工作都能做，我上午开始试的，效果可以，至少做同样的事比 minimax 2.7 显得专业很多，还是稀疏模型，一些权重可以放内存里，但是推理慢，这个很关键，同样的问题 trae 里的 minimax 2.7 大该 1 分钟，这个模型我用 claude 大概 11 分钟。。。 反正未来 20B ，30B 模型 在消费级显卡上的效果应该会越来越好，可以观望下 |
 |
54 hao150 16 天前别买 A U 就对了，反正我现在这个 A U 带的 NPU ，买的时候说能力多好，实际用的时候没几个应用适配的。哪怕跑个视频转码都调不动 NPU |
 |
55 pxlxh 16 天前你这个预算和你要求的隐私性本身就是矛盾的 |
|
57 smlcgx 16 天前 1
@davidyin 其实最后还是落实到需求，看你是想玩一玩还是想作为生产力。前者的话随便一个主机和显存吃得下的 int 之类的模型就可以了，只是聪明程度差一些。后者你想作为 api 的替代，就要认真选型了，没个几万入场费就不要想了，这些钱还不如买个正规 api |
 |
58 hanli 16 天前 1
前面研究过这个问题，新配显卡的话显存至少考虑 24G 以上，不然模型效果都比较一般。现在用的 12G 的 3080ti ，都跑 QWEN Q4 量化模型，跑 27b 稠密架构的基本用不了，35b 的 moe 架构勉强能用下。 |
 |
59 sn0wdr1am 16 天前劝退劝退。 电费不要去，显卡不要钱。 本地搭建根本不划算。 |
 |
60 cs8425 16 天前 1
刚好手上有 4070S 跟 9060xt, 最近也在尝试这块 我只测了 gemma-4-E2B Q4 、gemma-4-E4B Q4 跟 gemma-4-26B Q4 (MoE 类型) 跑 SDXL 的话 |
 |
61 afkool 16 天前 via Android菜鸟想法（我自己） |
 |
62 Dream4U 16 天前能替代的话，A 家和 O 家不用活了 |
 |
63 WhatIf 16 天前24G 的 3090 ，4090 之类 可以跑 30B 上下规模的模型，但是上下文很小， 项目大了估计就不行。 |
 |
64 kinghly 16 天前 via iPhone本地成本太高了，而且现在发展太快了. |
 |
67 dongfanga 16 天前等 mac 新一代的 studio 最高配版，或者海外购 5090 双卡组建（不跑 llm 还能用来游戏），如果没有太大必要，直接调用 api 更实惠 |
|
69 davidyinOP 没想着要同旗舰款比美，或者替换的意思。 |
 |
70 slowgen 15 天前 1
预算鸡肋不如买 api ，而且你低估了 Mac Studio 在跑大模型这件事上是极致性价比，官方翻新的 Mac Studio 库存已经 3 个月没补过货了，坐等 M5 Ultra 是最好的选择，因为曾经的 prefill 短板已经不短了。 跑大模型不是说你现在部署了之后就不动了，非要选择方案，当前性价比最高的是 DFlash + Qwen3.6 27B 方案，人家在单张 3090 上优化到极致跑的，直接抄作业就行。 但是，如果 2 个月之后出了一个开源模型，能力比你现在跑的模型提升 20%～ 30%，部分能力追平 Opus 4.7 ，体积在 40 ～ 60B 这个尺寸，你手头的硬件跑不动了，升级空间也没了，你怎么想。 而且从已有的信息来看，你对模型类型（ Dense / Moe 和显存带宽 or 内存带宽的关系是如何影响到 token/s 的）、prefill 速度取决于什么、模型尺寸和不同的量化方案（ Q4_K_M/Q4_K_X_L/NVFP4/MXFP4/Q5/Q6/Q8/FP8 的差异）和上下文大小对于显存占用是如何计算的，这些信息你都没有任何概念。 当你解了之后，你的结论就回到了我这条评论的第一句话了。 |
|
71 davidyinOP @slowgen Mac 的事情，纯粹是我个人不喜欢。 我太太问我是要工作还是考虑玩。我的答复是，必须“军民两用”，游戏和工作相结合才更有意思啊。 |
 |
73 imqiyue 15 天前 via iPhone 1
@2000wcw 是因为亲身经历过，所以不建议。23 年 4090 跑 13b 、25 年搭 256g ddr4 跑 ds r1 （这纯玩，做不得数）速度奇慢，macmini m4 16g 和 m1pro 16g 跑 qwen 3.5 9b ，都试玩过，做不了生产力。 |
 |
74 deep123 15 天前配个机器的钱，能用订阅多久 claude 和 gpt 呢，本地的算力和模型再聪明能多聪明呢，去折腾还不如多用用一线 ai |
 |
75 mewking 15 天前@slowgen 嘿嘿，就知道这贴会把你炸出来 目前，我觉得个人部署底线应该是 2*3090 或者 4*5060ti ，各有优劣，二手 3090 年数很久了，不知道什么时候会炸，5060ti 主板，电源，延长线折腾，卡多麻烦；加上 192G DDR5 ，这套配置 27b 和 31b dense ，dflash 速度不错了。等 Deepseek V4 flash 的 llama.cpp,dflash,nvfp4 支持到位，本地对话速度应该可以，vibe 就等不起 上限就不封顶了，看有人尝试用 dgx spark + mac studio 集群搞 DP 分离 |
 |
76 photolife 15 天前 via Android剛買了台二手 9000k ，構建本地向量數據庫用，用來對接線上各 AI 應用，替代線上是不可能的，另外會剪輯 8k 視頻。感覺你要確認行動的目標，然後就容易選擇。 |
|
77 davidyinOP 原先的想法就是能当编程助手，能做一些重构，改善我写的那些 PHP 代码。能力相当于 kiro 订阅里面的 coder 智能体，因为我也就用到这些。而且是单人使用。 问了 copilot ，它认为，14B 的模型就差不多，比如 Qwen2.5 coder 14B 。 跑这个模型，12GB 显卡，可以用 q4 量化版本；若是 16GB 显卡，可以跑 q5 版本。 |
 |
80 linser 14 天前到发帖时间为止，目前能在本地部署的开源模型，最好的就是 Qwen3.6 27b ，也是最接近商用模型的小模型，这个模型 16G 显存勉强能用 Q4 跑，但是要干活建议 Q6 及以上，需要 24G 或 32G 显存，所以 5060TI*2 、5070TI*2 、5090D 24G 是起码的配置，有条件可以上 5090 32G ，不怕风险也可以考虑 4080S 32G 、4090 48G 这种 DIY 卡。 除了 Qwen3.6 27b 外，Qwen3.6 35b 和 Gemma4 也能用用，但是效果要差一些，其他模型就不建议了。 |
 |
81 jhytxy 12 天前 1
现在本地最能打的就是 qwen3.6 27b and gemma4 31b 你租个机器体验一下就知道怎么搞了 看下 q8 ，q6 性能能接受不 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
