私有化部署大模型的“终点”是 Mac 还是 Nvidia?
babymonster
·
2026-04-30
·
via V2EX - 技术
 |
|
24
tootfsg 4 月 30 日 via Android
这个问题很简单 能拿出 6,7w ,甚至 10w 多人民币买显卡就上 NVIDIA 工作站 pro6000 这种。 能拿出几十万就上 NVIDIA 服务器显卡。 2-3-4w ,还想舒服点跑大模型,等上 m5 pro 的 mac mini/studio 。 5070ti 留着玩 comyui 吧。 据我所知玩模型有两种 1 是训练模型,只能上 nvidia 的显卡。 2 是推理,就是下载别人训练好的模型自己部署使用 2 这种我建议上 mac ,因为 5070ti 价格还行但显存太鸡肋了,5090 24g cuda 核多但显存太小,价格又翻倍,5090 32g 得摸到 3w 人民币了,cuda 核心更多但显存只是 7000 块钱的 5070ti 翻倍,而且又和 nvidia 工作站显卡价格接近了了。 能拿的出钱就买 6w 左右一张的 pro6000 这种,只需要看 nvidia 工作站显卡就行了。 预算低就 3-4w 左右的 m5 mac 再低就继续用 5070ti 跑 27b 以下的 iq4xs 吧。
|
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。