惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

aimingoo的专栏
aimingoo的专栏
Google DeepMind News
Google DeepMind News
S
SegmentFault 最新的问题
Project Zero
Project Zero
D
DataBreaches.Net
I
InfoQ
L
Lohrmann on Cybersecurity
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
酷 壳 – CoolShell
酷 壳 – CoolShell
Stack Overflow Blog
Stack Overflow Blog
The Register - Security
The Register - Security
Recorded Future
Recorded Future
Vercel News
Vercel News
博客园 - 司徒正美
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
I
Intezer
The Hacker News
The Hacker News
F
Fortinet All Blogs
Microsoft Azure Blog
Microsoft Azure Blog
P
Proofpoint News Feed
Help Net Security
Help Net Security
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Scott Helme
Scott Helme
T
Threatpost
爱范儿
爱范儿
N
Netflix TechBlog - Medium
D
Docker
云风的 BLOG
云风的 BLOG
C
Cisco Blogs
K
Kaspersky official blog
H
Help Net Security
S
Secure Thoughts
T
Threat Research - Cisco Blogs
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
S
Security @ Cisco Blogs
Cyberwarzone
Cyberwarzone
N
News and Events Feed by Topic
G
Google Developers Blog
Forbes - Security
Forbes - Security
博客园 - 三生石上(FineUI控件)
博客园 - 叶小钗
B
Blog
Google DeepMind News
Google DeepMind News
Recent Announcements
Recent Announcements
Simon Willison's Weblog
Simon Willison's Weblog
S
Securelist
P
Privacy International News Feed
Spread Privacy
Spread Privacy
The Last Watchdog
The Last Watchdog

Local LLM

跑本地大模型 电费要多少? - V2EX 多机异构显卡组合推理 - V2EX 本地部署 GLM-5.2 的门槛太高了,根本玩不起! - V2EX 开源了一个 LLM 推理服务监控面板 - V2EX 大模型小白推荐一下本地模型 - V2EX GLM5.2 个人感觉有点被吹大了 - V2EX 有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗 - V2EX 分享个自己在用的玩具 - V2EX 配置 kiro 的问题 - V2EX 买 macbook pro 笔记本,跑本地模型,怎么配置性价比比较高? - V2EX lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度 GPU 跑 LLM 也会超频吗? DiffusionGemma Gemma4 12b 居然比 Qwen3.5 9b 还快,意料不到 什么? Apple Watch 也能本地跑 Qwen 了? 关于低算力 gpu 推理时 prefill 在总时长中的占比问题 现在大模型主流都用哪些 nVidia GPU? Mac book air M5 32G+1TB 能跑本地大模型? 需要购买国产显卡本地部署大模型,哪家的比较好 mac mini 跑本地模型,需要什么配置? Gemma4 12B 如何跑在 16G 显存上? mac 64g 能部署哪个本地大模型 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang,好像使用 transformer 推理都比这两个框架快,并且占用显存低 本地大模型最佳 Mac 配置选择 关于 5070ti 模型推理的速度和本地部署思考 有没有能够兼容 Win7 的离线模型工具 想折腾一个 AI 主机,请行家出手 锤子找钉子的项目分享:假想企业本地部署后不用人工洗库接入 llm 的中间层。 gemma4:31b-coding-mtp-bf16 有适合本地跑训练 AI 的电脑配置吗? - V2EX LiteChat 轻量级本地大模型聊天 WebUI,支持 vLLM DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗? 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上 github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps 请问各位大神,在隔离环境中,有本地 qwen 大模型,有没什么解决方案,做本地的知识库的方案,类似谷歌那个 notebooklm ,也勉强可以? 有一台 16 寸 m1max 64g+1T 满 GPU 的 MacBook Pro 适合部署哪个本地模型 - V2EX 私有化部署大模型的“终点”是 Mac 还是 Nvidia? 我自己的电脑是 5070Ti,总感觉跑一些模型算力不够 能一起给本地部署的开源模型做个适配的 coding agent 吗?我憋了口气 用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了 全球本地部署开发者们一起,打造一个真正属于开源社区的 Coding Agent 了 自己做了一款在线 GPU 推理速度计算器 · TPS Calculator qwen3.6 27b 本地编码测试 xllm 真的比 vllm+plugin 性能好么? 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型 我的开源项目,欢迎大家使用和批评,本地无字典字符型模型训练架构代码完全开源,可形成语义结构 请教一个关于模型训练主机配置的问题 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现 大伙有想过二次训练吗? 用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行) - V2EX 多台 GPU 之间怎么组网互联? 部署本地模型 token 输出万能公式 有没有简单版的 new-api 项目 想在本地部署 OCR 服务,解析美团的外卖订单截图,求推荐一个好用的 OCR 模型 本地部署靠不靠谱? - V2EX 为什么你该停止使用 Ollama - V2EX 本地大模型多大显存够用? 求可靠本地 vibe coding,有八卡的 L20 服务器 - V2EX 想掏一台 Mac mini M4 Pro 64G 跑 gemma4 31b Q4 接 openclaw 处理日常的问题,有人测试过速度吗? - V2EX 32B 本地 vibe coding 有能用的模型吗 - V2EX Gemma4 + LiteRT-LM 真得有点的东西, e2b 内存仅 2G 左右占用, 在 天玑 的安卓机上跑的飞快. - V2EX 闲置 16GB M1 Pro MBP 跑大模型 - V2EX 有人用 mac studio 测试过 gemma4 31b 16 吗 - V2EX gemma4:e4b 的效果出乎意料, 1050ti 也能很好的生成文章 - V2EX 谷歌的 Gemma 4 怎么样,有必须要本地弄一下吗 - V2EX 2 年以后的硬件和本地大模型 - V2EX 为什么 Qwen 吹这么牛,但是用起来体验这么拉啊,它的真实能力究竟怎么样 - V2EX Gemma 4 31B 大概什么水平,本地部署是不是又成为现实了 - V2EX qwen 本地大模型的问题 - V2EX 好奇有没有人用本地模型写代码? macbook 32G 内存, M5 芯片本地跑大模型有推荐的吗? - V2EX 本地部署 deepseek 70B,回答乱码 - V2EX 3090 跑文本向量模型可以么? 3090 是不是有点过剩? 家用机带宽太小玩不转 local llm 啊 想部署本地大模型来分析股票趋势,有没有专门针对股票的大模型? - V2EX minimax 挂了?? qwen3.5 过度思考的问题 [求助] DGX Spark 上 Ollama 推理极慢,改用 llama.cpp 部署是否更合适? 如何在 vs code 上应用自建的 ollama 模型 现在能本地部署最好的 TTS 是哪套, 太多了,没法都去试 本地 8G RTX4060 破卡,可以产多少 tokens? 如何在内网使用 opencode Qwen3.5-35B-A3B microgpt.py 30B 尺寸哪个小模型编码能力会好一些 ClawdBot 保姆级安装指南:从零搭建你的 24/7 私人 AI 助手 [求助] 求成本可控,性能过关的本地 vibe coding 方案 个人玩 ai,显卡最低起步是 5080 嘛? intel b60 48G 可以买吗 - V2EX 现在还有类似 nextchat 这样的 web 工具可以用自定义 api 使用的吗? 3070RTX 32GB i9 内存 1TB 的游戏本 推荐用来跑什么 AI 工具呢? - V2EX 本地大模型目前意义大吗? 寻找本地搭建方案有偿 讨论下自建内网 RAG 知识库和 AGENT 平台 使用 Nexa 提供的 SDK 在手机上运行端侧大模型 想问问大家有没有搭建本地的 LLM,我对应用场景挺困惑的 想学习下大模型,有什么论文网站推荐吗 Q: 关于读大部头 PDF 和 Mac Mini M4 能做的事情有些问题? 目前开源可以本地部署的模型有哪些? V 友们,有没有推荐的本地台式机文生图的方案?
都 2026 年了,为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型?
babymonster · 2026-05-06 · via Local LLM

这是一个创建于 38 天前的主题,其中的信息可能已经有所发展或是发生改变。

五一节假日期间,有一个同事想本地部署大模型,在群里询问,我们都给他推荐了 Nvidia 的卡,结果他去刷 B 站,选择了 AMD AI MAX+ 395 。

难道小白真的就这样被割韭菜吗?

  • 大模型
  • 部署
  • AMD

    130 条回复    2026-05-12 22:21:41 +08:00

    selca

    1

    selca      5 月 6 日

    详述具体差异是什么呢,为啥觉得 nvidia 更适合

    Gemini4422335

    3

    Gemini4422335      5 月 6 日   ❤️ 2

    因为同价位下 AMD AI MAX+ 395 可以用更大的显存,回血出内存也方便,最高 128G
    如果是 N 卡它到不了这么大,除非多卡,但是多卡又比 AMD 贵空间占的也多
    至于性能损失方面不是咱们这些专业选手,人家并不在意

    afkool

    5

    afkool      5 月 6 日 via Android

    推理来讲 395 便宜啊 128g 能跑大多数模型了
    他的竞争对手应该是 Mac mini 128g 这种
    Nvdia 是另一个赛道了吧……

    xiaomushen

    6

    xiaomushen      5 月 6 日

    你觉得人家没这个智商对比么?
    哪怕 Q4 量化,部署一个 dense ,又真正可用的本地模型,根据不同参数规模,你猜猜需要多大的显存?
    当然,如果你是推荐给他 H20/H200 之类的,当我没说。。。

    zhuoi

    8

    zhuoi      5 月 6 日

    安装个 rocm 你就明白 A 卡的坑了

    andlp

    10

    andlp      5 月 6 日

    本地个人用,部署这些模型差别不大.nvidia 贵,我还推荐你买最新的 nvidia 显卡,部署 deepseek v4 pro 呢

    ntedshen

    13

    ntedshen      5 月 6 日

    > 我们都给他推荐了 Nvidia 的卡,结果他去刷 B 站,选择了 AMD AI MAX+ 395

    你不妨说说你们都给他推了什么。。。

    twofox

    14

    twofox      5 月 6 日

    说说什么预算下,推荐了什么?

    padeoe

    16

    padeoe      5 月 6 日

    本地部署大模型务必买 NVIDIA Spark 呀,和 AMD 395 对标的产品,这俩我都买了,AMD AI MAX+ 395 预售阶段我就下单了,相比来说,比 AMD 395 贵几千块,但生态和性能强的不是一点。

    babymonster

    17

    babymonster      5 月 6 日

    @ntedshen Nvidia Jetson Orin 64GB 、Nvidia Jetson Thor T5000 、Nvidia DGX spark 这些?有啥问题吗?

    babymonster

    18

    babymonster      5 月 6 日

    @twofox 三四万左右,给他推荐了 Nvidia Jetson Orin 64GB 、Nvidia Jetson Thor T5000 、Nvidia DGX spark 这些等等

    kiwatokk

    20

    kiwatokk      5 月 6 日 via iPhone

    主要还是 n 卡有 cuda 吧

    padeoe

    21

    padeoe      5 月 6 日

    # 19 我是指 nvidia spark 和 amd 395 是同类型产品。推荐 Jetson 太业余了,我就问你推荐的这些你买过吗

    ikaros

    23

    ikaros      5 月 6 日   ❤️ 1

    如果只是跑 LLM 的话我之前的 AMD 显卡都是直接装 lmstudio 就可以用了,不知道有啥区别。

    ikaros

    24

    ikaros      5 月 6 日   ❤️ 2

    395 去年买 128G 只要 1W 出头(现在估计不到 2W),Nvidia 那个要 3W 多, 而且 395 可以装 Windows 玩游戏, nvidia 那个我记 CPU 用的是 ARM 的, 要我也选 AMD

    Bluecoda

    25

    Bluecoda      5 月 6 日

    就像苹果部署本地 LLM 一样,肯定也比不过 nv 吧?但是别人内存大啊,你 128GB 的 n 卡多少钱?苹果的多少钱?
    在飞机上用苹果 64GB 跑个本地 LLM ,设置可以不联网愉快写代码
    场景不同,你不能用你的场景套用别人的

    CS50

    28

    CS50      5 月 6 日

    不要对别人怎么花的钱有执念

    mooyo

    29

    mooyo      5 月 6 日

    rocm 真的是死了🐎了,还有 AMD AI CPU 的 NPU 在 Linux 下没有驱动也是死了🐎了。驱动还得填表发邮箱申请。

    xocus

    30

    xocus      5 月 6 日

    统一内存 128G ,只有 amd 的是 Windows 系统,其他 nvida 是 ubuntu ,mac 是苹果系统,是我,我也选 amd 的

    smlcgx

    31

    smlcgx      5 月 6 日

    这场景太经典了,又想本地推理,又想着性价比,最后选这个不意外

    不过话说回来,谁没交过学费啊

    jackqian

    34

    jackqian      5 月 6 日

    只适用于本地推理,又不需要自己训练,感觉区别不大吧

    jpyl0423

    35

    jpyl0423      5 月 6 日

    rocm 哪里有问题么,最近跑了个去码的任务还行

    zhanying

    37

    zhanying      5 月 6 日

    显存大,虽然速度慢好歹能跑,用 vulkan 后端就行了,rocm 纯坑

    knva

    38

    knva      5 月 6 日

    跑 llm amd 有什么问题吗? 一万多能买的 128G 的 nvidia 设备了?

    94

    39

    94      5 月 6 日

    一直不能理解个人跑本地模型的目的是什么。是搞开发?还是纯好奇想玩一玩。花两三万玩一下也太奢侈了吧。

    afkool

    40

    afkool      5 月 6 日

    @padeoe 对了大佬,多余问下,Mac 有啥好处?我看 395 ,哪怕屏幕素质高的笔记本 128G (比如玩家国度的幻)才 2 万。。Mac Studio 128G 都本着 4 万去了

    fredweili

    41

    fredweili      5 月 6 日

    没事别爱操心,别人买啥关你啥事?有钱自己去买自己玩

    meteora0tkvo

    42

    meteora0tkvo      5 月 6 日

    早几年前,训练 ai 只能用 nVidia 卡,现在才逐渐支持 amd 的卡而已

    fredweili

    43

    fredweili      5 月 6 日

    @afkool 苹果的东西一向是内存硬盘加价成金子,大家觉得好那是入门丐版,3000 多的不买 mac 你能找到哪怕能看到尾灯的?

    afkool

    44

    afkool      5 月 6 日

    @emberzhang 说错了。是 Mac Studio 。
    不过我看来看去。。。感觉还是买个 rog 幻 x 划算啊。也不重,出去玩日常还能玩。

    babymonster

    47

    babymonster      5 月 6 日

    @94 本地部署如果有 CUDA 的生态的话,这个可以做成无限 token 调用呀,生图生视频

    94

    49

    94      5 月 6 日

    @babymonster #47 ,算力差太大了吧…… 速度能看到交付的产物差,交付结果能看的就速度慢。
    现在本能跑能用(生产力提升)的就只有翻译能力或者对话吧。其他的差距太明显,要不然就是当玩具,绕过限制玩一下涩图生成?

    fcten

    50

    fcten      5 月 6 日

    395 1w2 能买到的时候是真划算,应该是本地部署性价比最高的选择了,现在的价格嘛也就那样。
    再好一点的选择是 M5 Max 128G 。

    想要用 N 卡的,我只推荐两个:4090 48G (双卡) 或 RTX PRO 6000 ,但是这两个均没有保修。小白慎重考虑。
    Jetson 系列和 DGX 系列都不适合个人使用,买来纯属吃灰,买前面的至少还能打游戏呢[doge]

    huaweii

    52

    huaweii      5 月 6 日 via Android

    @fcten 苦等 M5 max 和 ultra 的 mac studio

    zoozobib

    55

    zoozobib      5 月 6 日

    turboquant 、dflash 后的 395 更没优势了 , 吃的多和跑得快完全不是一个维度

    Daitabashi

    56

    Daitabashi      5 月 6 日

    英伟达的卡 显存是和算力绑定的 为了大显存买 5090 不合算
    AI Max 类似苹果的统一内存 想要多少焊多少 不用为用不到的计算性能买单

    diudiuu

    57

    diudiuu      5 月 6 日

    买 dgx spark 的也是韭菜啊

    MCVector

    60

    MCVector      5 月 6 日

    我买了两个 AMD AI Pro R9700 卡,感觉还行? Vulkan backend 性能有时比 ROCm 略好一点。

    geekvcn

    62

    geekvcn      5 月 6 日   ❤️ 1

    英伟达水军是真的多,AI 小白不懂装懂的也真是多。

    Curtion

    64

    Curtion      5 月 6 日

    我就买了 395 ,1.2w 的价格,128G 显存的还有哪个机器可以做到? 而且推理不一定要用 CUDA 啊,我连 ROCm 都没用,我用的是 vulkan 缺点就是用不了 DFlash, 跑 27B 稠密模型瓶颈在算力上, 但是可以相同速度跑 122B-A10B 的 MOE 模型

    neptuno

    65

    neptuno      5 月 6 日

    他可能也就想想,买回来更多是打游戏

    zycode

    66

    zycode      5 月 6 日

    主要是硬件性价比高,不过 rocm 确实是容易各种不兼容

    catazshadow

    67

    catazshadow      5 月 6 日 via Android

    Rocm 最大的坑是明年就不支持老卡了

    babymonster

    68

    babymonster      5 月 6 日

    @94 你用过 z-image 吗?我感觉他这个配合 ComfyUI 来生图还是挺好的呀,不光是生图像,什么 TTS 、ASR 都还好呀

    babymonster

    69

    babymonster      5 月 6 日

    @fcten 专业级显卡跟消费级显卡需要有打游戏的这个对比吗?那 H100 和 H20 难道这种显卡也要去打游戏吗?

    565656

    75

    565656      5 月 6 日

    AMD 的东西一生黑 我打游戏都买的 285K 没买 x3d ,之前就发现 AMD 待机的风扇就叫不停好讨厌

    adoal

    76

    adoal      5 月 6 日

    因为 Jetson 和 DGX 真的是只能“部署大模型”,除此之外对个人用户没啥用……

    jjx

    77

    jjx      5 月 6 日

    哎,一直想入手创 13pro 联名版 128g+1t, 看着它从 2 万涨到 3 万

    sherg98

    78

    sherg98      5 月 6 日

    很简单,大模型对显存的需求是刚性的,普通人也不可能去买很多张算力卡去组 gpu 服务器,AI MAX+ 395 虽然吐词速度不行但确实能跑,价格也相对来说比较友好

    sherg98

    79

    sherg98      5 月 6 日

    真相同显存不得上两张 4090 48g 或者保修的话 rtx pro 6000 ,这个价格差的就多了

    NiceKlaus

    80

    NiceKlaus      5 月 6 日

    本地部署 1w 左右能行吗,单显卡预算

    94

    81

    94      5 月 6 日

    @babymonster #68 ,可能还是你们有钱吧,几万花着不心疼。
    生图我就是上头的时候跟着突破限制的教程本地跑了一下,劲过去了之后就没在用过了。
    TTS 的话直接调 API 真的很廉价了,而且还有免费额度。ASR 本地跑小模型我的办公电脑没显卡也完全可以胜任。

    nrtEBH

    84

    nrtEBH      5 月 6 日

    为什么觉得 AMD AI MAX+ 395 是割韭菜 逻辑在哪里??
    本来就是各有擅长 用割韭菜来形容有点不够技术过于傲慢了

    Curtion

    85

    Curtion      5 月 6 日

    @babymonster #70 GPT-OSS-120B 是一个激活参数只有 5.1B 的 MOE 模型,可以跑,但是实际上这个模型不如 Qwen 3.6 27B ,不过 GPT-OSS-120B 速度确实会更快, 395 更适合 MOE 模型

    94

    86

    94      5 月 6 日   ❤️ 1

    @babymonster #68 ,接#81 ,所以如果现在非要找一个在本地跑的需求,可能就是跑一个 7b 左右的小模型来做 AI 翻译以减少开销?
    不过其实有大量的翻译需求,也是肯定是业务上面的需求,直接用公司给的额度安排翻译任务就好了。个人看文章翻译日常用各家翻译 API 的免费额度我都用不完的……

    如果是作为开发用途的,很明显能在本地跑的模型和线上的参数量级差太多了,是不会考虑的在本地跑的。所以非常不理解花大价钱买显卡、计算模块在本地跑模型的目的到底是为什么。

    babymonster

    87

    babymonster      5 月 6 日

    就这么说吧,如果你们去买的话,是会买 AMD max 395 还是英伟达的?

    Maybez007

    88

    Maybez007      5 月 6 日

    目前来看 AMD 、mac 确实比 NVIDIA 的方案便宜很多。所以选 NVIDIA 方案的原因是?

    lithiumii

    89

    lithiumii      5 月 6 日 via Android   ❤️ 1

    看内存带宽,DGX spark 跟 395 半斤八两(英伟达稍强一点点,但都远不如一个正经显卡)。跑 llm 推理的话反正都是 llama cpp 搞定,不像训练你还要自己折腾 ROCm 。所以哪个便宜买哪个。但买 amd 的好处是你还能获得一个标准的 x86 电脑当服务器用

    cheng6563

    90

    cheng6563      5 月 6 日

    道理都懂,问题是,5090 才几个 VRAM ?难道你还想买 H100 ?

    Miary

    91

    Miary      5 月 6 日

    又不搞训练,买 395 有什么问题?抛开预算谈方案都是扯淡。

    SakuraYuki

    95

    SakuraYuki      5 月 6 日

    买东西不看价格还行,黄狗的黄金显存是普通消费者能承受的?还是说 op 的 5070ti 有足够显存跑 128b ,普通人谁吃多了没事干买 DGX 专门就为了跑个 ai

    wclebb

    99

    wclebb      5 月 6 日

    主要还是看个人的预算方案吧。

    laminux29

    100

    laminux29      5 月 6 日

    各有各的优势。

    AMD 、MAC 主打一个性价比。如果你已经确定,你需要用的某款模型,能在这种平台上面稳定跑,那么选这些非 N 卡平台,性价比更高。

    但如果你经常换模型,或者自己搞各种与 AI 相关的开发,追求灵活性、兼容性、可调试性,那么必然要买 N 卡了。