惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Engineering at Meta
Engineering at Meta
D
DataBreaches.Net
云风的 BLOG
云风的 BLOG
B
Blog
T
The Blog of Author Tim Ferriss
MyScale Blog
MyScale Blog
A
About on SuperTechFans
H
Heimdal Security Blog
AI
AI
F
Full Disclosure
The Last Watchdog
The Last Watchdog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
量子位
I
InfoQ
Martin Fowler
Martin Fowler
MongoDB | Blog
MongoDB | Blog
WordPress大学
WordPress大学
Hugging Face - Blog
Hugging Face - Blog
小众软件
小众软件
N
News and Events Feed by Topic
腾讯CDC
L
LINUX DO - 最新话题
Attack and Defense Labs
Attack and Defense Labs
Hacker News: Ask HN
Hacker News: Ask HN
Google Online Security Blog
Google Online Security Blog
博客园_首页
Forbes - Security
Forbes - Security
The Register - Security
The Register - Security
博客园 - 三生石上(FineUI控件)
PCI Perspectives
PCI Perspectives
V
Vulnerabilities – Threatpost
The Cloudflare Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
Recent Commits to openclaw:main
Recent Commits to openclaw:main
L
LangChain Blog
Security Archives - TechRepublic
Security Archives - TechRepublic
NISL@THU
NISL@THU
博客园 - Franky
Microsoft Security Blog
Microsoft Security Blog
J
Java Code Geeks
Simon Willison's Weblog
Simon Willison's Weblog
O
OpenAI News
H
Hacker News: Front Page
Project Zero
Project Zero
P
Privacy International News Feed
Cyberwarzone
Cyberwarzone
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
大猫的无限游戏
大猫的无限游戏
Application and Cybersecurity Blog
Application and Cybersecurity Blog

Local LLM

跑本地大模型 电费要多少? - V2EX 多机异构显卡组合推理 - V2EX 本地部署 GLM-5.2 的门槛太高了,根本玩不起! - V2EX 开源了一个 LLM 推理服务监控面板 - V2EX 大模型小白推荐一下本地模型 - V2EX GLM5.2 个人感觉有点被吹大了 - V2EX 有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗 - V2EX 分享个自己在用的玩具 - V2EX 配置 kiro 的问题 - V2EX 买 macbook pro 笔记本,跑本地模型,怎么配置性价比比较高? - V2EX lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度 GPU 跑 LLM 也会超频吗? DiffusionGemma Gemma4 12b 居然比 Qwen3.5 9b 还快,意料不到 什么? Apple Watch 也能本地跑 Qwen 了? 关于低算力 gpu 推理时 prefill 在总时长中的占比问题 现在大模型主流都用哪些 nVidia GPU? Mac book air M5 32G+1TB 能跑本地大模型? 需要购买国产显卡本地部署大模型,哪家的比较好 mac mini 跑本地模型,需要什么配置? Gemma4 12B 如何跑在 16G 显存上? mac 64g 能部署哪个本地大模型 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang,好像使用 transformer 推理都比这两个框架快,并且占用显存低 本地大模型最佳 Mac 配置选择 关于 5070ti 模型推理的速度和本地部署思考 有没有能够兼容 Win7 的离线模型工具 想折腾一个 AI 主机,请行家出手 锤子找钉子的项目分享:假想企业本地部署后不用人工洗库接入 llm 的中间层。 gemma4:31b-coding-mtp-bf16 有适合本地跑训练 AI 的电脑配置吗? - V2EX 都 2026 年了,为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型? LiteChat 轻量级本地大模型聊天 WebUI,支持 vLLM 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上 github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps 请问各位大神,在隔离环境中,有本地 qwen 大模型,有没什么解决方案,做本地的知识库的方案,类似谷歌那个 notebooklm ,也勉强可以? 有一台 16 寸 m1max 64g+1T 满 GPU 的 MacBook Pro 适合部署哪个本地模型 - V2EX 私有化部署大模型的“终点”是 Mac 还是 Nvidia? 我自己的电脑是 5070Ti,总感觉跑一些模型算力不够 能一起给本地部署的开源模型做个适配的 coding agent 吗?我憋了口气 用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了 全球本地部署开发者们一起,打造一个真正属于开源社区的 Coding Agent 了 自己做了一款在线 GPU 推理速度计算器 · TPS Calculator qwen3.6 27b 本地编码测试 xllm 真的比 vllm+plugin 性能好么? 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型 我的开源项目,欢迎大家使用和批评,本地无字典字符型模型训练架构代码完全开源,可形成语义结构 请教一个关于模型训练主机配置的问题 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现 大伙有想过二次训练吗? 用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行) - V2EX 多台 GPU 之间怎么组网互联? 部署本地模型 token 输出万能公式 有没有简单版的 new-api 项目 想在本地部署 OCR 服务,解析美团的外卖订单截图,求推荐一个好用的 OCR 模型 本地部署靠不靠谱? - V2EX 为什么你该停止使用 Ollama - V2EX 本地大模型多大显存够用? 求可靠本地 vibe coding,有八卡的 L20 服务器 - V2EX 想掏一台 Mac mini M4 Pro 64G 跑 gemma4 31b Q4 接 openclaw 处理日常的问题,有人测试过速度吗? - V2EX 32B 本地 vibe coding 有能用的模型吗 - V2EX Gemma4 + LiteRT-LM 真得有点的东西, e2b 内存仅 2G 左右占用, 在 天玑 的安卓机上跑的飞快. - V2EX 闲置 16GB M1 Pro MBP 跑大模型 - V2EX 有人用 mac studio 测试过 gemma4 31b 16 吗 - V2EX gemma4:e4b 的效果出乎意料, 1050ti 也能很好的生成文章 - V2EX 谷歌的 Gemma 4 怎么样,有必须要本地弄一下吗 - V2EX 2 年以后的硬件和本地大模型 - V2EX 为什么 Qwen 吹这么牛,但是用起来体验这么拉啊,它的真实能力究竟怎么样 - V2EX Gemma 4 31B 大概什么水平,本地部署是不是又成为现实了 - V2EX qwen 本地大模型的问题 - V2EX 好奇有没有人用本地模型写代码? macbook 32G 内存, M5 芯片本地跑大模型有推荐的吗? - V2EX 本地部署 deepseek 70B,回答乱码 - V2EX 3090 跑文本向量模型可以么? 3090 是不是有点过剩? 家用机带宽太小玩不转 local llm 啊 想部署本地大模型来分析股票趋势,有没有专门针对股票的大模型? - V2EX minimax 挂了?? qwen3.5 过度思考的问题 [求助] DGX Spark 上 Ollama 推理极慢,改用 llama.cpp 部署是否更合适? 如何在 vs code 上应用自建的 ollama 模型 现在能本地部署最好的 TTS 是哪套, 太多了,没法都去试 本地 8G RTX4060 破卡,可以产多少 tokens? 如何在内网使用 opencode Qwen3.5-35B-A3B microgpt.py 30B 尺寸哪个小模型编码能力会好一些 ClawdBot 保姆级安装指南:从零搭建你的 24/7 私人 AI 助手 [求助] 求成本可控,性能过关的本地 vibe coding 方案 个人玩 ai,显卡最低起步是 5080 嘛? intel b60 48G 可以买吗 - V2EX 现在还有类似 nextchat 这样的 web 工具可以用自定义 api 使用的吗? 3070RTX 32GB i9 内存 1TB 的游戏本 推荐用来跑什么 AI 工具呢? - V2EX 本地大模型目前意义大吗? 寻找本地搭建方案有偿 讨论下自建内网 RAG 知识库和 AGENT 平台 使用 Nexa 提供的 SDK 在手机上运行端侧大模型 想问问大家有没有搭建本地的 LLM,我对应用场景挺困惑的 想学习下大模型,有什么论文网站推荐吗 Q: 关于读大部头 PDF 和 Mac Mini M4 能做的事情有些问题? 目前开源可以本地部署的模型有哪些? V 友们,有没有推荐的本地台式机文生图的方案?
DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗?
SzgSw5zGyN1iy · 2026-05-03 · via Local LLM

这是一个创建于 41 天前的主题,其中的信息可能已经有所发展或是发生改变。

Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已?

  • Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗?
  • 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ?
  • 三者有什么产品硬件上的差异区别?

  • 母胎
  • 差异
  • 扩展

    11 条回复    2026-05-08 12:51:22 +08:00

    WuSiYu

    1

    WuSiYu      5 月 3 日 via iPhone

    只是换个壳吧

    Insolitude

    2

    Insolitude      5 月 4 日 via Android

    没有 spark 独占的功能,甚至由于 GPU 架构的细微差异,导致能在同代的 rtx pro 6000 显卡上能跑的模型,到 spark 上反而有问题

    应该可以,我看有人 6 台组集群,每个牌子的各两台

    据说内存大小上有些差异,导致 hp 还是哪家的同样的设置就它会爆显存,一般调小 vllm 的显存占用就行。公版的散热会差点,满负荷运行会降频

    建议去 NVIDIA 官方的 spark 论坛,那里有各种折腾教程。

    kenpuluma

    3

    kenpuluma      5 月 4 日

    周边硬件上有些小细节不太一样。比如 oem 厂商的大多改善了散热问题,但官方的前面进风受限。又比如有的厂商有加电源指示灯。但核心硬件没有区别。
    系统应该也有细微区别。我看 nvidia 官方论坛上说 1 月更新后内存占用只有 2g 左右。我用 dell gb10 的话哪怕手动关闭很多服务后也是接近 4g 占用。

    开箱即用方面,spark 虽然是 Blackwell 架构,但芯片组是 SM121 ,很多框架支持的不好(比如把 sm121 当作 sm80 ),现在基本全靠社区在慢慢修复。

    不同 oem 品牌之间可以随便串通使用。毕竟核心硬件没区别。

    cpstar

    4

    cpstar      5 月 4 日

    只要是 GB10 的方案,主板系统全一样,散热模组也大差不差,唯一差别就是外壳做工,据说 DGX 是比较差的,我买的 ThinkStation 还可以,从对比图看,可能 ThinkStation 镂空多一些散热好一点。

    系统都是基于 Ubuntu24 的适配版,因为 CPU 是 Grace ,ARM 的架构,有一些模型应该适配的但不能用

    kobe718

    5

    kobe718      5 月 4 日

    基本都是公版 pcb ,软件、200g 模块这些都是通用的
    但是有说是只有公版的 ssd 的 pcie5.0 的,其他副厂都是 4.0 的

    Chihaya0824

    6

    Chihaya0824      5 月 4 日

    原版散热比较差
    其他散热据说好一点,但是我只用过原版
    反正买一个以上千万不要堆叠摆放,他会降频

    diudiuu

    7

    diudiuu      5 月 6 日

    DGX Spark 不好,可以看我帖子

    qazwsxkevin

    9

    qazwsxkevin      5 月 7 日

    @diudiuu 我也没买,之前在其它主题下也请教过您 DGX 一些问题的。。。 看了好多天。。。
    DGX 目前阶段,的确是非常好的东西,但是拿它要做点事情(必须 Q8 以上,Dense,TPS > 40~60/s ,同时还要确保权重能用的 KV 空间可以 256K 上下文)的话,得一下买 2 台(最少)或 4 台集群,6W~13W(*4 还得买交换机和专用线)人币的投入;
    有 6~10 来万投入的小工作室或者个人,还真不会买 DGX*2 or *4;
    单台 DGX 似乎就是玩具,老王的意思可能就是,要让真用的人,该掏那笔钱还是得掏的;
    我看社区里调教,优化 DXG 适配、加速模型,也是呕心沥血的(维护不易,支持较少、反应也慢)。。。

    diudiuu

    10

    diudiuu      5 月 8 日   ❤️ 1

    @qazwsxkevin 这个机子主要是带宽太低了,再怎么优化带宽已经决定了它的上限,这个机子带宽要在 1T 以上,就是小钢炮.要满足带宽 1T 以上,差不多要买 4 台 DGX

    qazwsxkevin

    11

    qazwsxkevin      5 月 8 日

    @diudiuu 嗯嗯,是的,非常同意,这东西就是得买 4 台才能干活,反正要有那个水平和性能,无论是 DGX 还是 MAC Studio 或者显卡多卡,大 10W 人币(约 10W~14W )目前来讲,是必须掏钱的。