惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Simon Willison's Weblog
Simon Willison's Weblog
T
Threatpost
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Spread Privacy
Spread Privacy
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Engineering at Meta
Engineering at Meta
T
Tenable Blog
C
Cisco Blogs
T
The Blog of Author Tim Ferriss
NISL@THU
NISL@THU
T
Threat Research - Cisco Blogs
T
The Exploit Database - CXSecurity.com
P
Privacy & Cybersecurity Law Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
S
Secure Thoughts
N
News and Events Feed by Topic
Google DeepMind News
Google DeepMind News
博客园 - 三生石上(FineUI控件)
Microsoft Azure Blog
Microsoft Azure Blog
月光博客
月光博客
H
Hacker News: Front Page
I
InfoQ
L
LangChain Blog
Security Latest
Security Latest
The Cloudflare Blog
Forbes - Security
Forbes - Security
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Stack Overflow Blog
Stack Overflow Blog
TaoSecurity Blog
TaoSecurity Blog
量子位
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
V
Visual Studio Blog
Scott Helme
Scott Helme
爱范儿
爱范儿
A
Arctic Wolf
F
Full Disclosure
酷 壳 – CoolShell
酷 壳 – CoolShell
Schneier on Security
Schneier on Security
N
News and Events Feed by Topic
C
CXSECURITY Database RSS Feed - CXSecurity.com
L
LINUX DO - 最新话题
V2EX - 技术
V2EX - 技术
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
人人都是产品经理
人人都是产品经理
The Hacker News
The Hacker News
Hugging Face - Blog
Hugging Face - Blog
Security Archives - TechRepublic
Security Archives - TechRepublic
Know Your Adversary
Know Your Adversary
Application and Cybersecurity Blog
Application and Cybersecurity Blog

Local LLM

跑本地大模型 电费要多少? - V2EX 多机异构显卡组合推理 - V2EX 本地部署 GLM-5.2 的门槛太高了,根本玩不起! - V2EX 开源了一个 LLM 推理服务监控面板 - V2EX 大模型小白推荐一下本地模型 - V2EX GLM5.2 个人感觉有点被吹大了 - V2EX 有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗 - V2EX 分享个自己在用的玩具 - V2EX 配置 kiro 的问题 - V2EX 买 macbook pro 笔记本,跑本地模型,怎么配置性价比比较高? - V2EX lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度 GPU 跑 LLM 也会超频吗? DiffusionGemma Gemma4 12b 居然比 Qwen3.5 9b 还快,意料不到 什么? Apple Watch 也能本地跑 Qwen 了? 关于低算力 gpu 推理时 prefill 在总时长中的占比问题 现在大模型主流都用哪些 nVidia GPU? Mac book air M5 32G+1TB 能跑本地大模型? 需要购买国产显卡本地部署大模型,哪家的比较好 mac mini 跑本地模型,需要什么配置? Gemma4 12B 如何跑在 16G 显存上? mac 64g 能部署哪个本地大模型 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang,好像使用 transformer 推理都比这两个框架快,并且占用显存低 本地大模型最佳 Mac 配置选择 关于 5070ti 模型推理的速度和本地部署思考 有没有能够兼容 Win7 的离线模型工具 想折腾一个 AI 主机,请行家出手 锤子找钉子的项目分享:假想企业本地部署后不用人工洗库接入 llm 的中间层。 gemma4:31b-coding-mtp-bf16 有适合本地跑训练 AI 的电脑配置吗? - V2EX 都 2026 年了,为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型? LiteChat 轻量级本地大模型聊天 WebUI,支持 vLLM DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗? 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上 github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps 请问各位大神,在隔离环境中,有本地 qwen 大模型,有没什么解决方案,做本地的知识库的方案,类似谷歌那个 notebooklm ,也勉强可以? 有一台 16 寸 m1max 64g+1T 满 GPU 的 MacBook Pro 适合部署哪个本地模型 - V2EX 私有化部署大模型的“终点”是 Mac 还是 Nvidia? 我自己的电脑是 5070Ti,总感觉跑一些模型算力不够 能一起给本地部署的开源模型做个适配的 coding agent 吗?我憋了口气 用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了 全球本地部署开发者们一起,打造一个真正属于开源社区的 Coding Agent 了 自己做了一款在线 GPU 推理速度计算器 · TPS Calculator qwen3.6 27b 本地编码测试 xllm 真的比 vllm+plugin 性能好么? 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型 我的开源项目,欢迎大家使用和批评,本地无字典字符型模型训练架构代码完全开源,可形成语义结构 请教一个关于模型训练主机配置的问题 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现 大伙有想过二次训练吗? 用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行) - V2EX 多台 GPU 之间怎么组网互联? 部署本地模型 token 输出万能公式 有没有简单版的 new-api 项目 想在本地部署 OCR 服务,解析美团的外卖订单截图,求推荐一个好用的 OCR 模型 本地部署靠不靠谱? - V2EX 为什么你该停止使用 Ollama - V2EX 本地大模型多大显存够用? 求可靠本地 vibe coding,有八卡的 L20 服务器 - V2EX 想掏一台 Mac mini M4 Pro 64G 跑 gemma4 31b Q4 接 openclaw 处理日常的问题,有人测试过速度吗? - V2EX 32B 本地 vibe coding 有能用的模型吗 - V2EX Gemma4 + LiteRT-LM 真得有点的东西, e2b 内存仅 2G 左右占用, 在 天玑 的安卓机上跑的飞快. - V2EX 闲置 16GB M1 Pro MBP 跑大模型 - V2EX 有人用 mac studio 测试过 gemma4 31b 16 吗 - V2EX gemma4:e4b 的效果出乎意料, 1050ti 也能很好的生成文章 - V2EX 谷歌的 Gemma 4 怎么样,有必须要本地弄一下吗 - V2EX 2 年以后的硬件和本地大模型 - V2EX 为什么 Qwen 吹这么牛,但是用起来体验这么拉啊,它的真实能力究竟怎么样 - V2EX Gemma 4 31B 大概什么水平,本地部署是不是又成为现实了 - V2EX qwen 本地大模型的问题 - V2EX 好奇有没有人用本地模型写代码? macbook 32G 内存, M5 芯片本地跑大模型有推荐的吗? - V2EX 本地部署 deepseek 70B,回答乱码 - V2EX 3090 跑文本向量模型可以么? 3090 是不是有点过剩? 家用机带宽太小玩不转 local llm 啊 想部署本地大模型来分析股票趋势,有没有专门针对股票的大模型? - V2EX minimax 挂了?? qwen3.5 过度思考的问题 [求助] DGX Spark 上 Ollama 推理极慢,改用 llama.cpp 部署是否更合适? 如何在 vs code 上应用自建的 ollama 模型 现在能本地部署最好的 TTS 是哪套, 太多了,没法都去试 本地 8G RTX4060 破卡,可以产多少 tokens? 如何在内网使用 opencode Qwen3.5-35B-A3B microgpt.py 30B 尺寸哪个小模型编码能力会好一些 ClawdBot 保姆级安装指南:从零搭建你的 24/7 私人 AI 助手 [求助] 求成本可控,性能过关的本地 vibe coding 方案 intel b60 48G 可以买吗 - V2EX 现在还有类似 nextchat 这样的 web 工具可以用自定义 api 使用的吗? 3070RTX 32GB i9 内存 1TB 的游戏本 推荐用来跑什么 AI 工具呢? - V2EX 本地大模型目前意义大吗? 寻找本地搭建方案有偿 讨论下自建内网 RAG 知识库和 AGENT 平台 使用 Nexa 提供的 SDK 在手机上运行端侧大模型 想问问大家有没有搭建本地的 LLM,我对应用场景挺困惑的 想学习下大模型,有什么论文网站推荐吗 Q: 关于读大部头 PDF 和 Mac Mini M4 能做的事情有些问题? 目前开源可以本地部署的模型有哪些? V 友们,有没有推荐的本地台式机文生图的方案?
个人玩 ai,显卡最低起步是 5080 嘛?
yifangtongxing28 · 2026-01-21 · via Local LLM

这是一个创建于 134 天前的主题,其中的信息可能已经有所发展或是发生改变。

最近显卡估计要涨一波,囤了一张 6299 的丐版 5070ti 16g

不知道个人玩 ai 起步的显卡是什么型号,比如生成图,生成视频的要求应该不一样吧?

不知道有没有了解的 v 友解答下呢?

  • AI
  • 显卡

    53 条回复    2026-01-31 16:41:56 +08:00

    Solix

    1

    Solix      1 月 21 日

    只要显存大,2080Ti 也可以。
    z-image 我的 8G 卡都行

    gazi

    4

    gazi      1 月 21 日

    和使用的模型也有关系,比如千问模型生成图 8G 都能跑,图生视频 16G 应该也够用,视频生成视频用 wan 模型的话还要看原视频的长度和分辨率,视频长度越大爆内存的几率越高,要想顺畅点最好 24G 以上。

    rockddd

    7

    rockddd      1 月 21 日

    我怎么记得很多人 mac mini 串联玩 ai

    xtreme1

    9

    xtreme1      1 月 21 日

    内存一直都能当显存, 慢 30 倍而已

    ktyang

    10

    ktyang      1 月 21 日   ❤️ 4

    有这个钱买 api 都能买多少了,等 api 的玩熟了确定有需求了,你也就知道该上什么卡了

    flymemory

    11

    flymemory      1 月 21 日

    优先满足显存,比方 5060ti 也是 16G ,只是速度慢一些
    其实如果只是简单玩玩,可以先试试 autodl 之类的
    另外 50 系对 pytorch 的版本要求 2.7 以上,要注意对应的依赖是否满足,有些老旧的 model ,可能对 2.7 的支持差些,折腾环境会比较闹心些

    jifengg

    12

    jifengg      1 月 21 日

    你这卡,我所知道的“生图、生视频、生声音”等 ai 模型都能用。
    现在因为 8g 显存的卡居多,所以“大佬”们都会尽量使模型能够在 8g 下跑通。

    你现在已经可以畅快的玩起来了。

    Sosocould

    13

    Sosocould      1 月 21 日

    显存更重要,所以这个星期 YouTube 有个很火的视频,是 Gamers Nexus 去张哥那里,把 24GB 的 4090 手搓成 48GB

    94

    14

    94      1 月 21 日

    为啥要本地跑,直接租算力来用不好吗?

    kakki

    16

    kakki      1 月 21 日

    我特别想知道现在本地部署还有没有优势,怎么看都是感觉租比较划算.

    Uplay

    17

    Uplay      1 月 21 日

    @jifengg 求推荐数字人类的 AI 模型,我现在使用 comfyui 跑感觉走到邪路上了

    clemente

    21

    clemente      1 月 21 日

    买 api 也就 200 块一个月 何必呢

    crushark

    22

    crushark      1 月 21 日

    本地跑不然试试 Ai MAX 390/395 的?华硕对应的笔记本 1.2w 左右

    当然显卡显存肯定越大越好,16g 的 70ti 可以入门了,就是慢点

    m1nm13

    23

    m1nm13      1 月 21 日

    起步价 2080TI 22G 缺点是主流量化 BF16 啥的都不支持
    入门款 3090
    高级货 4090 48G

    GuLuDaDuiZhang

    24

    GuLuDaDuiZhang      1 月 21 日

    大部分人玩 ai 基本都是部署和应用层面的,例如本地跑跑色图、ai 宠物等,偶尔玩玩的程度,不是真的要用来主力做训练推理,所以买显卡兼顾下娱乐也正常。

    我目前见过真的用来搞 ai 的只有对学生哥来买我二手显卡,非计算机专业,申请经费学校没批只有导师给的点钱,所以才来买二手卡,要拿去实验学习下。其余周边人的 4090 、5090 后面新鲜劲过了就是回归看视频逛论坛和轻度网游,玩 3a 的都很少。。。

    ihainan

    25

    ihainan      1 月 21 日

    前段时间 4080s 32G 魔改卡九千左右,现在已经涨到了一万多了。

    FireKey

    26

    FireKey      1 月 21 日

    现在买 16g 内存起步,型号看预算.个人用如果还有玩游戏之类的场景就别买魔改卡.

    Greendays

    27

    Greendays      1 月 21 日

    起步应该是 16G 的 5060TI 或者 4060TI 。更贵的显卡就不算起步了,小于 16GB 也起不了步

    msg7086

    28

    msg7086      1 月 21 日

    笑死,我之前笔记本 4060 拿来跑图的,就是慢点而已。

    doctorzry

    29

    doctorzry      1 月 21 日 via Android

    没钱就 2080ti 22g ,有钱就 5070ti 往上走

    slowgen

    31

    slowgen  

    PRO

       1 月 21 日

    16g 在 AI 眼里是电子垃圾,你这个价格买两张 2080ti 22g 或者 7900xtx 24g 都更好,能退就退了。不信邪的话去 autodl 租个 4090 或者 5090 跑 comfyui 生成 720p 规格,一秒 15 帧,持续 5 秒的视频,看 nvidia-smi 显存占用。

    目前买 API 便宜的只针对 LLM 和图片类,要是玩视频那是贵上天的,重度使用要么租卡要么自己买卡。

    yifangtongxing28

    32

    yifangtongxing28  

    OP

       1 月 21 日

    @slowgen 感谢 v 友,这个价的卡已经是目前最便宜的 5070ti 了,拿来玩游戏都是超值。视频类生成确实贵上天,你说的重度使用买的卡是什么卡,专业卡吗,想了解下

    UnitTest

    33

    UnitTest      1 月 21 日

    我买了 5080 ,16G 用 ai 没问题,训练 lora 都不够。跑 llm 也跑不了大的。但是 5090 又太贵了,所以现在我 5080 打游戏,需要训练的时候租电脑。一小时 10 元以内。

    slowgen

    34

    slowgen  

    PRO

       1 月 21 日

    @yifangtongxing28 大显存 + 凑多张,比如 4 张 4090 魔改的 48G ,或者 4 张 5090 32G ,或者 RTX PRO 6000 96G 。
    算力差不多就够用了,举个例子,5 秒总帧数 81 帧的 480x480 视频,在 M2 Ultra 要 1 小时,一张 2080ti 22g 要 120 秒,一张 7900XTX 也是 120 秒左右,一张 5090 就只需 20 多秒,一张 H20 也是 20 多秒。
    但是如果你要做 1080x720 分辨率的视频,差距就更大了,因为一张卡的显存可能会爆,比如你用 LTX2 这个能同时生成声音的模型,一张卡也不够用了,除非用社区的量化方案。不同量化程度的方案出来的画质也不一样,需要自己去评估的。
    我现在做短剧,一人用一张 H20 ,做 5 秒的精细镜头,单张显卡的显存占用就来到了 70G 。

    kevan

    35

    kevan      1 月 21 日

    显卡昨天已经开始涨价了

    molika

    37

    molika      1 月 21 日

    想买个算力卡,Nvidia Jetson Orin 64GB 不知道有没有大佬玩过。

    yifangtongxing28

    38

    yifangtongxing28  

    OP

       1 月 21 日

    @slowgen v 友很专业啊。据我的 diy 经验,消费级主板很少有同时能插两张卡的 pcie ,看来这种本地化部署也需要专业的主板+多卡多显存

    一张 6k 的 5070ti 也就跑跑玩具 demo

    luny

    40

    luny      1 月 21 日

    有个另类的玩法,最近新出的 AI Max+395 的小机器,128G 内存版本,大概 1 万 5 左右,铭凡和零刻都有,可以跑 deepseek 70B ,大概 10 几个 token ,还可以多台级联,算是最廉价的本地方案。

    txx

    46

    txx      1 月 21 日

    @Dabney 我快被 7900xtx 虐哭了,珍爱生命远离 amd ...

    blueslmj

    47

    blueslmj      1 月 21 日

    我也是 5070ti 双 12 的时候 5700 买的,现在跑些 indexTTS 、whisper 语音识别啥都都挺快,比 runninghub 的 48G 还快

    omL72EEc

    52

    omL72EEc      1 月 30 日

    @txx #46 7900xtx 能干的事情太少了,跑 llama3 70B 每秒 0.几个 token

    kingmiao

    53

    kingmiao      1 月 31 日 via Android

    自己训练的话,可以走 colab 或者 kaggle