惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

F
Full Disclosure
博客园 - 三生石上(FineUI控件)
MyScale Blog
MyScale Blog
Apple Machine Learning Research
Apple Machine Learning Research
L
LINUX DO - 最新话题
T
The Blog of Author Tim Ferriss
P
Proofpoint News Feed
宝玉的分享
宝玉的分享
小众软件
小众软件
Hugging Face - Blog
Hugging Face - Blog
GbyAI
GbyAI
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
V
Visual Studio Blog
爱范儿
爱范儿
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
博客园_首页
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
月光博客
月光博客
博客园 - 叶小钗
D
Docker
H
Hackread – Cybersecurity News, Data Breaches, AI and More
T
Tailwind CSS Blog
D
DataBreaches.Net
酷 壳 – CoolShell
酷 壳 – CoolShell
B
Blog RSS Feed
量子位
美团技术团队
Vercel News
Vercel News
Y
Y Combinator Blog
IT之家
IT之家
Martin Fowler
Martin Fowler
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
S
SegmentFault 最新的问题
腾讯CDC
Recent Announcements
Recent Announcements
Google DeepMind News
Google DeepMind News
罗磊的独立博客
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
G
Google Developers Blog
Microsoft Azure Blog
Microsoft Azure Blog
The Register - Security
The Register - Security
博客园 - 司徒正美
N
Netflix TechBlog - Medium
S
Schneier on Security
博客园 - 聂微东
U
Unit 42
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
雷峰网
雷峰网
Latest news
Latest news

机器学习

llama.cpp 服务开启 embedding 是否稳定? - V2EX 深度学习的 LLM 就像受伤的大脑 大语言模型会被其他技术取代吗? - V2EX llm 训练最 dirty work 的就是数据处理! - V2EX 做机器学习强烈推荐看看 MIT 18.S096 矩阵微积分 - V2EX 求助微信聊天记录训练 ai - V2EX 请问 AI 训练大佬 : 目前大家不写 blog, stackoverflow 等,如何训练新的优质数据,还是拿 AI 数据训练自己? - V2EX 想要真正理解目前的深度学习(不仅是打杂的炼丹师),需要怎样的数学基础 - V2EX 怎样加快 onnx 模型在 cpu 上的推理速度啊 - V2EX AI 公司瞄准的顺序是浏览器、输入法、操作系统 - V2EX 有什么能本地跑的机器学习项目吗? - V2EX 求助 使用 ddddocr 自训练模型场景下,遇到了 onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument - V2EX BERT 论文复现: 经验 & 教训 - V2EX 求推荐一些 LLM/深度学习方面打基础的书籍或者课程 - V2EX 2025 年底,如果想做一个图像分类模型,用什么模型来微调比较好 - V2EX 目前使用 yolov8 训练了一个目标检测模型,但是上线使用效果不是很好,怎么优化? - V2EX 最近看 1-2 万主机发现 3090 还是能打的 - V2EX 想做有声小说声音克隆, 3060Ti 能扛得住吗? - V2EX [AI Glimpse 科普系列] KV Cache 的原理推导与代码实现(基于 GPT2) - V2EX 关于 OCR 以及以图找图识别 - V2EX 这类型的英语学习视频,是用哪个模型生成? - V2EX 怎么实现提取俩个图片的一些特征,然后进行特征比对 - V2EX 检测画面中存在漏水,给点思路 - V2EX 有没有大佬了解机器学习的 mlops 框架或者平台 - V2EX 如何把本地文件作为大模型的知识库 - V2EX 使用大语言模型进行文本分类任务需要微调吗? - V2EX lima 和 colima 居然是有关系的 - V2EX gpt4o 图像生成的技术讨论(自回归模型又好起来了?) - V2EX [AI Glimpse 科普系列] 不到 100 行 Python 代码从零实现 LLM 的推测采样算法 - V2EX 什么?唠唠嗑就能生成游戏关卡! Unreal Engine + MCP 来了! - V2EX 大模型是如何执行像数学运算、编程等精确性要求比较高的任务的? - V2EX 有没有 LLM 入门的系统学习教程 - V2EX mtranserver 的翻译效果还是差一点 - V2EX 求助,有没有视觉大模型可以识别一个 UI 设计图中各个模块的划分 - V2EX 多模态大模型的大小远低于单文本模型啊。 - V2EX 利用 deepseek 分析医学影像找出结节这是什么技术原理? - V2EX 大语言模型与深度学习书籍推荐 - V2EX 为什么 LLM 不擅长数饺子? - V2EX 突然冒出一个点子,利用现在热门的 AI 来做 web 外挂工具 - V2EX 请问训练或者调试 yolo 用什么配置性价比较高。 - V2EX 大模型能记住所有它训练过的数据吗? - V2EX 如何从头构建一个自己的大模型呢?从底层最基础的神经网络开始实现 - V2EX LLM 静态批处理和 Continuous Batch 相关疑问的求解 - V2EX 有没有久坐提醒类服务,最好是基于啥啥啥模型的那种活体检测。 - V2EX LLMs 文本标签(分类)任务怎么做比较好? - V2EX 能推荐个偏实战的 tranformer/LLM 的课程么? 模型部署的姿势 深度学习在自己电脑上跑, Linux 环境,选择 WSL 还是物理机 Ubuntu? - V2EX CUDA 搞深度学习, 1TB 的一块硬盘, C 盘留多大合适? - V2EX 怎么理解 RNN 循环神经网络工作原理? ReLU 函数在 x> 0 的时候也是线性的,套 ReLU 函数是怎么实现激活作用的?
学习 AI, 跑下模型, 应该用什么 N 卡? - V2EX
soleils · 2025-04-20 · via 机器学习

这是一个创建于 420 天前的主题,其中的信息可能已经有所发展或是发生改变。

看了下 5060TI 5070TI 5080 都是 16G 显存, 4090 和 5090 又太贵, 计算速度还可以忍受慢一点 , 跑 AI 应该是显存决定能不能跑起来吧, 先跑起来再说的情况下, 买哪个?

  • AI
  • N卡
  • 显存

    23 条回复    2025-05-08 13:32:20 +08:00

    nxforce

    1

    nxforce      2025 年 4 月 20 日   ❤️ 3

    取决于你想跑什么模型,再考虑入手什么硬件,而不是先考虑硬件。

    ihainan

    2

    ihainan      2025 年 4 月 20 日

    你要跑什么规模的模型,愿不愿接受量化。

    usVexMownCzar

    3

    usVexMownCzar      2025 年 4 月 20 日 via iPhone

    便宜的上 2080 魔改

    不用显卡就买高配 Mac mini (硬盘 1T 即可,内存拉满)不到两万。可以跑 70b 的模型。

    soleils

    4

    soleils      2025 年 4 月 20 日

    @chiaf #3 看了下 2080 魔改的评测 好像不行

    dji38838c

    6

    dji38838c      2025 年 4 月 20 日

    业余人士没必要学,没必要自己跑
    意义何在呢

    fox0001

    8

    fox0001      2025 年 4 月 20 日 via Android

    是的,显存是优先考虑的条件。玩过 3090 ,24G 显存,性价比可以。

    renmu

    9

    renmu      2025 年 4 月 20 日 via Android   ❤️ 2

    云主机能玩到你腻

    soleils

    11

    soleils      2025 年 4 月 20 日

    @chiaf #3 是我侦查的不对, 2080 魔改是最便宜的方案

    tool2dx

    12

    tool2dx      2025 年 4 月 20 日 via Android

    AI 分两种,聊天和绘图,只有 llm 才对显卡性能没追求,仅仅需要大显存。
    绘图需要买 30 系以上的,因为支持很重要的 bf16 浮点格式。20 系是不支持的。

    irrigate2554

    14

    irrigate2554      2025 年 4 月 20 日   ❤️ 1

    2080ti 22g 真可以,我日常就跑 32B 模型,Q4_KM 量化

    mumbler

    15

    mumbler      2025 年 4 月 20 日

    2080 魔改 22G 有什么不好,跑语言模型最优选择,还支持 nvlink ,可以组个 44G 的,不到 1 万

    mumbler

    16

    mumbler      2025 年 4 月 20 日   ❤️ 1

    @xausky #14 gemma3 刚刚发了 qat 模型,18G 可以跑原本 55G 的 27B 满血,比 32B 的 4 位量化强得多

    soleils

    17

    soleils      2025 年 4 月 20 日

    @mumbler #15 主要是怕买到显存虚焊的, 显存很容易出问题, 虽说可以修, 但闹心

    t41372

    19

    t41372      2025 年 4 月 21 日

    可以租云服务器或用 api 入门,或是看你现在有什么用什么。可以从小模型入手,多玩会儿就知道你想跑的模型需要什么样的硬件了。

    rogerer

    20

    rogerer      2025 年 4 月 21 日

    不如买 m 芯片,显存够大

    Freecult

    22

    Freecult      2025 年 5 月 8 日   ❤️ 1

    只是学习 AI ,弄个 NV 卡就行。无所谓内存。因为学习 AI 不等于 “用 LLM 学习 AI”,也不等于“学习 AI 应用”
    CNN TRANSFORMER VAE DIFFUSION 之类的想搞明白,用不着大显存。有支持 CUDA 的 12G 就绰绰有余了。6G,8G,10G 无所谓。能跑 CUDA 是必须的

    数理统计和机器学习的理论掌握了, 比大显存有用得多

    非要和 LLM 较劲,查一下这个:
    https://www.llamafactory.cn/tools/gpu-memory-estimation.html
    决定跑啥模型
    如果 4090 觉着贵,只有 2080 22G X2 +NVLINK
    44G 跑的模型范围稍微大一些