惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 司徒正美
T
The Blog of Author Tim Ferriss
F
Fortinet All Blogs
Martin Fowler
Martin Fowler
罗磊的独立博客
The GitHub Blog
The GitHub Blog
L
LangChain Blog
A
About on SuperTechFans
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
D
DataBreaches.Net
宝玉的分享
宝玉的分享
U
Unit 42
阮一峰的网络日志
阮一峰的网络日志
Last Week in AI
Last Week in AI
N
Netflix TechBlog - Medium
The Cloudflare Blog
Microsoft Azure Blog
Microsoft Azure Blog
H
Help Net Security
美团技术团队
大猫的无限游戏
大猫的无限游戏
雷峰网
雷峰网
爱范儿
爱范儿
酷 壳 – CoolShell
酷 壳 – CoolShell
MongoDB | Blog
MongoDB | Blog

Local LLM

跑本地大模型 电费要多少? 多机异构显卡组合推理 本地部署 GLM-5.2 的门槛太高了,根本玩不起! 开源了一个 LLM 推理服务监控面板 大模型小白推荐一下本地模型 GLM5.2 个人感觉有点被吹大了 有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗 分享个自己在用的玩具 配置 kiro 的问题 买 macbook pro 笔记本,跑本地模型,怎么配置性价比比较高? lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度 GPU 跑 LLM 也会超频吗? DiffusionGemma Gemma4 12b 居然比 Qwen3.5 9b 还快,意料不到 什么? Apple Watch 也能本地跑 Qwen 了? 关于低算力 gpu 推理时 prefill 在总时长中的占比问题 现在大模型主流都用哪些 nVidia GPU? Mac book air M5 32G+1TB 能跑本地大模型? 需要购买国产显卡本地部署大模型,哪家的比较好 mac mini 跑本地模型,需要什么配置? Gemma4 12B 如何跑在 16G 显存上? mac 64g 能部署哪个本地大模型 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang,好像使用 transformer 推理都比这两个框架快,并且占用显存低 本地大模型最佳 Mac 配置选择 关于 5070ti 模型推理的速度和本地部署思考 有没有能够兼容 Win7 的离线模型工具 想折腾一个 AI 主机,请行家出手 锤子找钉子的项目分享:假想企业本地部署后不用人工洗库接入 llm 的中间层。 gemma4:31b-coding-mtp-bf16 有适合本地跑训练 AI 的电脑配置吗?
自己做了一款在线 GPU 推理速度计算器 · TPS Calculator
diudiuu · 2026-04-27 · via Local LLM

TPS Calculator · GPU 推理速度计算器

买不起机子,所以做了这个。

在线地址:tps.bunai.cc


突发奇想赶紧记录下来,直接 vibe code ,说敲就写

一个 vibe code 出来的 GPU 推理性能估算工具。

起因很简单——显卡太贵,买不起,想跑个模型又不知道自己的配置够不够, 于是把网上散落的参数和公式汇总了一下,做成了这个计算器。

输入显卡型号、模型、量化方式和运行参数,快速估算:

  • 显存占用与 OOM 风险
  • Decode / Prefill token/s
  • TTFT / TPOT / 总时延
  • 带宽瓶颈还是算力瓶颈
  • 多卡 TP 通信效率

适合干什么

✅ 在买机子 / 租卡之前,先大概预估一下跑不跑得起来
✅ 学习推理性能建模,理解量化、KV Cache 、TP 、Roofline 这些概念
✅ 做方案初筛和参数对比

❌ 不适合直接替代真实 benchmark
❌ 不适合把估算值当作生产承诺
❌ Mac 电脑没有放出来,验证了一下差距有点大,先放一放


参考资料

这套公式和参数是我自己整理汇总的,没有大量真机跑过验证。 如果你手上有真实的测试数据,发现哪里估算偏差大、公式有问题, 欢迎开 Issue 或 PR 指出来,大家一起学习,一起把这个东西做得更准。

希望有真实数据的大佬帮忙指正,谢谢!🙏