Cursor 团队最近发了一篇博客，讲的是他们怎么评测模型质量。看完很有启发，做个笔记记录一下自己的理解。
周末看见了，又专门精读了几遍，我只能说Cursor NB
上面这张图是Cursor的测评结果，看见Claude Sonnet有多辣鸡了吗？以及最贵的Opus也不过如此是不是？
我直接说结论：写代码别用Claude，Claude已经落后快一年了（自从GPT O3发布，Claude就完全打不过GPT）
有多少人被蒙在鼓里，花着最贵的钱，用着据说最NB的Claude，代码写的相当痛苦？？说这张图价值千金不过分吧；）
这个结果和我对AI编程2.0的测评排位基本一致：
这个榜单是我维护的，能自动打分，欢迎用其他模型完成任务提交结果上来GitHub地址： https://github.com/ayqy/banggemang
我们平时选模型，很自然地会去看 SWE-bench 的分数。这个榜单长期被各家 AI 实验室拿来"争霸"——谁家模型分数高，谁就是"最强编程 AI"。
但这套逻辑正在崩塌。
OpenAI 在今年 2 月宣布，他们不再报告 SWE-bench Verified 上的成绩了。原因很直接：他们发现未解决问题中近 60% 的测试用例本身就有缺陷，而且包括 GPT-5.2、Claude Opus 4.5、Gemini 3 Flash 在内的所有主流前沿模型，都有被"喂过"训练数据的迹象，导致分数根本不能说明真实能力。
用一个不那么体面的说法：模型背了答案。给它一个任务 ID，它能原封不动地把解法吐出来。这已经不是考试，是默写了。
同一个模型，在 SWE-bench Verified 上能拿到 70% 以上，换成更干净的 SWE-bench Pro，直接跌到 23% 左右。那 50 个百分点的差距，全是"背题"的水分。
所以问题就来了：公开基准失效了，我们该怎么知道一个模型到底好不好用？
👀 最新、最有用的AI编程姿势，总来自「知识药丸」
《贾杰的AI编程秘籍》付费合集，共10篇，现已完结。30元交个朋友，学不到真东西找我退钱；）
以及我的墨问合集《100个思维碎片》，1块钱100篇，现已完结。（文末有订阅方式
质量更顶的《又100个思维碎片》不定期更新中，与你探讨AI编程2.0等有意思的话题（文末有订阅方式
Cursor 团队遇到的麻烦和我们差不多，甚至更严重——他们需要在几十个模型里挑出真正适合 Cursor 产品的那个，而公开榜单告诉他们的信息越来越没用。
于是他们自己造了一套评测：CursorBench。
核心思路很简单：与其用公开 GitHub 上的 bug 修复任务来测，不如直接用 Cursor 工程师自己的真实开发记录来测。他们有个工具叫 Cursor Blame，可以把一次 git commit 追溯到是哪个 Agent 请求产生的，这样就能自然地拿到"开发者的问题 + 真实正确答案"这样的配对数据。
这就像与其用模拟题备考，不如直接拿历年真题。不只是难度更真实，更重要的是，模型们大概率没"背"过这些内部代码（至少比 GitHub 上的开源仓库安全得多）。
CursorBench 还有一个细节让我觉得很有意思：他们有意识地让评测任务的规模越来越大。
从第一版到现在的 CursorBench-3，任务涉及的代码行数和文件数量大约翻了一番，甚至比 SWE-bench Verified、Pro、Multilingual 的任务都要长。这些任务里开始出现 monorepo 多工作区环境、生产日志排查、长时间实验这类真实场景。
为什么要这样做？因为现实就是这样的。
我们平时让 AI 帮忙改一个函数，那是小任务，哪个模型都能应付。真正拉开模型差距的，是那种跨多个文件、需要理解整体架构、还得调用好几个工具才能搞定的大任务。 而现有的公开基准大多还停留在"帮我修这个 bug"的粒度上，测的东西和开发者实际需求越来越脱节了。
光有离线评测（CursorBench）还不够，Cursor 同时还在跑线上评测（online evals）。
两者的区别在于：离线评测看的是"答案对不对"，线上评测看的是"开发者用得爽不爽"。
这个区别比看起来重要得多。有些情况下，模型给出的代码通过了评测脚本的检验，但开发者实际用起来就是感觉别扭——可能是代码风格太奇怪，可能是改了不该改的地方，也可能只是响应太慢了。这类问题只有真实流量才能暴露出来。
所以他们的策略是：离线评测负责快速筛选，线上评测负责最终验证，两个信号互相校准。比如他们做语义搜索改进时，直接跑了一个 ablation 实验——把语义搜索工具整个去掉，看看线上指标怎么变，才能确认这个功能到底值不值。
这让我想到一个道理：评测本身也是一种产品，需要持续迭代。 不能测完就束之高阁，用户行为变了，评测套件也得跟着变。
从这篇博客里，我梳理出几个对我很有启发的点。
公开基准的失效不是偶然，是 Goodhart 定律的必然结果（当一个指标变成目标，它就不再是好指标了）。越来越多的团队会走 Cursor 这条路：用真实场景数据，建自己的内部评测。
评测的粒度要跟上实际使用的粒度。如果用户已经在让 Agent 处理跨文件、跨工具的复杂任务了，评测还停留在单文件 bug 修复，那测出来的东西就是假象。
线上线下结合，才是靠谱的模型质量观。离线测"能力"，线上测"体验"，缺了哪个都会有盲点。
以及这张图，有点绕，看明白了吗？
坚持创作不易，求个一键三连，谢谢你～❤️
以及「AI Coding技术交流群」，联系 ayqywx 我拉你进群，共同交流学习～
订阅链接 https://note.mowen.cn/detail/OLPEp7HzeB0EXJOLe7mM4
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。