@lesismal > curl 这个项目用来做实验，无法代表现实世界中的绝大项目，所以他即使是用 mythos 与其他几个模型对比，也是不能作为靠谱结论的，因为实验方法本身不正确

所有的单例测试都可以被认为是「不完整」「不典型」的：这个项目热度高、找出来漏洞少，你可以说它本身维护得很好、所以结果不典型；那个项目业务性强、找出来漏洞多，我也可以说都是大厂 KPI 赶工产物、所以结果没有代表性。

唯一可靠的办法是 Anthropic 开放出来，各家企业、组织在自己的项目上试用一遍，但显然这一点目前是不现实的，因为它只开放给少数组织使用。

> 但是，相比于 curl 之父用 curl 做实验的错误方式，我更偏向于那些大厂和 anthropic 之间竟然能为了不破坏世界安全、达成协议封闭使用，因为资本通常是用脚投票的

相比于一个大型 Project Leader 和一群可能只会 vibe 的 CEOs ，我还是更相信 technical head 。另外资本是可以利益交换的，否则按照国内资本的走向，华为一定是全世界最强的计算卡制造商吧。考虑到目前没几家公司出来为 Mythos 用数据背书说明如何如何颠覆性，又如何判断这不是资本的造神游戏呢？

扯远了。就事论事，我不认为现阶段可以下什么最终「结论」。正如你倾向于相信资本背书，我倾向于现在业界对此事 overreact 。关于「达成协议封闭使用」，我有个更简单的猜测：模型太大或 harness 太重，算力没法 scale 上去，没有资源支持做足够的 safety alignment ，所以只能小范围测试。

> 如果你认为 curl 可以用来实验，那 Knuth 老爷子的 LaTex 是不是也可以用来测试？结果也一样适用？我要测试一把锤子是不是够好用，用玻璃做实验、敲碎了，和用钢板做实验、敲不碎对比，难道实验方法、实验工具不重要吗？

正因为重要，所以需要大量不同项目的 case reports 。如果有一大批项目证明/证伪了 curl 项目的测试结论，展现出了 Mythos 的颠覆性/平庸性，那我自然会相信的。这是「科学的方法、流程，站在局外的角度」。

更进一步，我要问：为什么 Mythos 在 Curl 上表现不尽人意？是他们使用了错误的 Harness ？难道是 Curl 本身太完美了（这是不成立的，Curl 最近一年都爆出了几次安全漏洞）？以及 Mythos 如何比现有的 Opus 等公开模型表现好？漏洞检出率提升了多少？为什么假阳性率如此高（ 4 in 5 ）？

至少我会对官方宣称的闭门测试结果打上问号。毕竟我见过的「为了刷榜而暗改 benchmark 的 AI 公司」比「为了反对 AI 而伪造实验结果的 Project Lead 」要多得多。

> 我反对的，单纯就是 curl 之父不严谨的测试工具和方法。

而我想表达的也仅仅是回答楼主的问题：「有大佬实际用过」，Mythos 并没有「那么牛逼」。看来在观点上并没有根本性的冲突啊。

@w568w

> 所有的单例测试都可以被认为是「不完整」「不典型」的：这个项目热度高、找出来漏洞少，你可以说它本身维护得很好、所以结果不典型；那个项目业务性强、找出来漏洞多，我也可以说都是大厂 KPI 赶工产物、所以结果没有代表性。

区别还是比较明显吧。我说的现实世界的项目，大多数甚至绝大多数都是涉及 web 服务类的，安全攻击重灾区，而且这种服务数量太多了，而且有很多种不同的语言，脚本的、java 的那些，社区框架漏洞很多，安全圈子红的白的黑的灰的各种大佬各种提权拿肉机的挖矿的黑数据库的，这些事情每天都在大量发生。即便 curl 过去一年爆出多少漏洞，相比于现实网络换几个闹钟功能的节点数量和使用的技术栈，curl 仍然是属于安全高质量的样本。所以我仍然觉得，如果非要用 curl 来代表，真的没有代表性，就算做取样，也不应该取个覆盖度这么低的。

> 相比于一个大型 Project Leader 和一群可能只会 vibe 的 CEOs ，我还是更相信 technical head

我尊重 curl 作者是一个很好的开发者，但是如我所述，他的实验方法/工具用的不对，所以我不赞同他的观点，前面也说过了，不赞同他不代表我同意 mythos 强到离谱，而是我和你一样 “就事论事，我不认为现阶段可以下什么最终「结论」。”

> 正如你倾向于相信资本背书

这世界的大方向，是资本在推动的，比如罗斯柴尔德家族，看看历史上的战争、除了战争主线之外，背后的那些事，虽然资本不是绝对作用，但是作用很大。相对和平年代，资本的力量比战争年代可能更大。

> 而我想表达的也仅仅是回答楼主的问题：「有大佬实际用过」，Mythos 并没有「那么牛逼」。看来在观点上并没有根本性的冲突啊。

本来也没有冲突啊，我在 #11 总结就是：“所以我是不赞同 curl 作者的观点的。”，不是说你的观点有问题。

@abersheeran

> 那公司天天跳出来说什么 AGI 、Claude 自主意识、Claude Mythos 太强了不给开放的人，单纯是因为资金、算力压力太大了，不吹点恐慌出来没办法。如果我是他，我也吹，屁股决定脑袋了。

但是啊，anthropic 根本就不缺钱、它要是肯开放募集、我抢着投它，但是人家也挑剔的，这些顶级新兴独角兽更是要大厂加持联姻绑定，不只是要钱，还要他们背后的资源。
算力是大家都缺的，去年几家厂还说电力不够用、很多 N 卡在吃灰，结果今年都在算力不够，连 copilot 明天都要开始取消按请求次数计费、改按 token 收费了。

我自己已经相当于一年没手写过代码了，这一年里，除了偶尔自己手残写一点然后马上后悔、不断提醒自己一切交给 AI ，只有少数几次，应该不超过十次，而且只是很小几行。其他的，已经全 AI 了。