在AI领域，多Agent系统（MAS）的开发和应用一直是热门话题，但实际效果却往往不尽如人意。许多团队在尝试构建多Agent系统时，常常因为急躁和缺乏系统性规划而失败。
今年接触了很多Agent的项目，怎么说呢？多数项目的表现是很差的。
其中不乏一些想要快速抢占市场的小公司，他们刻意用低价和漂亮的PPT首先打开了局面，而这对于很多慢慢打磨产品的团队是很难受的，因为根本没他们的生存空间与试错场景了…
于是很多团队也被迫卷了起来，过程中各种执行变形，其结果就是：Agent市场闹得个厉害，但实际好用的应用却很少…
于是稍微总结下各个AI Agent产品失败的原因，无非两个：
第一，模型使用错误，过于迷信模型能力，觉得AI无所不能，也轻视了提示词工程的难度，最终产品一直在60分徘徊；
第二，数据跟不上，更多的产品，数据一块积累太差，RAG分块和微调一块做得很差，进一步导致模型表现很差，这也很正常，吃垃圾数据的模型拉不出黄金的屎；
同时，我也在关注业内的动态，发现有篇论文写得不错：
为什么多智能体总是失败？
Why Do Multi-Agent LLM Systems Fail?
（https://arxiv.org/abs/2503.13657）
他给出了一个结果，5种主流Agent框架的各种应用的表现情况：
PS：从这个角度来看，国内外对于Agent的使用或者说发力方向还是有很大的不同
接下来，我们来简单读读这篇文章。
尽管人们对多智能体系统 (Multi-Agent LLM Systems) 的热情日益高涨，即多个 LLM 智能体协作完成任务，但与单智能体框架相比，MAS 在热门基准测试中的性能提升仍然微乎其微。
这一差距凸显了分析阻碍 MAS 有效性的挑战的必要性。
论文对 MAS 挑战进行了全面的研究，他分析了五种流行的 MAS 框架，涉及 150 多个任务，每次任务包括 15000 多行对话记录，涉及六位专家人工参与。
确定了 14 种独特的故障模式，并提出了适用于各种 MAS 框架的综合分类法，他们将系统失败的原因归类为三种：
优化方式无非两种：改进代理角色的规范和增强编排策略。
这里翻译翻译就是：提示词优化以及数据层面的一些优化策略。接下来看看实际的情况。
当前Agent平台，倡导的还是减少工作流，让模型自己玩的策略，也就是依赖于模型的规划能力自建Workflow或者说SOP：
理论上，这是一个命令行的事情，AI就自主像员工一样工作起来了：
然而，现实中，多智能体系统常常未能达到预期效果，甚至在一些情况下，比简单的单一AI系统更差。
例如，在软件开发任务中，某些MAS的准确率低至25%，远不及单一AI或简单的重复调用方式。就像组建了一支全明星球队，但比赛时却各自为战，无法形成有效的协作。
研究人员对150多个任务记录进行了分析，发现失败的原因主要可以归为三大类：
在理想的MAS中，每个智能体都有明确的角色分工，例如产品经理、开发人员、测试员等。
然而，在实际操作中，许多智能体往往会跨越自己的角色范围，导致效率低下和错误的发生。
比如，在需求收集任务中，本应负责收集需求的CPO（首席产品官）却越权决定了产品方向，打乱了正常的流程，他的具体表现为：智能体不遵守岗位职责（例如，测试员参与编码工作）；重复性劳动消耗了大量的计算资源；忘记了之前的讨论内容，导致重复工作；
其实，所有的这一切都可以回归到模型问题的根因：幻觉…
Agent之间的正常通信是任务成功的基础，但多Agent在这方面却表现得不好。
比如在一个API集成任务中，手机助手代理错误地使用了一个邮箱作为登录凭证，而正确的应该是电话号码，这主要源于“沟通不畅”，会加剧这些问题的因素在于：讨论内容偏离了任务目标，浪费了大量时间；智能体没有共享关键信息，影响了决策；无视其他智能体的建议，或者在不确定时不主动寻求帮助；
在MAS中，任务的验证是一个至关重要的环节，但许多系统缺乏有效的验证机制，导致任务的提前或不完整完成。
比如，在开发一个象棋游戏的任务中，验证代理只检查了代码是否能运行，但没有确保游戏遵循象棋规则。
类似这种任务在未完成所有步骤的情况下就被过早结束；缺乏对关键步骤的验证，导致错误被遗漏。在Manus或者最近发布的扣子空间中都经常发生。
这些故障模式与人类组织中的问题惊人地相似。MAS的失败往往违背了高可靠性组织（HRO）的原则。
高可靠性组织通常能够在高风险的环境中完美运作，避免了类似的失败。以下是MAS失败的常见规律：
这些失败表明，需要一个明确的结构和质量控制机制来确保任务的顺利完成。
而解决方案也很简单，也就是Agent框架宣称的那样：为模型加上更多的控制！
这与我们之前做的多角色解决医疗幻觉是类似的：
因为我原来是医疗行业的，真实场景的方式比较敏感不能放出来，在网上找了一篇不错的文章做说明：《医疗 CoT 全面分析》
这里内容很长，大家自己去原文感受吧…
其实如果要用模型自己完成多Agent的协作，很多策略需要更加清晰。
说实话，论文读起来还是比较晦涩的，很多地方只能隐约的知道他想要表达什么，但总的来说，还是有一定收获，这里就结合我的理解给一些看法：
RL 之父 Rich Sutton在 2019 年的文章《苦涩的教训》
现在市面上有一种说法是：模型的通用能力，正在取代现在那些复杂的 Workflow。垂直模型是在开历史倒车…
怎么说呢，这个在我看来可能是错误的，因为知识的有损性。
知识/数据是对真实世界的描述，就简单一个事物，事实上我们平时只会关注他不到1/10的部分，以糖尿病为例：
我们讨论的最多的是其症状和药物，文化经济模块很少会涉及，这里造成的结果就是数据残缺性与知识表征瓶颈。
比如医生在实际诊断过程中，不仅依赖临床指南，还有大量的内化知识，包括：
这是当前AI难以跨越的困局：隐性知识难以结构化，导致训练数据本质残缺。
输入不足，势必导致输出不足，这是大模型底层缺陷所致
AlphaGo的成功建立在围棋规则完全透明、状态空间有限的基础上。而真实医疗场景存在：
这类开放性问题需要元认知能力（反思自身决策局限），而当前AI仍停留在“统计拟合”层面。
综上，RL 之父所谓的算力碾压需要一个大前提：算力需作用于正确架构。
若基础模型无法表征某类知识（如医学伦理），单纯堆算力可能陷入“自以为是又严密而精准的错误”。
而GPT的预训练是基于词序列的条件概率建模，其核心是通过海量文本学习在特定上下文中，下一个词的概率分布。
所有这一切都在表述一个问题：大模型没那么强，他只能做有限的工作，暂时各种表现得很好的场景如发发邮件、规划下旅游路线、写个游戏脚本全部是有限世界的水平，这并不代表他在无限时间里面玩得转！
虽然我们在使用提示词让模型产出我们需要的内容，但我想表达的是：其实模型产出的才是提示词。
或者换个描述，模型产出的是专业术语，是对一段文字的精炼，我们要做的是根据这个精炼的提示词，去本地知识库里面找到最应该表达的部分。
这里的原因是，在第一点我们说清楚了模型在训练阶段，数据可能只能表达真实世界的60%，但这并不表示模型是一精准的数据库！
反而，模型的输入输出都是基于概率的玩法，所以我们一定要基于RAG技术对其进行校准、增强。
将模型用对是做好Agent设计的前提，不要妄想将大模型变成数据记忆的大脑，人类在记忆一块也没有那么靠谱。
所谓垂直大模型，可以是用行业数据进行微调的公司，也可以是基于大量算法数据调优过后的模型。
垂直领域的玩家当前多半基于Workflow自己玩，而类似DeepResearch、Genspark、Agent、Manus甚至门槛更高的Coze这种玩家当然是希望：你们什么都别做，等我好了，就用我的！
于是，大家都在以一种远离垂直模型的方向在发展，只不过就算宣称减少控制的Agent产品也在用一些方式调优。
以Genspark为例，他们发现直接抓取网络或者完全依赖大模型只能解决简单问题时，就有一系列改进策略了，包括：
特别是这点需要特别引人注意：使用高质量数据源、专家审核内容；数据由离线 Agent 审核，确保准确性，避免信息冗杂和虚假。
虽然鼓吹的是更少的控制，更多的工具，只不过什么是工具就需要仔细揣摩了。
举个例子，如果我现在要做医疗场景的Agent，那么我完全可以基于Workflow做基础实现，然后开启用户验证。
而当我验证的差不多后，立马宣传大家都不要使用Workflow，并且马上用DeepSeek包装出一套Agent框架，将我的Workflow、数据全部以知识的形式内置进模型。
那么，此时这个所谓Agent框架，他到底是框架还是垂直模型呢？
综上，垂直模型这条路虽然难点，但他一定是正确的，现在各种Agent平台如Manus、扣子空间，都有些隔靴搔痒。
还是那句话：垂直模型发展迟缓是经济问题不是错误问题。
几乎所有Agent应用，不管是基于Workflow在做的还是纯Agent平台，都在致力于解决模型的记忆问题。
其本质是在关注模型幻觉问题，如果再往前走一步，就又回到垂直模型是否必须的问题了…
记忆问题当前非常粗暴的被全部抛给了RAG，事实上这也是可以的，只不过无论是做AI知识库还是做AI Agent的团队，其产品体验总是差点意思！
卡点也很清晰，多数人在数据组织一块遇到了大量的问题，因为数据组织的背后是行业KnowHow，搞不清楚数据好坏，自然就没法整理好数据，于是再次回到，垃圾输入与垃圾输出了…
只不过，记忆问题可能即将得到缓解，至少从LLama4和GPT最近的发布来说，超长上下文时代即将来临，毕竟他们都宣称自己提供百万上下文呢！
所以，各个公司不要试图去做跟模型重合的领域，想办法组织好自有领域结构化数据，后续看看怎么在保证安全的前提下与模型互相配合吧！
……
文章已经很长了，这里就不再增加篇幅了，最后还是常说的那句话：
一定要注意AI项目的非对称性：我们可以用一周的时间做一个60分的demo，但未来半年你可能都会在为追求90分的产品而奔波！
AI产品这个东西，是不存在MVP就是结束这个事情的，而MVP可能才是真正的开始，所以，做AI产品一定要有足够的耐心。
当前做Agent的各个公司也是如此，其实并不是多Agents会失败，而是大家都没准备好，推得太急咯……
本文由人人都是产品经理作者【叶小钗】，微信公众号：【叶小钗】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于 CC0 协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。