很多人其实已经在不知不觉中接触到了多智能体协作带来的变化。

电商大促时，仓库里往往不是一台机器人在工作，而是一整组机器人同时分拣、运输、避让和交接。自动驾驶真正困难的地方，也不只是让一辆车学会开，而是让很多辆车在同一条路上彼此配合。现实中的很多复杂任务，本质上都不是单个智能体可以独立完成的，智能系统也是一样。

但现实世界并不会给这些系统太多试错机会。仓库机器人撞一次货架，工业机械臂装错一次零件，代价都是真实的。也正因为如此，越来越多研究开始转向离线强化学习，也就是先利用已有数据训练策略，而不是依赖实时试错。

可一旦从单智能体走向多智能体，难度会迅速上升，因为系统不仅要学会做决策，还要在反馈有限的条件下学会协作。

这正是当前行业里的一个现实瓶颈。很多方法在实验环境里效果不错，但到了离线多智能体场景中，往往很快暴露出问题。

一方面，真实任务里的奖励通常非常稀疏，模型很难知道自己到底哪一步做对了。另一方面，多智能体协作还会带来责任分配问题，也就是最后成功了，却很难判断到底是哪一个智能体起了关键作用。结果就是，系统明明有大量历史数据，却依然学不会稳定协作，更谈不上面对新任务时的泛化能力。

在这样的背景下，来自中山大学的郭裕兰团队提出了 MangoBench，并在研究《MangoBench A Benchmark for Multi-Agent Goal-Conditioned Offline Reinforcement Learning》中，尝试重新回答一个关键问题，也就是当多个智能体不能随便试错时，怎样才能真正学会协作。

研究团队没有继续依赖传统奖励驱动，而是把问题改写成目标驱动，让模型围绕应该到达什么状态去学习，从而为离线多智能体强化学习提供了一条更清晰的研究路径。

论文地址：https://wendyeewang.github.io/MangoBench/

性能分化的关键拐点

在难度适中的导航任务里，不同方法的表现差距已经很明显了。中山大学团队提出的 IHIQL 的成功率能达到 80% 到 95%，说明它大多数时候都能把任务完成好。相比之下，ICRL 只有 40% 到 60%，GCMBC 只有 20% 到 40%，而 GCOMIGA 和 GCOMAR 基本接近 0%，几乎等于没学会。

换句话说，同样是面对离线数据，有的方法已经能比较稳定地找到路，有的方法却连基本方向都抓不住。这说明在奖励很少、反馈很弱的情况下，传统的离线多智能体方法其实很容易失灵，而分层强化学习方法更容易学出效果。

当任务再变难一点，这种差距会被进一步放大。所有方法的表现都会下降，但下降的程度并不一样。IHIQL 虽然也会掉到 30% 到 40%，但至少还保留了一部分完成任务的能力。

ICRL 和 GCMBC 会掉到 10% 到 20% 左右，其他方法则几乎完全不行了。可以把它理解成，一开始大家都在考试，题目简单的时候还能看出谁强谁弱，题目一难，很多方法就直接交白卷了，只有少数方法还能继续答题。IHIQL 的优势，正体现在它遇到更复杂的环境时没有一下子垮掉。

研究人员还专门看了另一件事，也就是把一个任务交给多个智能体时，具体怎么分工会不会影响结果。比如有的设置是每个智能体负责 4 个部分，有的是每个智能体只负责 2 个部分。

结果发现，不管是 2×4 还是 4×2，IHIQL 在中等难度任务里都能稳定在约 90% 左右。这个结果可以理解成，它不是只会适应某一种固定分工，而是更像抓住了任务本身该怎么完成，所以换一种分工方式，它照样能做得不错。

到了机械臂任务，这种差别就更容易看出来了。在同步协作的抬栏杆任务里，IHIQL 的成功率在 80% 以上，GCMBC 大约 60%，ICRL 大约 50%，模仿学习方法大约 40%。如果把这些方法想成几组不同水平的工人，那么 IHIQL 这一组不但完成任务的概率更高，而且训练时间只有模仿学习方法的约 5%。

这说明它不只是做得更好，而且学得更快，效率也更高。通俗一点说，就是它不但更会做事，而且更快进入状态。

到了更复杂的异步协作任务，情况就不一样了，原本领先的方法不一定还能继续领先。以放置食物这个任务为例，这类任务不是大家一起同时发力，而是要一个智能体先完成前面的动作，另一个再接着往下做，所以更考验先后配合。

在这种情况下，ICRL 的表现最好，成功率大约在 30% 到 40% 之间，明显高于 IHIQL 和 GCMBC，模仿学习方法甚至不到 10%。这说明当任务强调步骤之间的衔接时，对比学习方法更容易学到这种顺序关系。更重要的是，它不仅做得更好，训练时间还比模仿学习少了约 93%，也就是说，它不只是更会学，而且学得还更快。

多目标和单目标的对比，则说明了另一件很容易被忽视的事，那就是测试方式本身也会影响我们对模型的判断。如果只用一个目标去测试，同一个任务里，IHIQL 是 78%，GCMBC 是 22%，ICRL 是 37%。但换成多目标评估后，它们分别提升到 82%、47% 和 56%。

这意味着很多方法其实并没有我们原来想的那么差，只是单目标测试把它们的能力看窄了。换句话说，这些方法学到的并不只是某一个固定动作，而是面对不同目标时，仍然能够做出调整的能力，也就是更接近真正的泛化。

在训练方式的对比里，研究人员发现，并不是拿到更多全局信息，效果就一定更好。分布式方法 IHIQL 在中等任务里成功率大约是 95%，任务规模变大后还有大约 85%，到了超大规模任务也还能保持在 50% 左右。

相比之下，集中训练方法 HIQL-CTDE 在中等任务里还有大约 70%，但任务一变复杂，很快就掉到 44%，再往上甚至只剩下 1%，几乎等于学不动了。

这个结果可以理解成，分布式方法更像是把问题拆开来，各个智能体先管好自己那一部分，所以任务变难时还能稳住。集中训练方法看起来掌握的信息更多，但也正因为要同时处理太多全局信息，任务一复杂就容易顾不过来，最后训练变得越来越不稳定。

也就是说，在多智能体任务里，信息更多不一定更占优势，关键还是系统能不能把复杂问题处理得足够清楚。

把所有实验结果放在一起看，其实能得出几个很清楚的判断。首先，很多方法之所以一到复杂任务就失效，最根本的原因不是模型太弱，而是奖励信号太少。

因为在稀疏奖励条件下，系统大部分时候都得不到明确反馈，很难知道自己到底哪一步做对了，所以训练很容易陷入混乱。一旦把奖励变得更密集，性能就会明显恢复，这说明问题的关键不在模型本身，而在学习信号不够。

其次，目前表现最稳的还是分层方法。以 IHIQL 为代表的方法之所以更有效，是因为它不是让模型一次性去解决整个复杂任务，而是把大任务拆成多个更小的步骤来学。

这样做的好处是，模型更容易在中间过程里得到反馈，也更不容易在任务变复杂时一下子崩掉。所以从实验结果来看，分层策略更像是一种让系统先学会一步一步完成任务的方法，而不是一上来就要求它掌握全部。

最后，这项研究还说明了多智能体系统最难的地方，其实不只是学会做动作，而是学会彼此配合。在简单任务里，多智能体有时还能比单智能体做得更好，因为大家分工之后效率更高。

但一旦任务变复杂，需要更精细的协作和衔接时，问题就会立刻暴露出来。也就是说，真正卡住多智能体系统的，不只是学习能力，而是协同能力，这也是为什么协作会成为整个系统进一步提升表现的最大瓶颈。

从奖励驱动到目标驱动

在实验设计上，研究团队先做了一件很关键的事，就是把原本的离线数据重新整理了一遍。原始数据里只有状态和动作，记录的是系统当时看到了什么、做了什么。

研究人员在这个基础上又加进了目标和奖励，也就是把原来的数据改造成了状态、动作、目标、奖励这样的形式。具体来说，他们会从已有轨迹里随机挑出一个状态当作目标，再去判断当前行为有没有朝这个目标靠近，然后自动生成对应的奖励。

这样一来，同一批历史数据就不再只能拿来学一个任务，而是可以围绕不同目标反复使用，相当于把原有数据的价值放大了。

这样做的意义在于，它把原来的学习方式换了一种思路。传统强化学习更像是让模型一边做一边等反馈，问题是这种反馈往往很少，很多时候模型根本不知道自己到底做得对不对。

加入目标之后，情况就不一样了。模型不再只是被动等奖励，而是会一直围绕一个明确目标去行动，判断自己是不是在一步步接近它。换句话说，原本那种模糊又稀少的反馈，被变成了更直接、更容易理解的学习信号，所以模型更容易学出有效策略。

为了让结果更可靠，研究团队在实验设置上也做得比较严谨。运动任务一共训练了 100 万步，测试时还会换 5 个不同目标，并用 5 个随机种子反复验证，也就是不只看一次结果，而是看它在不同条件下是不是都能稳定表现。

操作任务也一样，训练步数分别是 1.5 万和 3.88 万，测试时还用了 100 个随机种子。这样做的目的很明确，就是尽量避免某一次训练碰巧表现好，确保最后看到的结果是稳定的，而不是偶然的。

在任务安排上，研究人员也不是随便选几个场景，而是故意把难度一点点往上加。运动任务从较简单的迷宫开始，逐渐增加到更复杂的迷宫，最后再加入随机传送这样的高难度设置。

操作任务则从需要同时配合的同步任务，发展到需要讲究先后顺序的异步任务。这样设计，其实是想更系统地观察模型在不同复杂度下的表现，不只是看它能不能完成任务，更想看它在任务越来越难时，是否还具备泛化能力、长期规划能力和协作能力。雷峰网

换句话说，研究团队想测试的不是模型会不会做一道题，而是题目一旦变难，它还能不能继续做下去。

研究人员还专门分析了，为什么 CTDE 这种看上去信息更多的方法，最后反而表现不好。按直觉来说，既然它在训练时能看到更多全局信息，效果似乎应该更好，但问题恰恰也出在这里。

因为它看到的东西太多了，全局状态本质上就是把所有智能体的状态都拼在一起，这会让问题一下子变得非常大、非常复杂，模型需要同时处理的内容也会迅速增加。

除此之外，CTDE 在训练时和执行时其实并不是完全一致的。训练阶段，模型会利用全局信息来学习；但真正做决策时，每个智能体又只能根据自己的局部信息行动。这样一来，就会出现一种情况：训练时学到的东西，到了实际执行时不一定能顺利用上，这会让优化过程变得更困难。

还有一个更隐蔽的问题在于目标本身。CTDE 一方面要处理整体任务的全局目标，另一方面又要让每个智能体根据自己的局部目标去行动。这样就容易出现两套目标之间对不上的情况，也就是模型的一部分在学整体方向，另一部分却在学局部细节，最后很难配合到一起。

所以，CTDE 的问题并不是信息不够，而是信息太多、结构太复杂，最后让训练变得不稳定。表面上看，它像是在帮模型看到更完整的全局；但实际上，正是这种额外的复杂性，让它在任务一变难时更容易失效。

从方法到问题本质

从实验意义来看，研究团队最重要的贡献，不只是提出了一套新方法，而是更清楚地揭示了 Offline MARL 为什么一直很难真正做好。

研究结果说明，问题的核心并不只是模型能力强不强，而是在训练过程中存在两个更根本的障碍。第一个障碍是学习信号太弱，因为 reward 很稀疏，模型在大多数时候得不到明确反馈，Q- function 很难稳定收敛，所以很多方法即使训练很久，效果仍然很差。

第二个障碍是责任分配问题，也就是在多智能体协作中，很难判断到底是哪一个 agent 对最后的成功起了关键作用。一旦这个贡献关系分不清，梯度更新就容易出错，最后就会出现协作失败。研究的价值就在于，它把多智能体离线强化学习最深层的困难点明确指出来了。

研究团队还说明了 goal-conditioned 真正有效的原因。它的作用并不只是给模型多加一个目标输入，而是改变了整个学习方式。原来模型主要依赖 reward 来判断行为好坏，这种信号很少，也不稳定。

加入目标之后，每个 state 都能和某个 goal 联系起来，学习信号就明显变多了，模型也更容易知道自己应该往什么方向调整。

这样一来，强化学习就不再只是盲目地追逐奖励，而更像是在学习如何从当前位置到达目标位置。这种形式比单纯依赖 reward 更稳定，也更容易训练。

更重要的是，同一个模型可以面对不同目标完成不同任务，这说明模型学到的不是死记硬背的固定动作，而是具有一定泛化能力的行为策略。

研究人员进一步说明了为什么分层方法会更有效。原因在于，分层方法同时解决了两个难题。一方面，它通过设置中间目标缓解了稀疏奖励问题，让模型在任务还没有最终完成之前，就已经能得到阶段性的反馈。

另一方面，它把原本很长、很复杂的任务拆成多个更短、更容易处理的小任务，从而减轻了长时间依赖带来的学习难度。换句话说，分层方法之所以有效，本质上是因为它把一个很难直接学会的大问题，拆成了多个更容易逐步解决的小问题。雷峰网(公众号：雷峰网)

这一点对于多智能体任务尤其重要，因为多智能体系统本来就比单智能体更难协调，如果没有这种结构化拆分，训练会更加不稳定。

这项研究对普通人的影响也很实际。现实生活中很多场景并不允许系统反复试错，比如自动驾驶、仓储物流、工厂机械臂、医院辅助机器人等。这些系统一旦出错，代价往往很高，所以很多时候只能依赖已经收集好的历史数据进行训练，也就是离线学习。

研究团队所做的工作，本质上是在探索怎样让多个智能体在不能随便试错的情况下，依然学会稳定协作。这个方向如果继续发展，未来普通人可能会直接受益于更安全的自动驾驶系统、更高效的物流配送机器人、更稳定的工业自动化设备，以及更可靠的医疗和家庭辅助机器人。

MangoBench 背后的科研工作者

汪怡，中山大学在读一年级博士生，主要研究方向为三维视觉和强化学习，师从郭裕兰教授，于深圳河套学院实习，完成此论文时期在中山大学读本科。在 CVPR 等 CCF A 类会议发表多篇论文，参与中国图学学会“奋发图强”博士生 workshop，参与 China3DV 墙报展示，曾获中山大学研究生校长奖学金等。

钟柠泽，完成此论文时期在中山大学读本科，与郭裕兰教授合作，主要研究方向为机器人，三维视觉和强化学习。在 CVPR/ICLR/ACM MM 等 CCF A 类会议等发表论文，CVPR/NeurIPS/ECCV 审稿人，论文在China3DV/ChinaGraph 大会等展示，现在美国宾夕法尼亚大学 GRASP Lab 读研究生，与 Vijay Kumar 院长合作。

符智恒，西澳大学博士，香港理工大学博士后，主要研究方向为三维重建与生成。发表论文共 20 余篇（包括CVPR、ICCV、TIP、ECCV、IJCAI等），英文著作一部 Point Cloud Intelligence 。

王龙光，中山大学博士后，主要研究方向为底层视觉和三维视觉。以第一作者身份发表 CCF A 类论文共 11 篇，谷歌学术总引用数为 7100 余次。入选中国科协青年人才托举工程，连续三年入选全球前 2% 顶尖科学家榜单；主持国家及省部级项目 9 项。

张晔，中山大学副研究员，主要研究方向为空间智能与三维视觉。发表学术论文 30 余篇，主持国家级和省部级项目3项，曾担任首届中国空间智能大会本地主席。

郭裕兰，中山大学教授，主要研究空间智能与三维视觉。主持国家自然科学基金联合重点项目等 10 余项，发表学术论文 200 余篇，谷歌学术引用 2 万余次，入选Clarivate全球高被引科学家。担任中国图象图形学学会三维视觉专委会副主任，IEEE TIP 高级领域编辑（SAE）。曾担任首届中国空间智能大会主席，历届中国三维视觉大会组委会主席。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。