link
时间：23.08
单位：DeepWisdom公司
相关领域：Agent
作者相关工作：
TL;DR
相对于普通LLM能够解决复杂任务，使用SOP(Standardized Operating Procedures)编码为prompt任务序列，从而将复杂任务分解为多个子任务给多个agents，不同agent赋予不同职能角色，实验证明相对于之前多agents系统效果更好。
Method
Q：是否SFT？
A：MetaGPT的核心创新在于框架设计（如多角色协作、SOPs集成），而非训练方法。它主要依赖现有的LLM（如GPT-4）作为基础模型，通过提示工程（Prompt Engineering）和结构化工作流引导智能体行为，而非直接修改模型参数。
如何收集数据？如何测试？
Q：如何给不同Agents扮演不同角色？
A:
- 每个智能体被赋予明确的角色配置文件（Profile），包括：名称、职责（Goal）、约束（Constraints）、上下文（Context）和技能（Skills）。
- 智能体按SOPs顺序激活（图3），例如：产品经理→架构师→项目经理→工程师→QA工程师。
Experiment
HumanEval
HumanEval 是一个用于评估代码生成模型能力的基准测试数据集。根据论文第4.1节（Datasets部分）的描述，其主要特点如下：
- 内容与规模：它包含 164个手写的编程任务。
- 任务构成：每个任务都包含了函数规格说明（function signature）、描述（descriptions）、参考代码（reference codes）和测试用例（tests）。
- 评估目标：该基准旨在测试模型根据自然语言描述和函数签名来生成正确代码的能力。
- 评估指标：论文采用由 (Chen et al., 2021a) 提出的无偏Pass@k来评估生成代码的功能正确性。其计算公式为：
\(Pass@k = E_Problems [1 - (C(n-c, k) / C(n, k))]\)
含义：至少有一个在top-k候选样本中的代码能够通过测试的概率。
其中，n是生成的样本数量，c是通过测试的样本数量，若k=1表示第一个候选样本能通过测试。
MBPP
- 内容与规模：它由427个Python编程任务构成。
- 任务焦点：这些任务涵盖了Python核心概念和标准库特性。与HumanEval类似，每个任务也提供了描述、参考代码和自动化测试用例。
- 评估目标：与HumanEval共同用于验证MetaGPT在代码生成功能上的准确性。
- 评估指标：同样使用无偏Pass@k 作为核心评估指标。
- Lines (Total Code Lines)
含义：指生成的代码总行数。这是一个衡量产出的量化指标，表示在完成特定任务时，整个项目一共编写了多少行代码。
在实验中的意义：通常，更复杂的软件项目会产生更多的代码行数。如表3所示，当仅有1个工程师（Engineer）时，生成了83.0行代码；而当角色齐全（4个角色）时，代码量增加到191.0行，表明任务被更完整地实现。
- Expense
含义：指经济成本，即调用大语言模型（如GPT-4）生成所有这些内容所花费的金钱，单位为美元（$）。
在实验中的意义：这项指标衡量了解决方案的“昂贵”程度。如表3所示，成本从仅有一个工程师时的0.915，随着角色增加而上升到1.385。这说明更精细的角色分工和协作虽然提升了质量，但也增加了计算和token消耗的成本。
- Revisions
含义：指人工修订成本，具体表示为使生成的代码能够正常运行，需要人工进行干预和修改的次数。
在实验中的意义：这是衡量自动化程度和代码初始质量的关键指标。数值越低越好。表3清晰显示，随着角色增多，所需的人工修订次数从10次显著降低到2.5次，证明MetaGPT的多角色SOP设计能有效减少错误，减轻人类的后期调试负担。
- Executability
含义：指可执行性，是一个对生成代码质量进行人工评估的分数。
评分标准（根据论文第4.1节 Evaluation Metrics 定义）：
1 (Failure/Non-functional): 完全失败或不可运行。
2 (Runnable but imperfect): 可以运行但不完美，存在明显缺陷。
3 (Nearly perfect): 近乎完美，基本符合预期。
4 (Flawless): 完美无瑕，完全符合期望。
效果可视化
总结与思考
无
相关链接
全文翻译
https://zhuanlan.zhihu.com/p/719175829
