MindSearch: Mimicking Human Minds Elicits Deep AI Searcher
link
时间：24.07
单位：USTC, 上海AI Lab
相关领域：Search, LLM
作者相关工作：
Zehui Chen 之前有 InternLM
被引次数：46
项目主页：https://github.com/InternLM/MindSearch
TL;DR
之前基于LLM的搜索引擎存在三个问题：a. 复杂的需求通过一次性检索无法得到准确完全的结果；b. 多网页整合信息时存在噪声；c. 很多网页内容太长会超过LLM的context上限。本工作基于人类解决问题的过程，通过WebPlanner与WebSearcher两个关键模块来解决该问题。WebPlanner将用户Query分解为多个子问题，WebSearcher使用搜索引擎针对子问题进行层级检索。通过多agents的设计使得这些步骤可以在3分钟内并行操作，这相当于人类3小时的工作量。效果上提升了搜索的宽度与深度。
Method
Overall Framework
WebPlanner
WebSearcher
关键步骤
- 问题分解（Query Decomposition）: 使用WebPlanner将用户查询分解为多个可以并行解决的原子子问题。
- 动态图构建（Dynamic Graph Construction）: WebPlanner将复杂问题解决过程建模为一个有向无环图（DAG），通过添加节点和边来逐步细化问题。
- 分层信息检索（Hierarchical Information Retrieval）: WebSearcher执行分层检索过程，从大量网页中提取有价值的数据。
- 多智能体设计（Multi-Agent Design）: 通过在不同的智能体之间分配检索和推理任务，减少单个智能体的负载，提高处理长上下文任务的能力。
- 上下文管理（Context Management）: 通过在多智能体之间明确的角色分配和上下文状态转移，有效管理整个过程中所需的上下文。
- 代码生成与执行（Code Generation and Execution）: WebPlanner通过生成代码与图交互，利用LLM在代码任务上的优势。
- 响应生成（Response Generation）: 在收集到所有相关信息后，WebPlanner生成最终的响应。
- 评估与优化（Evaluation and Optimization）: 通过在闭集和开集问答任务上的广泛评估，验证MindSearch的有效性，并通过比较分析进一步优化。
Experiment
总结与思考
感觉Agent的工作整体都偏向于Framework，即设计一个Framework能够更经济、更高质量地满足用户需求。
相关链接
https://zhuanlan.zhihu.com/p/711958651
https://zhuanlan.zhihu.com/p/713774006
