惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

The Last Watchdog
The Last Watchdog
C
Cyber Attacks, Cyber Crime and Cyber Security
L
LINUX DO - 热门话题
G
GRAHAM CLULEY
S
Schneier on Security
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
S
SegmentFault 最新的问题
IT之家
IT之家
阮一峰的网络日志
阮一峰的网络日志
Recorded Future
Recorded Future
I
Intezer
云风的 BLOG
云风的 BLOG
博客园 - Franky
月光博客
月光博客
大猫的无限游戏
大猫的无限游戏
T
Tenable Blog
The Hacker News
The Hacker News
T
The Blog of Author Tim Ferriss
Attack and Defense Labs
Attack and Defense Labs
D
DataBreaches.Net
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
N
News and Events Feed by Topic
有赞技术团队
有赞技术团队
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
N
News and Events Feed by Topic
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
S
Secure Thoughts
The Register - Security
The Register - Security
B
Blog
Security Archives - TechRepublic
Security Archives - TechRepublic
The Cloudflare Blog
Webroot Blog
Webroot Blog
W
WeLiveSecurity
H
Heimdal Security Blog
博客园 - 三生石上(FineUI控件)
V
Vulnerabilities – Threatpost
G
Google Developers Blog
O
OpenAI News
V
V2EX
罗磊的独立博客
博客园_首页
N
News | PayPal Newsroom
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
TaoSecurity Blog
TaoSecurity Blog
Cloudbric
Cloudbric
H
Hacker News: Front Page
博客园 - 叶小钗
T
Tor Project blog
AI
AI

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理, 企事业单位数字化的业务供需本质 – 人人都是产品经理, 医疗智能体·第1讲——医疗信息化重构:从“辅助软件”到“自主智能体”的范式转移 – 人人都是产品经理, 粉丝量就是空气!!! – 人人都是产品经理, 用户说“薯片碎了”,机器回“要买吗?”:意图识别的翻车与破局 – 人人都是产品经理, RAG召回准确率从75到90 我做对了这三件事 – 人人都是产品经理, AI大事件:Anthropic改收费、OpenAI发安全版、手术机器人纳入医保、阿里发布”秒悟” – 人人都是产品经理, Chrome 推出 Skills 新功能,Agent 重塑上网方式 – 人人都是产品经理, GitHub前创始人拿了a16z的1700万美元,做Agent时代的Git – 人人都是产品经理 拷贝或克隆其他 Flutter OH 项目到本地后无法运行 – 人人都是产品经理, 优惠券设计:优惠券创建 – 人人都是产品经理, 不用死磕文档!AI 助手 1 小时搞定飞书 CLI 安装 + 配置 + 知识库 – 人人都是产品经理, 用小龙虾做竞品分析报告:从2天到20分钟,我是怎么做到的 – 人人都是产品经理 用小龙虾做市场分析报告:搞懂这3个公式,市场规模不再靠猜 – 人人都是产品经理, 你早就在做 Harness 工程,只是不知道它叫这个名字 – 人人都是产品经理, Think Long就够?你可能想多了! – 人人都是产品经理, 货代SRM实战:供应商准入怎么做,才能让资源池不是通讯录而是可交付网络? – 人人都是产品经理, 如何做好用户调研?详解基本技巧 – 人人都是产品经理, 木鸟、途家、美团对打,平台春天行动开“卷” – 人人都是产品经理, 入职才发现公司不靠谱?小红书从业者求职避坑指南 – 人人都是产品经理, 美国 AI 三巨头联手封堵,中国 AI 突围之路在何方 – 人人都是产品经理, 小红书,放在需求对面的镜子 – 人人都是产品经理, AI 会带来大规模失业吗? – 人人都是产品经理, 从出单到补货前,我第一次犹豫:该不该放大? – 人人都是产品经理, Flutter 三方库鸿蒙化适配:5 种高效检查方式,快速判断是否需要适配 – 人人都是产品经理, 从做产品进阶拿结果:医美机构产品经理转岗科室运营经理 – 人人都是产品经理, 阿里HappyHorse,一场关于“Token经济”的阳谋 – 人人都是产品经理, To B AI:客户留存落地的观察与思考 – 人人都是产品经理, AI产品的“生命线”——数据采集、标注、清洗的产品化设计 – 人人都是产品经理, 谈谈AI Agent(二):当“孩子”能自己“体验世界”时,你该学什么? – 人人都是产品经理, UI/UX设计师的3层能力进阶,前两层让你活下来,第三层…才是真正的分水岭 – 人人都是产品经理, 2分钟 → 30秒,效率提升75%:B端产品经理如何用「规则枷锁」驯服AI幻觉? – 人人都是产品经理, 还没来得及学OpenClaw,来了个更猛的:Hermes Agent – 人人都是产品经理, AI日报:宇树机器人跑出10m/s刷新世界纪录 – 人人都是产品经理, 一文说透基金互金如何用情绪价值引导用户决策做转化 – 人人都是产品经理, 当浏览器开始替你”看”网页:AI 浏览器正在亲手拆掉它脚下的那张网 – 人人都是产品经理, 0代码,一天时间我Vibe Coding了个网站 – 人人都是产品经理, Hermes 和 OpenClaw 之争,Agent 的能力应该“装上去”还是“长出来”? – 人人都是产品经理 视频生成的“桌子”,字节Seedance 2掀完,阿里快乐马掀 – 人人都是产品经理, 从听不懂到完全信任:我的 Codex 深度产品体验 – 人人都是产品经理, 当虚拟偶像有了北京户口,与真人偶像还有什么区别? – 人人都是产品经理, 会说,远远比会做更重要 —— 对 SBTI 爆火现象的五层观察 – 人人都是产品经理, AI产品经理必看:当“搭环境”比“选模型”更重要,你的认知还在2024年吗? – 人人都是产品经理, 2026年AI产品商业化核心逻辑:从功能demo到规模化营收的3个必破卡点 – 人人都是产品经理, 京东围绕供应链,卷起裤腿下场的那些事儿 – 人人都是产品经理, SBTI一夜刷屏:它赢在了“太会说人话” – 人人都是产品经理, 折扣零售的真相:不是便宜,而是价值感! – 人人都是产品经理, 和甲方吵了一架,最后加钱做了——我学到的ToB产品经理生存法则 – 人人都是产品经理, 和几位小红书操盘手聊了8小时,干货全在这 – 人人都是产品经理, 智谱GLM-5.1登场,开源模型首超Opus4.6!!! – 人人都是产品经理 Anthropic收入凭什么反超OpenAI,终于有人把这事说清楚了 – 人人都是产品经理, 史上最有故事感的技术报告——Claude最强模型Mythos 7个极其精彩的细节 – 人人都是产品经理, 模型不是壁垒,Harness 也不是 – 人人都是产品经理, 抖音本地生活业务思考21 – 人人都是产品经理, Superpowers:145k Star的AI编码框架,到底是什么来头? Superpowers:145k Star的AI编码框架,到底是什么来头? – 人人都是产品经理, OpenAI 的路走错了,Anthropic Harness 解法启示:模型需要实践专科生 – 人人都是产品经理, 画原型图的前一步:设计站点地图 – 人人都是产品经理, 给 DeepSeek 的最后一封催更信 – 人人都是产品经理, 手把手教你用 Claude Code 搭建 AI 营销团队:5 个 Agent、12 项技能,独立完成研究、写作、设计全流程 – 人人都是产品经理, 你以为大模型在学语言?不,它在重新发明语言学 – 人人都是产品经理 所谓Skill,不过是AI时代的工业垃圾 – 人人都是产品经理, 聊一聊内容传播的几个方法 – 人人都是产品经理, 当平台开始吃掉生态:从 OpenClaw 被封杀,读懂 Anthropic 的这盘棋 – 人人都是产品经理, 你装了 10 个 AI 插件,Obsidian 还是一个文件夹 – 人人都是产品经理 关于AI智能体架构演进的系统性思考:从单体试水到多体协同的重构 – 人人都是产品经理, 当“人”变成Skill,我们又该何去何从? – 人人都是产品经理 Mythos 事件:前沿 AI 治理的意外实验 – 人人都是产品经理, 货代CRM:信用与风险管理怎么做,才能把坏账风险拦在放货之前? – 人人都是产品经理, 从HR收集自拍照到员工自助录入——我见证了园区人脸识别从”不可用”到”真好用”的全过程 – 人人都是产品经理 千问闯关AI混沌期:阿里画靶,吴嘉张弓,马云射箭? – 人人都是产品经理,
Agent 最全 Playbook:场景、记忆和交互创新
海外独角兽 · 2025-01-06 · via 人人都是产品经理

随着人工智能技术的不断进步,AI Agent 正在成为推动人机协作的新范式。本文通过对 Langchain 团队的研究报告和行业案例的分析,揭示了 AI Agent 在规划能力、UI/UX 交互创新和记忆机制方面的关键突破点,展望了 2025 年 AI Agent 应用的广阔前景,供大家参考。

AI Agent 是我们紧密追踪的范式变化,Langchain 的一系列文章对理解 Agent 的发展趋势很有帮助。在本篇编译中,第一部分是 Langchain 团队发布的 State of AI Agent 报告。他们采访了 1,300 多位从业者,包含开发者、产品经理、公司高管,揭示了 Agent 在今年的现状和落地瓶颈:九成公司都对 AI Agent 有计划和需求,但 Agent 能力的局限让用户只能在少数流程和场景中落地。比起成本和 latency,大家更在乎 Agent 能力的提升,和对其行为的可观测和可控性。

第二部分我们编译了 LangChain 官网的 In the Loop 系列文章中对 AI Agent 关键要素的分析:规划能力、UI/UX 交互创新和记忆机制。文中分析了 5 种 LLM-native 产品的交互方式,类比了 3 种人类的复杂记忆机制,对理解 AI Agent,对理解这些关键要素有所启发。在这一部分我们还加入了一些有代表性的 Agent 公司 case study,如 Reflection AI 创始人的访谈,来展望接下来 2025 年 AI Agent 的关键突破口。

在这个分析框架下,我们期待 2025 年 AI Agent 应用开始涌现,步入人机协作的新范式。对于 AI Agent 的规划能力,以 o3 为首的模型正在展现出很强的反思和推理能力,模型公司的进展正在从 reasoner 逼近到 Agent 阶段。随着推理能力持续提升,Agent 的“最后一公里”会是产品交互和记忆机制,这更可能是创业公司突破的机会。关于交互,我们一直期待 AI 时代的“GUI时刻“;关于记忆,我们相信 Context 会成为 Agent 落地的关键词,个人层面的 context 个性化、企业层面的 context 统一都会让 Agent 的产品体验得到大幅提升。

01.State of AI Agent

Agent 使用趋势:每个公司都在计划部署 Agent

Agent 领域的竞争正在变激烈。在过去一年中,许多 Agent 框架变得普及:例如使用 ReAct 结合 LLM 进行推理和行动、使用 multi-agent 框架进行编排,或者是使用类似 LangGraph 这样更可控的框架。

关于 Agent 的讨论并不全是 Twitter 上的炒作。大约 51%的受访者目前正在生产中使用 Agent。根据 Langchain 按公司规模的数据,100-2000 员工的中型公司在 Agent 投入生产方面最为积极,比例达到63%。

此外,78%的受访者有在近期内将采用将 Agent 投入生产的计划。很明显,大家对 AI Agent 有很强烈的兴趣,但实际要做好一个 production-ready 的 Agent 对许多人来说仍然是一个难题。

尽管技术行业通常被认为是早期的 Agent 使用者,但所有行业对 Agent 的兴趣都在与日俱增。在非技术公司工作的受访者中,有90%已经或计划将Agent投入生产(与技术公司的比例几乎相同,为89%)。

Agent 的常用 use case

Agent 最常用的 use case 包括进行研究和总结(58%),其次是通过定制化的 Agent 简化工作流程 (53.5%)。

这些反映了人们希望有产品来处理那些过于消耗时间的任务。用户可以依赖 AI Agent 从大量信息中提取关键信息和见解,而不是自己从海量的数据中筛选,再进行资料回顾或研究分析。同样,AI Agent 可以通过协助日常任务来提升个人生产力,使用户能够专注于重要事项。

不仅个人需要这种效率的提升,公司和团队也同样需要。客服(45.8%)是 Agent的另一个主要应用领域,Agent 帮助公司处理咨询、故障排除,并加快跨团队的客户响应时间;排在第四、第五位的是更底层的 code 和 data 应用。

监控:Agent 应用需要可观测和可控性

随着 Agent 实现功能变得更加强大,就需要管理和监控 Agent 的方法。追踪和可观测性工具位列必备清单之首,帮助开发人员了解 Agent 的行为和性能。很多公司还使用 guardrail(防护控制)以防止 Agent 偏离轨道。

在测试 LLM 应用程序时,离线评估(39.8%)比在线评估(32.5%)被更常被使用,这反映了实时监控 LLM 的困难。在 LangChain 提供的开放式回答中,许多公司还让人类专家手动检查或评估响应,作为额外的预防层。

尽管人们对 Agent 的热情很高,但在 Agent 权限上普遍还是比较保守。很少有受访者允许他们的 Agent自由地读取、写入和删除。相反,大多数团队只允许读取权限的工具权限,或需要人类批准 Agent 才可以做更有风险的行动,如写入或删除。

不同规模的公司在 Agent 控制方面也有不同的优先级。不出所料,大型企业(2000名以上员工)更加谨慎,严重依赖 “read-only” 权限以避免不必要的风险。他们也倾向于将 guardrail 防护与离线评估相结合,不希望客户看到任何问题。

与此同时,小型公司和初创公司(少于100名员工)更专注于追踪以了解其 Agent 应用程序中发生了什么(而不是其他控制)。根据 LangChain 的调查数据,较小的公司倾向于专注于通过查看数据来理解结果;而大型企业则在全面范围内设置了更多的控制措施。

将 Agent 投入生产的障碍和挑战

保证 LLM 的高质量 performance 很难,回答需要有高准确性,还要符合正确的风格。这是 Agent 开发使用者们最关心的问题——比成本、安全等其他因素的重要性高出两倍多。

LLM Agent 是概率式的内容输出,意味着较强的不可预测性。这引入了更多的错误可能性,使得团队难以确保其 Agent 始终如一地提供准确、符合上下文的回应。

对于小型公司尤其如此,性能质量远远超过了其他考虑因素,有 45.8 %的人将其作为主要关注点,而成本(第二大关注点)仅为22.4%。这一差距强调了可靠、高质量的性能对于组织将 Agent 从开发转移到生产的重要性。

安全问题对于需要严格合规,并敏感处理客户数据的大型公司也普遍存在。

挑战不止于质量。从 LangChain 提供的开放式回答中,许多人对公司是否要持续投入开发和测试 Agent 仍保持怀疑。大家提到两个突出的阻碍:开发 Agent 需要的知识很多,且需要一直跟进技术前沿;开发部署 Agent 需要的时间成本很大,是否能可靠运行的收益又不太确定。

其他新兴主题

在开放性问题中,大家对 AI Agent 展示出的这些能力有很多称赞:

  • 管理多步骤任务:AI Agent 能够进行更深入的推理和上下文管理,使它们能够处理更复杂的任务;
  • 自动化重复性任务:AI Agent 继续被视为处理自动化任务的关键,这可以为用户解放时间,让他们去解决更有创造性的问题;
  • 任务规划和协作:更好的任务规划确保正确的 Agent 在正确的时间处理正确的问题,特别是在 Multi-agent 系统中;
  • 类似人类的推理:与传统LLM不同,AI Agent可以追溯其决策,包括根据新信息回顾并修改过去的决策。

此外大家还有两个最期待的进展:

  1. 对开源 AI Agent 的期待:人们对开源 AI Agent 的兴趣明显,许多人提到集体智慧可以加速 Agent 的创新;
  2. 对更强大的模型的期待:许多人正在期待由更大、更强大的模型驱动的 AI Agent 的下一次飞跃—在那时,Agent 能够以更高的效率和自主性处理更复杂的任务。

问答中很多人也提到了 Agent 开发时最大的挑战:如何理解 Agent 的行为。一些工程师提到他们在向公司 stakeholder 解释 AI Agent 的能力和行为时会遇到困难。部分时候可视化插件可以帮助解释 Agent 的行为,但在更多情况下 LLM 仍然是一个黑箱。额外的可解释性负担留给了工程团队。

02.AI Agent 中的核心要素

什么是 Agentic 系统

在 State of AI Agent 报告发布之前,Langchain 团队已经在 Agent 领域写了自己的 Langraph 框架,并通过 In the Loop 博客讨论了很多 AI Agent 中的关键组件,接下来就是我们对其中关键内容的编译。

首先每个人对 AI Agent 的定义都略有不同,LangChain 创始人 Harrison Chase 给出的定义如下:

AI Agent 是一个用 LLM 来做程序的控制流决策的系统。
An AI agent is a system that uses an LLM to decide the control flow of an application.

对其实现方式,文章中引入了 Cognitive architecture(认知架构) 的概念,认知架构是指 Agent 如何进行思考、系统如何去编排代码/ prompt LLM:

  • Cognitive:Agent 使用 LLM 来语义推理该如何编排代码/ Prompt LLM;
  • Architecture: 这些 Agent 系统仍然涉及大量类似于传统系统架构的工程。

下面这张图展示了不同层次 Cognitive architecture 的例子:

  • 标准化的软件代码(code) :一切都是 Hard Code ,输出或输入的相关参数都直接固定在源代码中,这不构成一个认知架构,因为没有 cognitive 的部分;
  • LLM Call ,除了一些数据预处理外,单个 LLM 的调用构成了应用程序的大部分,简单的 Chatbot 属于这一类;
  • Chain:一系列 LLM 调用,Chain 尝试将问题的解决分成若干步,调用不同的 LLM 解决问题。复杂的 RAG 属于这一种:调用第一个 LLM 用来搜索、查询,调用第二个 LLM 用于生成答案;
  • Router:在前面的三种系统中,用户可以提前知道程序会采取的所有步骤,但在 Router 中,LLM 自行决定调用哪些 LLM ,采取怎样的步骤,这增加了更多的随机性和不可预测性;
  • State Machine ,将 LLM 与 Router 结合使用,这将更加不可预测,因为这样结合放入循环中,系统可以(理论上)做无限次的 LLM 调用;
  • Agentic 的系统:大家也会称为“ Autonomous Agent ”,使用 State Machine 时,对于可以采取哪些操作以及在执行该操作后执行哪些流程仍然存在限制;但当使用 Autonomous Agent 时,这些限制将被删除。LLM 来决定采取哪些步骤、怎样去编排不同的 LLM ,这可以通过使用不同的 Prompt 、工具或代码来完成。

简单来说,一个系统越是“ Agentic ”,LLM 就越大程度地决定系统的行为方式。

Agent 的关键要素

规划

Agent 可靠性是一个很大的痛点。常常会有公司使用 LLM 构建了 Agent,却提到 Agent 无法很好地规划和推理。这里的规划和推理是什么意思呢?

Agent的计划和推理指的是 LLM 思考要采取什么行动的能力。这涉及短期和长期 reasoning ,LLM 评估所有可用信息,然后决定:我需要采取哪些一系列步骤,哪些是我现在应该采取的第一个步骤?

很多时候开发者使用 Function calling(函数调用)来让 LLM 选择要执行的操作。Function calling 是 OpenAI 于 2023 年 6 月首次添加到 LLM api 的能力,通过 Function calling ,用户可以为不同的函数提供 JSON 结构,并让 LLM 匹配其中一个(或多个)结构。

要成功完成一项复杂的任务,系统需要按顺序采取一系列行动。这种长期规划和推理对于 LLM 非常复杂:首先 LLM 必须考虑一个长期的行动规划,再回到要采取的短期行动中;其次,随着 Agent 执行越来越多的操作,操作的结果将反馈给 LLM ,导致上下文窗口增长,这可能会导致 LLM “分心”并表现不佳。

改进规划的最容易解决的办法是确保 LLM 拥有适当推理/计划所需的所有信息。尽管这听起来很简单,但通常传递给 LLM 的信息根本不足以让 LLM 做出合理的决定,添加检索步骤或阐明 Prompt 可能是一种简单的改进。

之后,可以考虑更改应用程序的认知架构。这里有两类认知架构来改进推理,通用认知架构和特定领域的认知架构:

1)通用认知架构

通用认知架构可以应用于任何任务。这里有两篇论文提出了两种通用的架构,一个是 “plan and solve” 架构,在 Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models 一文中提出,在该架构中,Agent 首先提出一个计划,然后执行该计划中的每个步骤。另一种通用架构是 Reflexion 架构,这一架构在 Reflexion: Language Agents with Verbal Reinforcement Learning 中提出,在该架构中,Agent 执行任务后有一个明确的 “反射” 步骤,以反映它是否正确执行了该任务。这里不赘述,详细可看上两篇论文。

尽管这些想法显示出改进,但它们通常过于笼统,无法被 Agent 在生产中实际使用。(译者注:这篇文章发布时还没有 o1 系列模型)

2)特定领域的认知架构

相反,我们看到 Agent 是使用特定领域的认知架构构建的。这通常表现在特定领域的分类/规划步骤、特定领域的验证步骤中。规划和反思的一些思想可以在这里应用,但它们通常以特定领域的方式应用。

AlphaCodium 的一篇论文中举了一个特定的例子:通过使用他们所谓的 “流工程”(另一种谈论认知架构的方式)实现了最先进的性能。

可以看到 Agent 的流程对于他们试图解决的问题非常具体。他们告诉 Agent 分步骤做什么:提出测试,然后提出解决方案,然后迭代更多测试等。这种认知架构是高度专注特定领域的,不能泛化到其他领域。

Case Study:

Reflection AI 创始人  Laskin 对 Agent 未来的愿景

在红杉资本对 Reflection AI 创始人 Misha Laskin 的访谈中,Misha 提到他正在开始实现他的愿景:即通过将 RL 的 Search Capability 与 LLM 相结合,在他的新公司 Reflection AI 中构建最佳的 Agent 模型。他和联合创始人 Ioannis Antonoglou(AlphaGo、AlphaZero 、Gemini RLHF 负责人)正在训练为 Agentic Workflows 设计的模型,访谈中的主要观点如下:

• 深度是 AI Agent 中缺失的部分。 虽然当前的语言模型在广度方面表现出色,但它们缺乏可靠完成任务所需的深度。Laskin 认为,解决“深度问题”对于创建真正有能力的 AI Agent 至关重要,这里的能力是指:Agent 可以通过多个步骤规划和执行复杂的任务;

• 将 Learn 和 Search 相结合是实现超人性能的关键。 借鉴 AlphaGo 的成功,Laskin 强调 AI 中最深刻的理念是 Learn(依靠 LLM)和 Search(找到最优路径)的结合。这种方法对于创建在复杂任务中可以胜过人类的 Agent 至关重要;

• Post-training 和 Reward modeling 带来了重大挑战。 与具有明确奖励的游戏不同,现实世界的任务通常缺乏真实奖励。开发可靠的 reward model,是创建可靠的 AI Agent 的关键挑战

• Universal Agents 可能比我们想象的更接近。 Laskin 估计,我们可能只用三年时间就可以实现“digital AGI”,即同时具有广度和深度的 AI 系统。这一加速的时间表凸显了在能力发展的同时解决安全性和可靠性问题的紧迫性

• 通往 Universal Agents 的道路需要一种的方法。 Reflection AI 专注于扩展 Agent 功能,从一些特定的环境开始,如浏览器、coding 和计算机操作系统。他们的目标是开发 Universal Agents ,使其不局限于特定任务。

UI/UX 交互

在未来几年,人机交互会成为 research 的一个关键领域:Agent 系统与过去的传统计算机系统不同,因为延迟、不可靠性和自然语言界面带来了新的挑战。因此,与这些 Agent 应用程序交互的新 UI/UX 范式将出现。Agent 系统仍处于早期阶段,但已经出现多种新兴的 UX 范式。下面分别进行讨论:

1)对话式交互 (Chat UI)

聊天一般分为两种:流式聊天(streaming chat)、非流式聊天(non-streaming Chat)。

流式聊天是目前最常见的 UX。它是一个 Chatbot,以聊天格式将其思想和行为流回——ChatGPT 是最受欢迎的例子。这种交互模式看起来很简单,但也有不错的效果,因为:其一,可以使用自然语言与 LLM 进行对话,这意味着客户和 LLM 没有任何障碍;其二,LLM 可能需要一段时间才能工作,流式处理使用户能够准确了解后台发生的事情;其三,LLM 常常会出错,Chat 提供了一个很好的界面来自然地纠正和指导它,大家已经非常习惯于在聊天中进行后续对话和迭代讨论事情。

但流式聊天也有其缺点。首先,流式聊天是一种相对较新的用户体验,因此我们现有的聊天平台(iMessage、Facebook Messenger、Slack 等)没有这种方式;其次,对于运行时间较长的任务来说,这有点尴尬—用户只是要坐在那里看着 Agent 工作吗;第三,流式聊天通常需要由人类触发,这意味着还需要大量 human in the loop。

非流式聊天的最大区别在于响应是分批返回的, LLM 在后台工作,用户并不急于让 LLM 立刻回答,这意味着它可能更容易集成到现有的工作流程中。人们已经习惯了给人类发短信——为什么他们不能适应用 AI 发短信呢?非流式聊天将使得与更复杂的 Agent 系统交互变得更加容易—这些系统通常需要一段时间,如果期望即时响应,这可能会令人沮丧。非流式聊天通常会消除这种期望,从而更轻松地执行更复杂的事情。

这两种聊天方式有以下优缺点:

2)后台环境 (Ambient UX)

用户会考虑向 AI 发送消息,这是上面谈到的 Chat,但如果 Agent 只是在后台工作,那我们该如何与 Agent 交互呢?

为了让 Agent 系统真正发挥其潜力,就需要有这种允许 AI 在后台工作的转变。当任务在后台处理时,用户通常更能容忍更长的完成时间(因为他们放宽了对低延迟的期望)。这使 Agent 可以腾出时间做更多的工作,通常比在聊天 UX 中更仔细、勤奋做更多推理。

此外,在后台运行 Agent 能扩展我们人类用户的能力。聊天界面通常限制我们一次只能执行一项任务。但是,如果 Agent 在后台环境运行,则可能会有许多 Agent 同时处理多个任务。

让 Agent 在后台运行,是需要用户信任的,该如何建立这种信任?一个简单的想法是:向用户准确展示 Agent 在做什么。显示它正在执行的所有步骤,并让用户观察正在发生的事情。虽然这些步骤可能不会立即可见(就像在流式传输响应时一样),但它应该可供用户点击并观察。下一步是不仅让用户看到发生了什么,还让他们纠正 Agent 。如果他们发现 Agent 在第 4 步(共 10 步)中做出了错误的选择,客户可以选择返回第 4 步并以某种方式更正 Agent 。

这种方法将用户从 “In-the-loop” 转变为 “On-the-loop”。“On-the-loop”要求能够向用户显示 Agent 执行的所有中间步骤,允许用户中途暂停工作流,提供反馈,然后让 Agent 继续。

AI 软件工程师 Devin 是实现类似 UX 的一个应用程序。Devin 运行时间较长,但客户可以看到所采取的所有步骤,倒回特定时间点的开发状态,并从那里发布更正。尽管 Agent 可能在后台运行,但这并不意味着它需要完全自主地执行任务。有时 Agent 不知道该做什么或如何回答,这时,它需要引起人类的注意并寻求帮助。

一个具体的例子是 Harrison 正在构建的电子邮件助理 Agent 。虽然电子邮件助理可以回复基本电子邮件,但它通常需要 Harrison 输入某些不想自动化的任务,包括:审查复杂的 LangChain 错误报告、决定是否要参加会议等。在这种情况下,电子邮件助理需要一种方法来向 Harrison 传达它需要信息来响应。请注意,它不是要求其直接回答;相反,它会征求 Harrison 对某些任务的意见,然后它可以使用这些任务来制作和发送一封漂亮的电子邮件或安排日历邀请。

目前,Harrison 在 Slack 中设置了这个助手。它向 Harrison 发送一个问题,Harrison 在 Dashboard 中回答它,与其工作流程原生集成。这种类型的 UX类似于客户支持 Dashboard 的 UX。此界面将显示助手需要人工帮助的所有区域、请求的优先级以及任何其他数据。

3)电子表格 (Spreadsheet UX)

电子表格 UX 是一种支持批量处理工作的超级直观且用户友好的方式。每个表格、甚至每一列都成为自己的 Agent,去研究特定的东西。这种批量处理允许用户扩展与多个 Agent 交互。

这种 UX 还有其他好处。电子表格格式是大多数用户都熟悉的 UX,因此它非常适合现有的工作流程。这种类型的 UX 非常适合数据扩充,这是一种常见的 LLM 用例,其中每列可以表示要扩充的不同属性。

Exa AI、Clay AI、Manaflow 等公司的产品都在使用这种 UX,下以 Manaflow举例展示这种电子表格 UX 如何处理工作流程。

Case Study:

Manaflow 如何使用电子表格进行 Agent 交互

Manaflow 的灵感来源于创始人 Lawrence 曾任职的公司 Minion AI,Minion AI 构建的产品是 Web Agent 。Web Agent 可以控制本地的 Geogle Chrome,允许其与应用程序交互,例如订机票、发送电子邮件、安排洗车等。基于Minion AI 的灵感,Manaflow 选择让 Agent 去操作电子表格类的工具,这是因为 Agent 不擅长处理人类的 UI 界面,Agent 真正擅长的是 Coding。因此 Manaflow 让 Agent 去调用 UI 界面的的 Python 脚本,数据库接口,链接API,然后直接对数据库进行操作:包括阅读时间、预定、发邮件等等。

其工作流如下:Manaflow 的主要界面是一个电子表格(Manasheet),其中每列代表工作流程中的一个步骤,每行对应于执行任务的 AI Agent。每个电子表格的 workflow 都可以使用自然语言进行编程(允许非技术用户用自然语言描述任务和步骤)。每个电子表格都有一个内部依赖关系图,用于确定每列的执行顺序。这些顺序会分配给每一行的 Agent 并行执行任务,处理数据转换、API 调用、内容检索和发送消息等流程:

生成 Manasheet 可以的方法为:输入类似上面红色框里的自然语言,如上图中想向客户可以发送定价的邮件,就可以通过 Chat 输入 Prompt,来生成 Manasheet。通过 Manasheet 可以看到有客户的姓名,客户的邮箱,客户所属的行业,是否已经发送邮件等信息;点击 Execute Manasheet 即可执行任务。

4)生成式 UI (Generative UI)

“生成式 UI”有两种不同的实现方式。

一种方式是由模型自行生成需要的的原始组件。这类似于 Websim 等产品。在后台,Agent 主要编写原始 HTML,使其能够完全控制显示的内容。但是这种方法允许生成的 web app 质量有很高的不确定性,因此最终结果可能看起来波动较大。

另一种更受约束的方法为:预定义一些 UI 组件,这通常是通过工具调用来完成的。例如,如果 LLM 调用天气 API,则它会触发天气地图 UI 组件的渲染。由于渲染的组件不是真正生成的(但是有更多选择),因此生成的 UI 将更加精致,尽管它可以生成的内容不完全灵活。

Case Study:

Personal AI 产品 dot

举例来说,在 2024 年曾被称为最好的 Personal AI 产品的 Dot,就是一个很好的生成式 UI 产品。

Dot 是 New Computer 公司的产品:其目标是成为用户的长期伴侣,而并不是更好的任务管理工具,据联合创始人Jason Yuan讲,Dot 的感觉是,当你不知道该去哪里、该做什么或该说什么时,你就会求助于 Dot。这里举两个例子介绍产品是做什么的:

• 创始人 Jason Yuan 常常在深夜让 Dot 推荐酒吧,说自己想要一醉方休,断断续续几个月,某天下班之后,Yuan 再次问了相似的问题,Dot 竟然开始劝解 Jason,不能再这样下去了;

• Fast Company 记者 Mark Wilson,也和 Dot 相处了几个月的时间。有一次,他向 Dot 分享了书法课上他手写的一个「O」,Dot 竟然调出了几周前他手写「O」的照片,夸他的书法水平提高了。

• 随着使用Dot的时间越来越多,Dot 更加理解了用户喜欢打卡咖啡馆,主动推送给主人附近的好咖啡馆,附上了为何这个咖啡馆好,最后还贴心的询问是否要导航.

可以看到在这个咖啡馆推荐的例子中,Dot 通过预定义 UI 组件,来达到 LLM-native 的交互效果。

5)协作式 UX(Collaborative UX)

当 Agent 和人类一起工作时会发生什么?想想 Google Docs,客户可以在其中与团队成员协作编写或编辑文档,但倘如协作者之一是 Agent 呢?

Geoffrey Litt 和 Ink & Switch 合作的 Patchwork项目是人类- Agent 合作的一个很好的例子。(译者注:这可能是最近 OpenAI Canvas 产品更新的灵感来源)。

协作式 UX 与前面讨论的 Ambient UX 相比如何?LangChain创始工程师 Nuno 强调了两者之间的主要区别,在于是否有并发性:

  • 在协作式 UX 中,客户和LLM 经常同时工作,以彼此的工作为输入;
  • 在环境 UX 中,LLM 在后台持续工作,而用户则完全专注于其他事情。

记忆

记忆对于好的 Agent 体验至关重要。想象一下如果你有一个同事从来不记得你告诉他们什么,强迫你不断重复这些信息,这个协作体验会非常差。人们通常期望 LLM 系统天生就有记忆,这可能是因为 LLM 感觉已经很像人类了。但是,LLM 本身并不能记住任何事物。

Agent 的记忆是基于产品本身需要的,而且不同的 UX 提供了不同的方法来收集信息和更新反馈。我们能从 Agent 产品的记忆机制中看到不同的高级记忆类型——它们在模仿人类的记忆类型。

论文 CoALA: Cognitive Architectures for Language Agents 将人类的记忆类型映射到了 Agent 记忆上,分类方式如下图的所示:

1)程序记忆(Procedural Memory):有关如何执行任务的长期记忆,类似于大脑的核心指令集

• 人类的程序记忆:记住如何骑自行车。

• Agent 的程序记忆:CoALA 论文将程序记忆描述为 LLM 权重和 Agent 代码的组合,它们从根本上决定了 Agent 的工作方式。

在实践中,Langchain 团队还没有看到任何 Agent 系统会自动更新其 LLM 或重写其代码,但是确实存在一些 Agent 更新其 system prompt 的例子。

2)语义记忆(Semantic Memory): 长期知识储备

• 人类的语义记忆:它由信息片段组成,例如在学校学到的事实、概念以及它们之间的关系。

• Agent 的语义记忆:CoALA 论文将语义记忆描述为事实存储库。

在实践中上,常常是通过使用 LLM 从 Agent 的对话或交互中提取信息来实现的。此信息的确切存储方式通常是特定于应用程序的。然后这些信息在将来的对话中检索并插入到 System Prompt 中 以影响 Agent 的响应。

3)情景记忆(Episodic Memory):回忆特定的过去事件

• 人类的情景记忆:当一个人回忆起过去经历的特定事件(或“情节”)时。

• Agent 中的情景记忆:CoALA 论文将情景记忆定义为存储 Agent 过去动作的序列。

这主要用于让 Agent 按预期执行动作。在实践中,情景记忆的更新通过 Few-Shots Prompt 的方法实现。如果相关更新的 Few-Shots Prompt 足够多,那么接下来的更新就通过 Dynamic Few-Shots Prompt 来完成。

如果一开始就有指导 Agent 正确完成操作的办法,后面面对同样的问题就可以直接使用这种办法;相反,如果不存在正确的操作方式,或者如果 Agent 不断做新的事情,那么语义记忆就会更重要,反而在前面的例子中,语义记忆不会有太大帮助。

除了考虑要在 Agent 中更新的记忆类型外,开发人员还要考虑如何更新 Agent 的记忆:

更新 Agent 记忆的第一种方法是 “in the hot path”。在这种情况下, Agent 系统会在响应之前记住事实(通常通过工具调用), ChatGPT 采取这种方法更新其记忆;

更新 Agent 记忆的另一种方法是 “in the background” 。在这种情况下,后台进程会在会话之后运行以更新记忆。

比较这两种方法,“in the hot path” 方法的缺点是在传递任何响应之前会有一些延迟,它还需要将 memory logic 与 agent logic 相结合。

但是, “in the background ”可以避免这些问题 – 不会增加延迟,并且 memory logic 保持独立。但是“in the background ”也有其自身的缺点:记忆不会立即更新,并且需要额外的 logic 来确定何时启动后台进程。

更新记忆的另一种方法涉及用户反馈,这与情景记忆特别相关。例如,如果用户对某次交互标评分较高(Postive Feedback),Agent 可以保存该反馈以备将来调用。

基于以上编译内容,我们期待规划、交互、记忆三个组件的同时进步,会让我们在 2025 年看到更多可用的 AI Agent,进入人机协同工作的新时代。

Reference

https://www.langchain.com/stateofaiagents

https://blog.langchain.dev/tag/in-the-loop/

https://www.sequoiacap.com/podcast/training-data-misha-laskin/

https://www.youtube.com/watch?v=pBBe1pk8hf4

https://www.qodo.ai/products/alpha-codium/?ref=blog.langchain.dev

https://news.ycombinator.com/item?id=41259754

https://arxiv.org/pdf/2309.02427

https://github.com/mem0ai/mem0

编译:Jiayu, Cage

本文由人人都是产品经理作者【海外独角兽】,微信公众号:【海外独角兽】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。