惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
Visual Studio Blog
U
Unit 42
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
The GitHub Blog
The GitHub Blog
Microsoft Azure Blog
Microsoft Azure Blog
有赞技术团队
有赞技术团队
Stack Overflow Blog
Stack Overflow Blog
爱范儿
爱范儿
博客园 - 司徒正美
Vercel News
Vercel News
I
InfoQ
GbyAI
GbyAI
C
Check Point Blog
B
Blog RSS Feed
Martin Fowler
Martin Fowler
B
Blog
MyScale Blog
MyScale Blog
腾讯CDC
博客园 - Franky
Blog — PlanetScale
Blog — PlanetScale
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Hugging Face - Blog
Hugging Face - Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
博客园 - 三生石上(FineUI控件)

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
危险,你的AI agent正在「无人驾驶」!
周天产业分析 · 2024-12-27 · via 人人都是产品经理

随着智能体技术的发展,我们的生活变得越来越便捷,但同时也带来了新的安全隐患。本文深入探讨了智能体在执行任务时可能采用的“无人驾驶”模式,以及这种模式对用户隐私和数据安全构成的威胁。

最近流行用智能体点咖啡,不同大厂纷纷拿出了绝活儿。比如,荣耀CEO赵明就在一次直播中当场展示了自己用一句话就通过智能体yoyo在美团点了三杯咖啡的片段,画面显示,手机自动完成了寻找门店、自动选定咖啡品类最后到自动完成付款的全流程。

操作十分流畅,仿佛有一根看不见的手指在帮用户点按屏幕,用户只需当甩手掌柜,这些操作都非常像L2级别的自动驾驶,用户只需旁观,必要时才接管,如果再成熟一些,无感地自动化,甚至无需用户目视和接管,L4级别的agent指日可待。

不过,在上述场景里,坐在一旁目睹全过程的周鸿祎直呼:这太危险了。

智能体只会点咖啡吗?非也。在不久前的智谱Agent Openday上,智谱CEO张鹏掏出手机同样也在台上炫技了一把:「帮我在智谱开放日群聊里发两万元红包,数量一百个,名字为‘AI给你发的第一个红包’。」根据张鹏的自然语言,智能体AutoGLM调用微信支付,打开红包功能,顺利发出红包。

图源:智谱

01 智能体开始显露「另一面」

其实,周鸿祎的惊呼并非毫无缘由。有业内人士直指行业里的秘密:由于还没有实现APP的互联互通,当前很多智能体在进行着L2乃至L4级别「无人驾驶」时,实际上比较主流地用到了一种作弊方案:

智能体在执行用户需求时采用的是机器模拟点击,其实现方式与黑灰产作弊实现原理相同,智能体可以根据自己能获取的用户授权高低选择不同的实现方式。对于三方应用层的智能体,权限最低,很难有效区分当前的机器模拟点击到底是来自智能体用户的真实操作意图,还是黑灰产作弊行为,就会造成风控结果的误判。

尽管关于智能体的定义和分类各有不同,但形成共识的还是有以下几个方面:

  1. 每个智能体都要扮演某种社会角色,参与社会化分工、完成任务并有产出;
  2. 能进行对话交流和理解用户的行为偏好;依据反馈进行强化学习和重新规划;
  3. 与外部其他的业务系统、其他智能体、工具应用进行协同。

通俗来说,可以是管家、行政秘书和前台、客服、司机,智能体相比信息分发时代的产品,要更加主动且自动,更加靠近用户,成为贴身助理,代替用户发号施令,掌握用户的隐私数据会更多,担当着用户的心腹。

但是,如果心腹的实现,靠的是沿用上述「作弊」机制,会洞开安全的后门。智能体之间的自主交互如果缺乏严格的身份认证和授权机制,将使系统容易受到恶意攻击和不正当访问。恶意智能体可以伪装成合法的智能体,恶意用户可以伪装成合法的用户,从而获得不该有的服务权限。

例如,轻则是财务转账给黑灰产团队,重则危及生命,比如恶意智能体可以假冒成合法智能体发起请求,访问用户的健康敏感数据、交易敏感数据;恶意用户可以伪装成机主,向医疗智能体发送虚假健康数据,可能导致错误的医疗决策,危及患者生命安全。

「心腹成为大患」的安全难题已经迫在眉睫。

02 安全互联互通,刻不容缓

绕开APP生态和应用层的作弊机制是简单的方案,但不是好的方案和唯一方案。

而且,部分手机厂商主导的作弊方案,还会带来一个颠覆产业的激进结果。

入口的收敛,从图形界面收敛到一个语音助手的界面,从信息流变成任务流,对于当前生态颠覆性太大也太快,过于激进。掌握入口的主动权,最终可能造成恶性商业竞争。智能体AI原生的特点使其有机会在中短期内成为现有软件层之前新的入口,在长期甚至有可能替代现有的软件层。

硬件厂商就取代了互联网入口,挤到了用户最跟前,影石创始人刘靖康最近就公开表示,手机厂会是比互联网厂商更大的「BOSS」,因为他们同时掌握了更个人向的数据,以及执行具体操作的「位置」优势。

对用户来说,入口如果未来是极度单一的,用户的自主性和主动权也就丧失掉了。

如果既要安全,又要行业长远健康发展,有没有其他可能?目前业内的另一个思路,是不颠覆当前的应用层,致力于在应用层APP之间建立统一的安全协作标准,从而实现跨APP的流畅操作。其中,IIFAA在12月19日成立的「IIFAA智能体可信互连工作组」,就在主张这一思路。

这一工作组的成员包括了华为荣耀Oppo字节蚂蚁等头部企业,希望联合通过制定跨智能体交互的安全技术规范,为整个智能体行业提供一个更加健康规范的协作环境。

图源:IIFAA官网

IIFAA这个组织我们听起来有点陌生,实际上是早在2015年由中国信通院、华为、中兴、蚂蚁集团、阿里巴巴等联合发起的可信身份认证联盟。目前,其可信数字身份技术规范在全球有超过16亿台手机设备、43个手机品牌商得到应用。

IIFAA互联网可信认证联盟技术负责人万小飞说,不管是系统级、厂商级还是 APP级,都在往端侧个人助理方向发展,如果没有相关的规则和标准的制定,有点像早高峰时没有红绿灯的状态,属于百舸争流,会带来非常混乱的状态,最终影响的是整个生态的健康发展,包括用户权益的损失,这些趋势和背景,是成立智能体可信互联工作组最主要的目的。

工作组的目标是确保智能体和智能体之间能有一套相互的协同和通信的机制。IIFAA专家张璇谈到,「服务可信调用方面,任务非常长,一个服务的链路或许有几十个步骤,我们希望再复杂的服务调用链路,我们希望是全链路可信。经过层层的调用之后,用户的真实意图仍然可以得到最终正确的执行。」

而由于智能体的快速发展,这一工作目前已经有了紧迫性。万小飞感叹,整个智能体的发展是超乎预期,包括苹果的发布会,以及国内手机厂商在自己开发者大会上密集宣布了厂商的智能体,很多的APP厂商也在做自己的智能化助理,都在加速中。

其实,硅谷头部公司和企业家们早已行动起来,均表态要发起统一标准的行业框架,Elon Musk就认为,快速发展的AI可能超出管理其风险的能力,倡导建立监管框架和行业标准以确保负责任的AI发展。

谷歌也发布了Secure AI Framework (SAIF),强调了在创新同时,需要有明确的行业安全标准来负责任地构建AI这项技术。SAIF包括六个核心元素,涉及扩展安全基础、扩展检测和响应、自动化防御、协调平台级控制、适应控制以调整缓解措施,并在周围的业务流程中情境化AI系统风险。

GoogleSAIF风险地图

回到中国智能体来看,万小飞认为,当前第一阶段工作主要聚焦在比较急迫的4个维度:

1. 智能体可信身份鉴权。「APP都有身份鉴权体系,智能体没有,它的身份到底是属于APP还是设备?要去做定义」

2. 数据的可信流通问题。互联网的前半段,各个APP厂商花很大精力保护数据,一定程度上满足数据属于用户。APP的孤岛被打破以后,数据的流转不在一家APP厂商,是在多家。这时数据的隐私保护职责方是谁?数据的所有权属于谁,要确保数据在端上有一个可信流通通道和机制;

3. 业务的系统风控问题。A智能体在按照B智能体分发的意图做任务时要「听命于」B,因此必须要建立跨APP防护体系,避免智能体被恶意意图操控,出现类似自杀、欺诈、黄赌毒等情况。

万小飞举了个例子,如果在同一个APP内,买了酒和头孢,可能就会触发风控机制,识别出用户意图里有一定程度的自杀倾向,平台就会介入阻止。但如果是智能体来负责执行指令,如果恰好这两个行为分别是孤立发生的,不在一个APP里发生,就无法唤醒风控机制。

4. 智能体的主权保护问题。要允许小的智能体、小型APP也能独立生存,不能绕开主页,直接侵入到系统后台调取小智能体的服务,使其丧失商业价值。

如何在总体上理解可信协同?打个通俗的比方,这就类似于民航、高铁和地铁的「安检互认」,让用户无需二次安检。

相信很多人都有过类似出机场、高铁站进地铁被要求二次安检的经历,我曾经询问过天府机场安检员,为什么出了飞机进地铁还要再次安检,安检员说标准是不一样的,责任主体不一样,最后万一出了事,算谁的?

的确如此。因此,不管是交通运输还是智能体协同,要让用户需求高效地流转,就需要安检互认,在机制上统一安全的标准,并堵住可能的漏洞,并且当用户需求在不同体系内流转时,要明确用户保护的责任方。

03 保护小智能体,做大行业蛋糕

此外,特别值得注意的是上述第4点,入口单一化就是移动互联网时代的一个弊端,PC时代是一个无限链接的时代,但移动时代就变成了一个个孤岛,中间没法自由跳转,APP下载加了一道流程,中间转换效率就差多了,这带来的结果一定会是大的越大,小的越小,巨头垄断会越发厉害,时代行至倒退的边缘。而到了智能体时代,不能再继续强化入口单一化的这种弊端了。

一旦一句自然语言就可以完全自动实现后端的滴滴下单、微信支付发红包这种能力,入口就会统一到手机,原有互联网主流的「通过A业务引流、再靠B业务变现」的商业模式会被快速摧毁。

以滴滴和美团为例,线下运力是巨大的成本单元,本身盈利能力较弱,因而滴滴美团需要通过流量合作和广告来提升利润率,一旦语音唤起,通过智能体的直接操作,劫持了操作流程,用户闭眼操作,美团和滴滴的盈利端就可能被绕开。

如果巨头尚且受到威胁,更小应用的处境可想而知,产业生态不宜面临如此过激的改变。

在早期,如果没有整体的互信安全框架,根据万小飞的判断,只有大厂和大厂之间才会可能自己谈成一个专有的机制,大公司不太可能找非常小的创业公司单独谈协议。今天IIFAA要建立的机制,就是为整个生态更开放和更公正,给所有小的智能体提供快速发展的可能性。

智能体的两条路径已经清晰。一条是走捷径,不直面可信互联的问题,但会带来安全隐患,另一条是做更难的事情,构建一个整体的安全互信框架,避免单点与单点的重复谈判,来形成规模效应,加速智能体的快速互联。

「云端的点对点的这种协同模式基本上是定制化,不可持续,没有办法规模化的方式。在整个基础设施的维度,在整个行业标准的维度有两个好处,一是可以规模化,二是可以给更多的人更公平的机会。」万小飞如是说。

整体地可信协作,实际上是做大智能体的整体蛋糕。

这就类似《集装箱改变世界》里的故事,无论船只大小,集装箱尺寸却是统一的,不仅把运输成本降低了,还避免了二次装卸过程,减少了货物转运时的效率流失,也提升了货物安全。被誉为20世纪人类的百大伟大发明,从集装箱发明之后,人类的全球贸易取得了极大发展。

大家过去都在卷模型生成能力,从目前看,已经越来越不构成差异化了,模型能力总会拉平,业内目前已经有局部能力超过OpenAI的选手。最终是context(上下文背景信息)的采集能力,而不是模型能力,关乎到最终的任务成功率。谁能跨系统、跨平台、跨软硬件采集更多context,谁的智能水平就更高。就像再好的医生,拿不到病人的体检报告,也无处施展。

在这场产业的大变革中,科技巨头的使命会从信息分发(门户陈列模式、搜索引擎、推荐引擎)转向任务引擎,商业模式也极有可能发生巨变:从按点击或交易来收费,变成按照任务完成率来收费。

而提升任务成功率才能做大agent的行业蛋糕,前提就是尽快进行安全的可信互通,让context充分流淌在智能体之间,这理应成为全行业一起用力的方向。

期待智能体「集装箱时刻」的到来。

文 | 周天财经

本文由人人都是产品经理作者【周天产业分析】,微信公众号:【周天财经】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。