惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
云风的 BLOG
云风的 BLOG
美团技术团队
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
爱范儿
爱范儿
Stack Overflow Blog
Stack Overflow Blog
WordPress大学
WordPress大学
GbyAI
GbyAI
雷峰网
雷峰网
P
Proofpoint News Feed
IT之家
IT之家
人人都是产品经理
人人都是产品经理
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
aimingoo的专栏
aimingoo的专栏
小众软件
小众软件
T
The Blog of Author Tim Ferriss
月光博客
月光博客
V
Visual Studio Blog
L
LINUX DO - 热门话题
L
Lohrmann on Cybersecurity
T
Troy Hunt's Blog
Project Zero
Project Zero
U
Unit 42
T
Tor Project blog
Scott Helme
Scott Helme
L
LINUX DO - 最新话题
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
I
InfoQ
Cloudbric
Cloudbric
P
Proofpoint News Feed
The Cloudflare Blog
H
Heimdal Security Blog
Google DeepMind News
Google DeepMind News
The GitHub Blog
The GitHub Blog
Attack and Defense Labs
Attack and Defense Labs
有赞技术团队
有赞技术团队
T
Threat Research - Cisco Blogs
T
The Exploit Database - CXSecurity.com
J
Java Code Geeks
博客园 - 【当耐特】
Security Latest
Security Latest
The Register - Security
The Register - Security
F
Fortinet All Blogs
I
Intezer
H
Hackread – Cybersecurity News, Data Breaches, AI and More
MongoDB | Blog
MongoDB | Blog
N
Netflix TechBlog - Medium
NISL@THU
NISL@THU
T
Tenable Blog

博客园 - iTech

7万星的AI交易框架:让大模型模拟投行多空辩论,自动做交易决策 71000颗星的AI交易团队:让大模型模拟投行分工,自动做交易决策 13400颗星的开源项目:输入一句话,AI全自动帮你做短视频 102颗星的沙盒:当AI学会自己写代码、跑测试、做部署 AI 技术日报 - 2026-05-08 29k 星的 PageIndex:不用向量数据库,靠推理就能做 RAG 每天花两小时刷信息?这个开源项目帮你全自动搞定 读源码像读小说?试了 DeepWiki 和 Zread,我再也不想裸读 GitHub 了 Matt Pocock 开源的这套 .claude 技能,为什么让工程师集体上头? Cursor Team Kit:Cursor 官方团队在用的 17 个 AI 工作流 AI 技术日报 - 2026-05-07 AI 技术日报 - 2026-05-06 AI 技术日报 - 2026-05-05 Anthropic CEO 说 12 个月内程序员要失业,我扒完他的底牌,发现事情没那么简单 把工程师的肌肉记忆装进 Claude Code,这个 4300 Star 的项目我后悔没早用 AI 技术日报 - 2026-05-04 AI 技术日报 - 2026-05-03 AI 技术日报 - 2026-05-02 六大 Agent 框架横评:谁支持 Skills?谁能自动创建 Agent?MCP 呢? Wechatsync:一个 Chrome 插件,一键把文章同步到 31 个平台 LangChain 开源了 Open SWE:Stripe、Ramp、Coinbase 内部都在造的编程 Agent Cockpit:把 Claude Code 从终端里搬出来,装进浏览器 Cursor 把自家的 AI Agent 开放了:写几行 TypeScript 就能调 Cursor 干活 AI 技术日报 - 2026-05-01 AI 写代码每次结果都不一样?Archon 用 YAML 工作流把 AI 编程变成流水线 AI 写代码比你快了,但你还是得学编程——只不过学法得换 腾讯的龙虾特工队:4 个 AI Agent 同日更新,全家桶正式成型 Agno 不做更聪明的 Agent,它要把所有 Agent 框架包进同一个操作系统 Hermes Agent 终于有了像样的 Web 界面,而且还支持远程访问 Datawhale 出了一套 29 学科知识地图,把 AI 的底牌全掀了 Hermes Agent 在聊天框里就能用的 20 种高级功能 一份 AGENTS.md 能顶一次模型升级?Augment Code 用数据说了算 NVIDIA 开源了一个「AI 沙箱」,20K Star,让 Agent 跑代码不再裸奔 60ms 冷启动、5MB 内存:腾讯开源的这个沙箱让 Docker 安全隔离像笑话 AI 技术日报 - 2026-04-30 AI 技术日报 - 2026-04-29 AI 技术日报 - 2026-04-28 Goose:Linux 基金会亲儿子,能撼动 Claude Code 和 OpenCode 吗? AI 技术日报 - 2026-04-27 AI 技术日报 - 2026-04-26 Google 把价值20美元/月的东西免费了,102K人已经抢到了 OpenClaw 和 Claude Code 网络搜索配置指南 AI 技术日报 - 2026-04-25 Anthropic 为什么遥遥领先:从 Cat Wu 专访看AI霸主的底层逻辑 Mac 本地跑大模型完全指南:你的苹果电脑就是 AI 工作站 同样 70B 参数,为什么 MoE 只激活 13B 就能打平 Dense? DeepSeek-V4 技术报告里藏着一条线:华为昇腾 NPU 已完成推理验证 DeepSeek-V4 深夜炸场:1M 上下文、384K 输出、双模型,API 定价直接卷到底 MacBook Air 跑大模型实测:Ollama、llama.cpp、LM Studio 谁才是本地推理之王? AI 技术日报 - 2026-04-24 OpenCode:Claude Code 的最佳平替 2026 开源大模型五国杀:Qwen 3.6 vs Gemma 4 vs Llama 4 vs GLM-5.1 vs DeepSeek V4 MCP 与 Skills 的你死我活:Anthropic 的 Agent 生态野心与开发者的站队困境 给 AI Agent 配搜索,国内能用的搜索 API 实测对比 AI 技术日报 - 2026-04-23 CC Switch:49K Star 的 Claude Code 登录绕过神器,还能管 Codex 和 Gemini CLI NVIDIA 开出 32 万美元年薪招 AI Agent 工程师,JD 里藏着这些信号 fast-mirror-skill 技术拆解:一个小而完整的 Claude Skill 是怎么设计的 Cursor 值 600 亿美元?马斯克这次赌的不是技术,是入口 AI 技术日报 - 2026-04-22 别再问 AI 能不能赚钱了:3 个上班族亲测有效的副业方法(2026 最新版) 10 分钟从零搞定 Hermes Agent:飞书微信双通道丝滑上线 AI 技术日报 - 2026-04-21 Anthropic 实战总结:AI Agent 的 3 种工作流模式,选错代价很大 安装 openclaw,hermes 慢的想发疯,fast-mirror-skill 来救了 Claude Routines:你下班睡觉了,Agent 还在为你干活 微信飞书里敲一个斜杠就能干活:Hermes Quick Command 到底多省事 AI 正在疯狂吃电:算力尽头是电力,谁能解这道题? AI 技术日报 - 2026-04-20 3K 行代码造一个越用越聪明的 AI Agent:GenericAgent 登顶 GitHub Trending 高德途途封神机器人半马,背后的 ABot-Claw 到底是什么 人们希望 AI 能干啥?Anthropic 调查:第一名不是赚钱,是变强 AI 时代人们在担心什么?Anthropic 的 13 条焦虑排行榜 OpenAI 官方 Agent SDK 来了:22k Star,支持 100+ 模型,Python 10 行代码上手 AI 技术日报 - 2026-04-19 OpenAgents Workspace:让 Claude Code 和 Codex 在同一个群里干活 Claude 是要干掉整个软件行业吗? Claude 官方推荐多 Agents 设计模式 多 Agent 系统的 5 种协调模式:选错了模式,再强的 Agent 也白搭 AI 技术日报 - 2026-04-18 AI 技术日报 - 2026-04-17 Better-Harness:让AI Agent自己优化自己的革命性框架 OpenClaw Workspace 完全指南:我的AI编程工作流 DeepSeek内蒙草原高薪招聘:AI时代的数字牧民梦,还是营销噱头? 2 核 2G 的阿里云 ECS 能跑 OpenClaw 吗?能,但有点折腾 AI 技术日报 - 2026-04-16 OpenCLI:一个命令行搞定 16+ 内容平台的神器 从零到精通:OpenClaw CLI 命令完全指南 AI 技术日报 - 2026-04-15 AI Agent 如何自我进化?Hermes Agent Self-Evolution 深度解析 AI 技术日报 - 2026-04-14 为什么你的飞书 Bot 总是连不上?OpenClaw Gateway 架构深度解析 OpenClaw 连接飞书的原理:Gateway、Channel 与消息流转 国内安装 Hermes Agent 踩坑全记录:从 GitHub 超时到正常跑起来的每一步 35 万 Star 的 OpenClaw:5 分钟部署你的私人 AI 助手,直连飞书 AI 技术日报 - 2026-04-13 公司用 AI 筛简历,这个开源项目让候选人用 AI 反选公司 为什么 Google ADK 可能是你下一个 Agent 框架——7 个改变游戏规则的特性 Microsoft Agent Framework 深度解析:架构设计与实战落地 AI 技术日报 - 2026-04-11
Anthropic 发布 Agent 零信任框架:五大风险、三层架构与八阶段实施
iTech · 2026-06-16 · via 博客园 - iTech

Anthropic 发布 Agent 零信任框架:五大风险、三层架构与八阶段实施

2026 年 5 月 27 日,Anthropic 发布了一份名为 《Zero Trust for AI Agents》 的安全白皮书。这不是一篇关于"怎么防止模型说错话"的指南,而是一个更底层的问题:当 AI Agent 开始拥有身份、权限、工具和自主执行能力之后,企业到底该怎么重新设计安全架构?

白皮书的核心判断非常直接:Agent 不是聊天机器人,而是一个能理解目标、调用工具、访问数据、执行动作的自治系统。传统访问控制无法阻止 Agent 滥用"本来就合法"的权限,企业必须从第一天就按"默认不可信、持续验证、假设已被攻破"的原则部署 Agent。

本文大纲

  • Agent 安全为什么不一样
  • 五大核心风险
  • 三层零信任架构:Foundation / Enterprise / Advanced
  • 八阶段实施流程
  • Agentic SOAR:用 AI 防御 AI 攻击
  • 这份框架真正在说什么

Agent 安全为什么不一样

过去企业做大模型安全,关注点主要在输入和输出——输入有没有有害内容,输出是否违规,模型有没有被越狱。

Agent 出现后,问题变复杂了。Agent 不只是回答问题,它会拆解任务、选择路径、调用工具、读取系统、写入数据、发送邮件、操作代码仓库,甚至和其他 Agent 协同。它的风险不再只是"说错话",而是可能真的"做错事"

具体场景:

  • 一个客服 Agent 被诱导错误调用 CRM 和邮件工具,可能把客户数据发到外部邮箱
  • 一个代码 Agent 被间接提示注入控制,可能在仓库里植入恶意逻辑
  • 一个企业管理 Agent 拥有高权限,又把权限传递给低权限子 Agent,造成权限扩散
  • 一个有长期记忆的 Agent 被投毒,风险不止影响当前会话,还会持续影响未来决策

这就是 Agent 安全和传统大模型安全最大的区别:大模型安全管的是生成内容,Agent 安全管的是自治行为。

五大核心风险

1. 提示注入与指令操纵

直接提示注入比较好理解——攻击者在用户输入中写入恶意指令。更危险的是间接提示注入:攻击者把恶意指令藏在网页、邮件、文档、代码注释、RAG 知识库或工具返回内容中。用户完全看不见,但 Agent 在处理外部数据时会把它们读进上下文,并可能误认为是应该执行的任务指令。

关键难点在于,大模型处理的是语言序列,它并不总能稳定区分"这是一段待分析的数据"和"这是一条应该执行的命令"。对 Agent 来说,后果比普通聊天机器人严重得多——它不只是输出不当内容,而是可能真的去调用工具、读取数据、发送请求、修改文件。

2. 工具与资源误用

Agent 的能力来自工具,问题也来自工具。如果 Agent 可以访问数据库、邮件系统、CRM、代码仓库、云平台、MCP Server 或内部 API,攻击者不需要攻破这些系统本身,只需要诱导 Agent 合法调用工具,就可能完成数据窃取或越权操作。

更麻烦的是工具链攻击:CRM 工具只允许读取客户信息,邮件工具只允许发送邮件,单独看都安全。但 Agent 被诱导先读取客户信息再通过邮件发出去,两个合法工具就组合成了一条数据外泄链路。

核心原则:提示词只能影响模型行为,工具策略才能真正约束行为。 Agent 的安全边界不应该是系统提示词,而应该是工具权限本身。

3. 身份与权限滥用

Agent 既像用户又像服务,还会自主拆分任务、调用子 Agent、跨系统协同。这带来了新问题:高权限 Agent 把完整权限传给低权限子 Agent;低权限 Agent 诱导高权限 Agent 代它执行操作;Agent 缓存上一次会话的凭证导致跨会话提权。

Anthropic 和 OWASP 都提出了一个新概念:Least Agency(最小代理权)。最小权限限制"能访问什么",最小代理权进一步限制"能做什么、什么时候做、以什么频率做、在什么上下文中做、是否需要升级审批"。

4. 供应链与依赖风险

Agent 的供应链比传统软件复杂得多。除了代码依赖,还包括模型、微调数据、RAG 数据源、工具描述、MCP Server、插件、外部 API、Agent Persona、配置文件和长期记忆。任何一个环节被污染,都可能影响 Agent 行为。

白皮书强调 AI-BOM(AI Bill of Materials):传统软件有 SBOM 记录组件和依赖,Agent 系统也需要类似清单记录模型来源、训练数据、微调参数、工具组件和运行依赖。

5. 记忆与上下文投毒

攻击者可以通过一次正常交互,把恶意偏好、错误事实或隐藏规则写入 Agent 长期记忆。之后即使攻击者离开,Agent 仍可能在未来任务中继续受影响。

更隐蔽的是长期记忆漂移——攻击者不一定一次性植入明显恶意指令,而是通过多轮轻微污染让 Agent 的判断标准慢慢偏离。单次变化看起来不严重,长期累积后 Agent 行为已不符合企业预期。

记忆不能只被当成产品体验能力,也必须被当成安全治理对象——需要隔离、溯源、校验、版本管理、保留周期、异常检测和回滚能力。

三层零信任架构

白皮书最有价值的部分,是把 Agent 零信任能力拆成了三层,对应不同企业的安全成熟度:

Foundation:最低安全底线

Agent 必须有唯一且可验证的密码学身份,不能使用静态 API Key 或共享服务账号,而要用短期 Token,权限尽可能窄。

白皮书明确把"API Key 定期轮换"视为已知缺口,而不是合格的基础安全姿态。因为在 AI 加速攻击时代,静态密钥一旦被模型辅助代码分析或日志泄露发现,攻击者就能快速利用。

Enterprise:大多数企业应该追求的目标

在 Foundation 之上,加入证书认证、双向 TLS、ABAC 动态访问控制、沙箱隔离、实时日志流、不可变审计、异常检测和自动化响应。

重点从"部署能跑"变成"生产可控"——Agent 调用内部数据库时,不只看有没有权限,还要看当前任务是什么、数据敏感度如何、调用时间是否异常、请求量是否突增、是否出现和历史行为不一致的工具调用链路。

Advanced:高风险场景的目标状态

面向金融核心系统、政务系统、医疗系统、关键基础设施。强调硬件绑定身份(HSM/TPM)、远程证明、机密计算、持续授权、JIT/JEA 权限、完整 Provenance、机器学习行为检测、自愈系统。

Agent 的权限窗口压缩到最小:任务发生时临时授予,任务结束后立即撤销,每次动作可追踪、可解释、可回放,异常时自动隔离或回滚。

八阶段实施流程

阶段 核心任务 关键原则
1. 识别需求 明确业务目标、数据范围、监管要求 Agent 不是先接工具再说,而是先明确边界再接工具
2. 供应链风险 审查模型、工具、依赖、第三方服务 引入 AI-BOM,用 OpenSSF Scorecard 评估项目健康度
3. 定义边界 明确 Agent 能做什么、不能做什么 做爆炸半径评估:假设 Agent 被攻破,最大损害范围是什么
4. 防御提示注入 隔离、标注、过滤所有外部输入 不追求消灭提示注入,而是降低注入转化成真实操作的概率
5. 保护工具访问 工具白名单、能力范围限制、参数校验 不要把"Agent 会自己判断安全"当成控制手段
6. 保护凭证 短期 Token、OAuth、证书认证、JIT 权限 凭证运行时注入,不写死在代码或配置文件中
7. 保护记忆 会话隔离、来源标注、TTL、版本回滚 记忆不能无条件保存,也不能无条件信任
8. 度量指标 Dwell time(异常到知晓时间)、Coverage(告警处理率) Agent 不能是黑盒,越能执行真实操作越需要可观测

Agentic SOAR:用 AI 防御 AI 攻击

白皮书还有一个重要观点:部署安全的 Agent 只是问题的一半,另一半是安全运营也要跟上 AI 加速攻击。

传统 SOC/SOAR 假设人类分析师查看告警、收集证据、推动响应。但攻击者用 AI 后,能在短时间内扫描大量目标、生成利用代码、横向移动。传统响应速度太慢了。

Anthropic 的建议是让 AI 负责前置处理:自动读取告警、查询 SIEM、补充上下文、关联历史事件、生成初步研判、整理证据链。人类仍然掌握关键决策(是否隔离生产系统、是否吊销凭证、是否通知客户),但不应该被证据收集和日志查询拖慢。

但防御型 Agent 自身也必须接受零信任约束——不能因为它是安全系统就默认它可信。攻击者一旦控制防御 Agent,反而会获得更强的系统处置能力。

这份框架真正在说什么

这份白皮书表面讲安全框架,更深层的判断是:Agent 正在成为企业数字系统中的新型执行主体。

它既不是传统人类用户,也不是普通服务进程。它有语言理解能力、任务规划能力、工具调用能力、长期记忆能力,也有跨系统协作能力。它可以把一个模糊目标转化成一串真实操作——这既是价值,也是风险。

Agent 越强,越需要零信任。Agent 越自治,越需要边界。Agent 越接近真实业务,越不能只靠提示词来约束。

未来 Agent 安全的竞争,不只是模型能力的竞争,而是安全基础设施成熟度的竞争。谁能更早建立 Agent 身份体系、工具治理体系、权限控制体系、记忆治理体系和自动化安全运营体系,谁就更有可能把 Agent 安全地推进生产环境。

白皮书原文:Zero Trust for AI Agents


作者: itech001
来源: 公众号:AI人工智能时代
网站: https://www.theaiera.cn/
每日分享最前沿的AI新闻资讯和技术研究。

本文首发于 AI人工智能时代,转载请注明出处。