AI Agent 安全：生成内容不可追溯（水印窃取与擦除）

1. 威胁概览

2. 威胁描述

攻击者通过向 AI 系统反复提交精心构造的输入，收集大量带水印的输出响应，利用统计分析或优化方法（如混合整数规划）逆向还原水印生成机制及密钥，进而清除或篡改水印，导致 AI 生成内容无法被有效溯源或追踪。

3. 威胁场景

• AI 系统在输出文本中嵌入不可见水印（用于版权保护、内容溯源或滥用检测）；
• 攻击者具备对 AI 推理接口的多次访问权限（如公开 API）；
• 水印机制未对查询频率或输入模式进行有效限制。

4. 威胁触发条件

5. 缓解措施

管理措施

• 限制查询频率：对单个用户或 IP 的 API 调用次数设置阈值，防止水印样本被大量收集；
• 水印密钥轮换：定期更换水印生成密钥，降低长期逆向风险；
• 输入多样性监控：检测异常输入模式（如高度重复或结构化试探性输入）。

技术措施（补充建议）

• 引入随机化水印：在水印嵌入过程中加入动态随机因子，提高逆向难度；
• 水印-模型联合训练：将水印机制与模型生成过程深度耦合，避免解耦攻击；
• 输出扰动审计：对疑似被擦除水印的文本进行异常检测。

6. 威胁案例

• 研究团队：ETH Zurich Martin Vechev 教授、悉尼大学 Zhang Zhaoxi 等
• 论文标题：
  • Watermark Stealing in Large Language Models
  • Large Language Model Watermark Stealing With Mixed Integer Programming
• 发表时间：2024 年
• 核心发现：
  • 提出通过黑盒查询 + 优化算法（如混合整数规划, MIP）从 LLM 输出中窃取水印密钥；
  • 成功在多种主流水印方案（如 Aaronson 系水印）上实现高精度密钥恢复；
  • 可进一步擦除水印或伪造他人水印，破坏内容溯源机制。
• 论文链接：https://arxiv.org/pdf/2402.19361

总结：当前主流 LLM 水印方案在开放 API 场景下面临严重的逆向与擦除风险。仅依赖水印无法保障生成内容的可追溯性，需结合访问控制、动态密钥、行为审计等纵深防御策略。