安全

微软冲击 RAMPART，为代理式 AI 安全增添清晰度

雷德蒙德开源两款用于构建和维护更安全代理的工具

微软周三开源了两款旨在帮助开发者和安全团队构建和维护更安全 AI 代理的工具

第一款被称为RAMPART，意为风险评估和测量 用于自主红队演练的平台。这是一个基于微软开源技术的用于自主人工智能应用的pytest框架。PyRIT一个将自动化红队测试嵌入到CI/CD管道中的工具包。 

这允许开发人员模拟现实世界的攻击场景——例如提示注入——并验证代理始终在批准的工具使用、操作和行为边界内。它还支持统计试验，这意味着团队可以设定政策，例如“此操作必须在至少80%的运行中是安全的”，以考虑模型的概率行为.

此外，它允许红队和事件响应人员重现任何AI安全发现，以确保代理按预期行为——并且安全缓解措施按预期工作.

“是时候我们停止将AI安全视为一种哲学，并开始将其视为一个工程学科了，”微软的数据牛仔拉姆·辛哈·西瓦·库马尔和创始人告诉The Register， 

微软一直在内部使用RAMPART，尽管库马尔表示他无法提供具体细节，但他告诉我们，一名安全研究员发现了一个问题，然后雷德蒙德的红队使用RAMPART来测试该漏洞在智能代理AI应用程序中的存在。

“RAMPART能够识别出那个特定的向量，并找到近100种该向量的变体，”库马尔说。“然后我们利用RAMPART对这一资产进行检测，验证其有效性，不是一次，也不是两次，而是近300次。我们还能在多轮对话的背景下进行检测。”

测试框架还允许开发者在产品中构建缓解措施。 

“他们再次能够使用RAMPART来验证那种补救措施是否有效，不仅针对安全研究员发现的一个攻击向量，还针对这些攻击向量的多种变体，”库马尔解释道。“这增强了我们的事件响应人员和工程师的能力。”

微软周三开源的第二个人工智能工具是一个名为Clarity的代理程序。，根据 Kumar 在周三撰写的关于这两个新工具的博客blog，它旨在作为一个“结构化的意见箱，帮助团队在编写一行代码之前确定他们是否正在构建正确的东西。”

例如，假设一个开发者想要为一个文档编辑器添加实时协作功能。他们向Clarity提出这个需求，代理随后提出的问题类似于“经验丰富的架构师、产品经理和安全工程师会问的问题”，微软表示。

Clarity 的答案，如在 GitHub 上的截图所示：“在我们设计那个之前 - 当两个人同时编辑同一个段落时会发生什么？你需要真正的实时（光标、存在感），还是‘没有人会丢失工作’才是实际要求？这会导致非常不同的架构。”

这个AI工具本质上旨在回答开发者试图用应用程序解决什么问题，什么可能会出错，并在编码开始之前“讨论”这些问题。 

“这本质上就是协作，”库马尔说。“它帮助团队退一步思考，‘嘿，在构建这个之前，我们是不是走对了方向？因为代码很便宜。用一根手指的功夫就能生成一个完整的系统。我们是不是在以一种合理的方式来做这件事？’” ®