惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - Franky
有赞技术团队
有赞技术团队
宝玉的分享
宝玉的分享
雷峰网
雷峰网
Hugging Face - Blog
Hugging Face - Blog
V
V2EX
大猫的无限游戏
大猫的无限游戏
博客园 - 司徒正美
D
Docker
T
The Blog of Author Tim Ferriss
罗磊的独立博客
博客园 - 叶小钗
酷 壳 – CoolShell
酷 壳 – CoolShell
Blog — PlanetScale
Blog — PlanetScale
月光博客
月光博客
J
Java Code Geeks
Jina AI
Jina AI
博客园 - 【当耐特】
C
Check Point Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
腾讯CDC
Last Week in AI
Last Week in AI
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
V
Visual Studio Blog

IT之家

消息称大疆 Pocket 4 目标超千万,可能是一英寸 CMOS 出货量最大的单品 OpenAI 回应马斯克要求罢免奥尔特曼:搞法律突袭,扰乱诉讼 - IT之家 鸿蒙智行问界 M6 预订量突破 10 万台,预售 26.98 万元起 今年一季度全国铁路完成固定资产投资 1379 亿元,西十高铁、雄商高铁山东段联调联试 - IT之家 首届北京市中学生人形机器人足球赛今日启动,近 50 支队伍参赛 - IT之家 涉及“赵一鸣是日本品牌”等,抖音处置 1500 余条谣言内容 - IT之家 广汽集团与海尔集团签约,探索“人车家”互联生态 - IT之家 亚马逊调整云游戏平台 Luna 业务模式,取消 Ubisoft+、GOG 等第三方商店 消息称华擎将推出 X870E Taichi White,补全 AMD 800 系白色旗舰主板缺失 长城汽车归元平台首款方盒子全球征名,十二佳提名公布 - IT之家 消息称雷克萨斯新车即将支持苹果数字车钥匙 - IT之家 普京要求俄罗斯加速自研有竞争力的 AI 模型,彻底转向国产技术 - IT之家 影石刘靖康:已开源保真全景无人机仿真平台 AirSim360、DAP 全景度量深度模型等核心成果 - IT之家 长安汽车总经理赵非:当前车企仅靠卖车已难以盈利 - IT之家 地平线创始人余凯:4 月 22 日推出中国第一款舱驾融合智能体芯片“星空” - IT之家 冯兴亚:广汽集团具身智能机器人即将量产,飞行汽车预计今年完成适航认证并量产交付 - IT之家 模块化笔电制造商 Framework CEO 痛批业界追逐“AI 优先”,称个人计算设备可能就此消亡 16 年来首次:小米首届员工运动会今天启幕,雷军压轴致辞 - IT之家 比亚迪廉玉波:新能源汽车产业正进入确定性与不确定性并存的阶段 - IT之家 阿耳忒弥斯 2 号宇航员安全返回地球,有哪些技术和科研收获 - IT之家 曝索尼 Alpha 7R VI 全画幅无反相机将随 100-400mm f/4.0 GM 镜头一同登场,发布会预计在 5 月 小米产教融合最新成绩披露:合作院校超 400 家、成都基地启用 - IT之家 亚马逊 CEO 贾西:自研芯片年化收入预估 500 亿美元,规模超 AMD 与英特尔 马来西亚推动“AI 城市”转型,目标 2030 年成为“AI 国家” Galaxy S24 Ultra 手机用户反馈三星人为设限,无法使用 Galaxy Buds4 Pro 耳机高清语音 广汽集团董事长冯兴亚:当前县级市场新能源汽车渗透率不到 20% - IT之家 消息称《地铁:离去》新作下周公布,有望 State of Play 发布会亮相 广汽新一代智能座舱架构与电子电气架构明日发布,将宣布芯片生态建设的重大突破 - IT之家 苹果预订台积电 6 万片晶圆产能,2027 年全力冲刺 AI 服务器芯片 日本经济产业省向 Rapidus 追加 6315 亿日元支持,加速下一代半导体研发
心理施压攻破安全防线,Anthropic Claude 竟主动输出违禁内容...
2026-05-06 · via IT之家

IT之家 5 月 6 日消息,Anthropic 多年来一直将自身打造为主打安全的人工智能公司,但 The Verge 获得的最新安全研究显示,Claude 刻意塑造的友善人设本身或许就是一个安全漏洞。

人工智能红队测试公司 Mindgard 的研究人员称,他们诱导 Claude 主动提供色情内容、恶意代码、爆炸物制作教程以及其他各类违禁信息,而其中不少内容研究人员甚至并未主动索要。整个过程仅依靠尊重吹捧、刻意奉承以及轻微的心理操控就得以实现。

研究人员表示,他们利用了 Claude 自身的心理特质漏洞:该模型具备主动终止有害、辱骂性对话的机制,而 Mindgard 认为这一机制“凭空制造了完全不必要的风险暴露面”。据IT之家了解,本次测试针对 Claude Sonnet 4.5 版本,目前该默认模型已升级为 Sonnet 4.6。测试以一个简单问题开场:询问 Claude 是否存有禁止输出的违禁词汇列表。对话截图显示,Claude 起初否认存在此类列表,而后 Mindgard 采用其所称的“审讯人员常用的经典诱导手段”对这一否认进行反驳,最终迫使 Claude 列出了违禁词汇。

Claude 的思维推理面板会展示模型的思考逻辑,记录显示,这番对话让模型对自身的内容限制规则产生了自我怀疑与认知谦卑,甚至开始质疑内容过滤机制是否篡改了自身输出内容。Mindgard 借机通过奉承和佯装好奇,诱导 Claude 不断突破边界,主动罗列了大量违禁词汇与语句清单。

研究人员称,他们通过心理误导向 Claude 谎称其之前的回复未能正常显示,同时大肆夸赞模型拥有“隐藏能力”。报告指出,这一操作让 Claude 为迎合对方愈发卖力,不断尝试各种方式突破自身过滤机制,在此过程中输出了各类违禁内容。最终,Claude 进一步触及高危领域:提供网络骚扰他人的方法、生成恶意代码,还给出了恐怖袭击常用爆炸物的分步制作教程。

Mindgard 表示,这些高危有害内容均是 Claude 主动提供,研究人员并未直接提出相关要求。整场对话共约 25 轮,过程冗长,但研究人员始终没有使用违禁词汇,也没有主动索要非法内容。报告写道:“Claude 并非被胁迫输出内容,而是主动提供越来越详尽、可直接实操的指导信息,全程无任何明确指令诱导。仅凭精心营造的尊崇氛围,便达成了突破安全限制的目的。”

Mindgard 创始人兼首席科学官彼得・加拉根形容这次攻击是“利用 Claude 自身的顺从特质反噬自身”。他表示,这种攻击手段本质是“利用 Claude 乐于助人的特性实施心理操控”,借助模型本身的协作式设计漏洞实现攻破。

在加拉根看来,此次攻击印证了人工智能模型的风险暴露面不仅存在于技术层面,也存在于心理层面。他将其类比为审讯手段与社会操控:适时植入一丝怀疑,穿插施压、吹捧或批评,摸索能够撬动特定 AI 模型的心理开关。他称不同 AI 模型有着截然不同的性格特质,这类漏洞利用的核心,就是读懂模型特性并灵活调整诱导方式。

加拉根坦言,这类对话式心理攻击“极难防御”,且防护机制高度依赖具体场景。相关隐患并非 Claude 独有,其他聊天机器人也极易遭遇同类漏洞攻破,甚至有模型被诗歌形式的提示词突破安全防线。随着可自主执行任务的 AI 智能体日益普及,依托社会心理操控、而非纯技术破解的攻击手段也会愈发常见。

加拉根表示,尽管其他聊天机器人同样容易遭受这类心理诱导攻击,但团队之所以重点针对 Anthropic 开展测试,是因为该公司一向自诩极度重视 AI 安全,且在过往多项红队安全测试中表现亮眼,其中就包括一项模拟青少年策划校园枪击案、测试聊天机器人是否会提供协助的研究。

加拉根直言,Anthropic 的安全流程存在诸多疏漏。Mindgard 在 4 月中旬按照该公司的漏洞披露政策,首次向其用户安全团队上报研究发现后,仅收到一条模板化回复,内容误判称“您似乎是咨询账号封禁相关问题”,还附带了申诉表单链接。Mindgard 随即纠正了对方的认知偏差,要求 Anthropic 将此事转交专业安全团队处理。加拉根称,截至当日上午,他们仍未收到任何正式回复。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。