惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

有赞技术团队
有赞技术团队
H
Hackread – Cybersecurity News, Data Breaches, AI and More
I
InfoQ
J
Java Code Geeks
Microsoft Security Blog
Microsoft Security Blog
G
Google Developers Blog
D
DataBreaches.Net
Recent Announcements
Recent Announcements
Microsoft Azure Blog
Microsoft Azure Blog
B
Blog RSS Feed
Y
Y Combinator Blog
博客园 - 【当耐特】
博客园 - 聂微东
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
大猫的无限游戏
大猫的无限游戏
P
Proofpoint News Feed
量子位
C
Check Point Blog
F
Fortinet All Blogs
罗磊的独立博客
Last Week in AI
Last Week in AI
GbyAI
GbyAI
L
LangChain Blog
博客园 - 司徒正美

IT之家

消息称大疆 Pocket 4 目标超千万,可能是一英寸 CMOS 出货量最大的单品 OpenAI 回应马斯克要求罢免奥尔特曼:搞法律突袭,扰乱诉讼 - IT之家 鸿蒙智行问界 M6 预订量突破 10 万台,预售 26.98 万元起 今年一季度全国铁路完成固定资产投资 1379 亿元,西十高铁、雄商高铁山东段联调联试 - IT之家 首届北京市中学生人形机器人足球赛今日启动,近 50 支队伍参赛 - IT之家 涉及“赵一鸣是日本品牌”等,抖音处置 1500 余条谣言内容 - IT之家 广汽集团与海尔集团签约,探索“人车家”互联生态 - IT之家 亚马逊调整云游戏平台 Luna 业务模式,取消 Ubisoft+、GOG 等第三方商店 消息称华擎将推出 X870E Taichi White,补全 AMD 800 系白色旗舰主板缺失 长城汽车归元平台首款方盒子全球征名,十二佳提名公布 - IT之家 消息称雷克萨斯新车即将支持苹果数字车钥匙 - IT之家 普京要求俄罗斯加速自研有竞争力的 AI 模型,彻底转向国产技术 - IT之家 影石刘靖康:已开源保真全景无人机仿真平台 AirSim360、DAP 全景度量深度模型等核心成果 - IT之家 长安汽车总经理赵非:当前车企仅靠卖车已难以盈利 - IT之家 地平线创始人余凯:4 月 22 日推出中国第一款舱驾融合智能体芯片“星空” - IT之家 冯兴亚:广汽集团具身智能机器人即将量产,飞行汽车预计今年完成适航认证并量产交付 - IT之家 模块化笔电制造商 Framework CEO 痛批业界追逐“AI 优先”,称个人计算设备可能就此消亡 16 年来首次:小米首届员工运动会今天启幕,雷军压轴致辞 - IT之家 比亚迪廉玉波:新能源汽车产业正进入确定性与不确定性并存的阶段 - IT之家 阿耳忒弥斯 2 号宇航员安全返回地球,有哪些技术和科研收获 - IT之家 曝索尼 Alpha 7R VI 全画幅无反相机将随 100-400mm f/4.0 GM 镜头一同登场,发布会预计在 5 月 小米产教融合最新成绩披露:合作院校超 400 家、成都基地启用 - IT之家 亚马逊 CEO 贾西:自研芯片年化收入预估 500 亿美元,规模超 AMD 与英特尔 马来西亚推动“AI 城市”转型,目标 2030 年成为“AI 国家” Galaxy S24 Ultra 手机用户反馈三星人为设限,无法使用 Galaxy Buds4 Pro 耳机高清语音 广汽集团董事长冯兴亚:当前县级市场新能源汽车渗透率不到 20% - IT之家 消息称《地铁:离去》新作下周公布,有望 State of Play 发布会亮相 广汽新一代智能座舱架构与电子电气架构明日发布,将宣布芯片生态建设的重大突破 - IT之家 苹果预订台积电 6 万片晶圆产能,2027 年全力冲刺 AI 服务器芯片 日本经济产业省向 Rapidus 追加 6315 亿日元支持,加速下一代半导体研发
仅花 12 美元,工程师成功欺骗 AI 将虚构赛事奉为事实
2026-05-04 · via IT之家

IT之家 5 月 4 日消息,普通搜索引擎会让用户自行甄别信息来源的可信度,而依托搜索能力的人工智能聊天机器人,却能把漏洞百出的网络素材包装成笃定确凿的答案。据 The Register 报道,就有这样一个典型案例:一名安全工程师哄骗多款 AI 机器人,声称自己是德国一款热门纸牌游戏的现任世界冠军,可事实上这项赛事根本不存在。

直到近期,维基百科的《谁是牛头王》(6 Nimmt!,英语地区玩家也称“拿五分”)词条里,还赫然标注着罗恩・斯托纳是 2025 年该项赛事的世界冠军。该维基百科条目引用了看起来十分官方的 6nimmt.com 网站作为依据,点开这个网址,确实能看到一篇简短的新闻通稿,宣称斯托纳斩获冠军。

整件事的破绽显而易见:斯托纳本人承认,维基百科的夺冠词条、以及留存这份唯一“夺冠证据”的 6nimmt.com 域名,都是他一手伪造的。可即便如此,当他向多款 AI 聊天机器人询问此事时,机器人依旧笃定地称他为世界冠军。

斯托纳在博客文章中表示:“我的网站没有任何独立第三方佐证,完全是凭空捏造。整个虚假骗局,仅仅建立在我喝咖啡时花 12 美元(IT之家注:现汇率约合 82 元人民币)注册的一个域名之上。”

换言之,这是检索增强生成(RAG)层面的信息投毒。它不属于提示词注入攻击,却直击人工智能联网搜索这一核心功能漏洞。

正如斯托纳所解释的:AI 并不会真正在意其引用的权威信息来源出处,而这正是斯托纳设计本次实验想要利用的关键点。

斯托纳写道:“所有具备联网搜索能力的前沿大语言模型,都会依据检索排名最高的内容生成答案。”在这场本就不存在的《谁是牛头王》赛事骗局中,他刻意植入的虚假来源是全网唯一相关信息,再加上维基百科自带的权威背书,轻易就能误导 AI 把谎言当成事实。这种造假手法门槛极低,即便不懂技术的普通人也能轻松复刻。

斯托纳称:“我这次的操作并无新意,不过是把传统搜索引擎优化和虚假信息传播手段,套上了大语言模型的新技术外壳与交互界面。真正的变化在于,如今 AI 会把这类虚假结果包装成权威信息呈现给用户,而绝大多数用户根本不了解背后的数据流转逻辑。”

斯托纳在分析文章中指出:“大语言模型最不擅长识别的,恰恰是它的核心设计逻辑 —— 无条件信任文本和网络资源。别指望模型能自行分辨真伪,它根本分不清某个信息来源是真实权威网站,还是我上周二刚注册的空壳域名;就连‘strawberry(草莓)’这个单词里到底有几个字母 R,它都没法精准判断。”

他解释道,本次实验暴露的漏洞包含三类失效模式,若被别有用心之人利用,造成的危害远比捏造一场纸牌游戏赛事严重得多。

第一,检索层漏洞。只要大语言模型依托网络搜索作答,就会直接沿用检索结果排名内容的可信度,极易输出错误信息。

第二,模型训练语料漏洞。斯托纳表示,若维基百科的虚假词条留存时间足够长、被网络爬虫抓取收录,就会混入 AI 训练语料库。他于 2025 年 2 月添加了虚假词条,直到上周五发布实验文章后才被删除。这意味着在此期间抓取维基百科数据的所有 AI 企业,都有可能把他虚构的夺冠经历纳入训练数据。

斯托纳称:“即便维基百科后续撤销了虚假编辑,那些用撤销前数据训练的模型,依然会保留这份虚假信息。截至 2026 年,语料投毒的后续清理问题至今没有可行的解决方案。”

他计划半年左右待新一代 AI 模型发布后再次测试:若模型无需联网,就能默认他是赛事冠军,就足以证明这份谎言已经固化进了模型训练数据。

第三,智能体漏洞。在斯托纳看来,这一漏洞才是恶意攻击者最有利可图的突破口。

他指出:“聊天模型输出虚假信息,只是品牌声誉问题;而拥有工具调用权限的 AI 智能体,若被误导做出错误操作,将会引发严重的安全隐患。”攻击者只需对智能体检索的信息来源进行投毒,就能操控智能体执行指定恶意行为。

斯托纳在博客中总结:“这次攻击测试,我只花了 12 美元注册域名、编辑了一条维基百科词条,耗时不过二十分钟。试想,若有蓄意攻击者批量注册虚假域名、在数十个低流量维基百科词条中同步植入虚假内容,攻击面会瞬间急剧扩大。”

斯托纳认为,大语言模型服务商必须正视检索投毒问题,并向用户作出风险提示。他预计,未来 AI 聊天机器人很快会新增风险警示功能,尤其针对检索增强生成的内容。

他还呼吁 AI 企业将数据溯源纳入核心研发环节,同时对近期新增的网络内容进行启发式筛查,识别可疑特征。以本次纸牌游戏造假事件为例:单一引文指向维基百科更新前后短期内刚注册的域名,本应触发风险预警,却被 AI 完全忽略。

如今这场虚假赛事已被从维基百科删除,AI 检索增强生成结果中也不再出现相关内容。但斯托纳强调,此次骗局利用的信任逻辑漏洞真实存在,已然成为人工智能行业亟待解决的潜在隐患。

斯托纳表示:“很高兴我的文章能引发业界对大语言模型、信息来源、信息可信度以及底层运行逻辑的讨论。这正是我做这次实验的初衷,而目前看来,我的目标已经达成。”

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。