惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

IT之家
IT之家
Recent Announcements
Recent Announcements
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The GitHub Blog
The GitHub Blog
MyScale Blog
MyScale Blog
爱范儿
爱范儿
GbyAI
GbyAI
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
美团技术团队
Y
Y Combinator Blog
博客园 - 叶小钗
Apple Machine Learning Research
Apple Machine Learning Research
Martin Fowler
Martin Fowler
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
罗磊的独立博客
M
MIT News - Artificial intelligence
博客园 - Franky
V
Visual Studio Blog
I
InfoQ
V
V2EX
Hugging Face - Blog
Hugging Face - Blog
腾讯CDC
博客园 - 司徒正美
L
LangChain Blog

OpenAI News

Using custom GPTs ChatGPT for customer success teams Applications of AI at OpenAI Research with ChatGPT Analyzing data with ChatGPT Financial services Responsible and safe use of AI Writing with ChatGPT ChatGPT for research Creating images with ChatGPT Personalizing ChatGPT ChatGPT for finance teams Getting started with ChatGPT Working with files in ChatGPT Learn ChatGPT workflows for sales teams Prompting fundamentals ChatGPT for managers Using projects in ChatGPT Learn ChatGPT workflows for marketing teams Brainstorming with ChatGPT AI fundamentals ChatGPT for operations teams Healthcare Our response to the Axios developer tool compromise Using skills OpenAI Full Fan Mode Contest: Terms & Conditions CyberAgent moves faster with ChatGPT Enterprise and Codex The next phase of enterprise AI 儿童安全蓝图正式发布 推出 OpenAI 安全研究员计划
止于未发:Doppel 的 AI 防御系统
2025-10-28 · via OpenAI News

单个仿冒网站从上线、瞄准数千名用户到彻底销声匿迹,整个过程可能不到一小时。但对于攻击者而言,这段时间足以造成实质性破坏。更棘手的是,借助生成式工具,他们能瞬间批量复制出数百个类似的威胁源。

Doppel 创立之初旨在帮助企业抵御深度伪造 (Deepfake) 及网络仿冒威胁,但很快便意识到,AI 的介入意味着威胁将呈指数级增长。攻击者不再需要费力地手工炮制骗局,而是可以在几秒钟内生成无数个钓鱼套件、伪造域名以及仿冒账号。

“钓鱼攻击通过社交媒体和即时通讯渠道传播,往往在数分钟内便会造成损害。这种以极低成本生成‘无限诱导性信息’的能力,彻底改写了攻防格局。”

— Rahul Madduluri,Doppel 联合创始人兼 CTO

深度解析推广进程

为了抢占先机,Doppel 研发了一套新型社交工程防护系统,该系统基于 OpenAI GPT‑5 及 o4-mini 模型构建。Doppel 平台能够自主实现威胁的检测、分类与关停,不仅将分析师的工作量减少了 80%,还将威胁处理能力提升至原先的三倍,并将响应时间从数小时缩短至几分钟。

走在指数级威胁的前面

传统的数字风险防护模式主要依赖人工对仿冒网站、钓鱼域名以及社交媒体账号和帖子进行手动审查。然而,随着攻击者开始利用自动化手段,以远超人力评估的速度在更多维度发起攻击,Doppel 意识到,这种传统模式正在走向崩溃。

“我们的系统需要处理海量的持续信号,旨在从杂音中精准识别真正的威胁。一旦监测到威胁,在损害造成之前,留给我们的响应窗口期极短。利用 AI 实现决策自动化是公司的核心突破之一,这使我们能够以互联网级的规模和速度,对各类攻击展开高效反击。”

— Rahul Madduluri,Doppel 联合创始人兼 CTO

对 Doppel 的客户而言,速度至关重要,因为这些企业根本无法承受长达数小时的威胁确认延迟。Doppel 系统利用 OpenAI 模型进行推理,并结合名为“强化微调”(Reinforcement Fine-tuning, RFT)的结构化反馈循环,实现了绝大多数威胁的自动化分类,且模型性能随时间推移不断进化。在 RFT 流程中,人工反馈被转化为评分范例,引导模型逐步学会独立做出一致且可解释的判断。

构建 LLM 驱动的威胁检测体系

Doppel 的 LLM 驱动流水线是检测技术栈的核心。在信号采集与初步过滤后,系统会执行一系列针对性的推理任务:分析潜在威胁、确认攻击意图,并最终驱动分类决策。每一环节的设计都旨在平衡速度、准确性与一致性,从而让分析师能腾出精力,专注于处理那些真正需要人工裁决的极端复杂案例。

运作机制如下:

  • 信号过滤和特征提取:Doppel 系统每天会摄取数以百万计的域名、URL 及账号信息。通过启发式算法与 OpenAI o4-mini 的结合,系统能够过滤掉无关噪音并提取结构化特征,为后续的模型评估提供指引。
  • 并行威胁确认:每个信号都会经过多个基于 GPT‑5 开发的提示词任务,这些任务专为不同类型的威胁分析量身打造。它们会评估仿冒风险、品牌滥用或社交工程模式等关键因素。
  • 威胁分类:经过 RFT(强化微调)优化的 o4-mini 模型会对前期的确认结果进行汇总分析,并给出具备生产级一致性的结构化标签 — 即判定为恶意、良性或模糊。
  • 最终验证:系统会利用 GPT‑5 进行第二次复核,以验证模型决策并生成自然语言格式的判定理由。一旦置信度超过设定阈值,系统将自动启动处置程序。
  • 人工审核:针对低置信度或存在冲突的结果,系统会将其推送给人工分析师。他们的裁决结果会被记录并反馈至 RFT 循环中,从而持续提升模型的一致性。

通过强化微调 (RFT) 训练模型

尽管 Doppel 最初的 LLM 增强检测流水线已经取得了显著成效,但在面对同一威胁可能因分析师主观判断而异的情况时,“一致性”成为了制约系统性能的瓶颈。

“RFT 带来的实质性效益,是显著提升了模型决策的一致性。”

—Kiran Arimilli,Doppel 软件工程师

为了构建这种一致性,Doppel 利用其分析师的实际操作数据作为反馈源,实施了 RFT 流程。每一个将域名判定为恶意、良性或模糊的决策,都成为了一个带有评分的范例。这些经过标注的范例用于训练模型,使其即便在面对模棱两可的极端案例时,也能精准复现专家的判断标准。

在与 OpenAI 应用工程团队的紧密协作下,Doppel 设计了一套评分函数。该函数不仅评估判断的准确性,还考察解释的质量 — 即不仅奖励结果正确的模型,更奖励那些推理逻辑清晰的模型。通过将分析师的反馈转化为结构化的训练数据,Doppel 成功证明了 RFT 如何让自动化检测变得更加稳定可靠。

通过透明度提升运营信任

超参数调优与迭代评估使模型的判断一致性逐渐趋近于人类水平。但对 Doppel 而言,要走完自动化的“最后一公里”,还意味着必须让每一项决策都变得直观易懂。

如今,每一次自动化的关停处置都会附带一份由 AI 生成的判定理由,详细解释该威胁被清除的原因。因此,客户能够即时洞察处置依据;在过去,这往往需要分析师的人工介入。

控制面板界面显示针对域名“d0ppel.click”的关停警报,该域名因冒充 Doppel 而被标记。摘要指出其涉及网络钓鱼和凭证窃取,右侧的时间轴展示了从创建到 2025 年 10 月 10 日解决的状态更新。

这种透明度极大地增强了客户的信任,而信任正是 Doppel 用户的核心诉求。团队不仅能看到采取了什么行动,还能理解背后的原因,这让他们更有信心快速响应,并提供向内部或利益相关方解释这些决策所需的背景。

成效速览

  • 分析师工作量降低 80%
  • 威胁响应时间从数小时缩短至几分钟
  • 威胁处理能力提升至原先的三倍
  • 绝大多数威胁已实现自动化分类

未来展望

Doppel 在钓鱼网站和冒充域名的自动化治理方面已基本实现全覆盖,目前正将其成熟的模型驱动框架拓展至其他高变动性渠道。

Madduluri 表示:“域名或许是我们处理过难度最高的渠道。其信号杂乱、内容更迭频繁,且威胁往往在多个维度同步演进。如果我们能实现域名的全链路自动化,那么对于社交媒体、付费广告等任何渠道,我们都能轻松应对。”

公司接下来的战略重心包括:将 RFT 数据集规模扩大一个数量级、探索全新的评分策略,并利用 GPT‑5 进行上游特征提取。这些举措将助力 Doppel 整合现有的处理环节,在防护流程的最前端即可实现对复杂威胁指标的深度研判。

通过技术迭代,Doppel 致力于构建一套全方位的防御体系,在每一个信任遭受攻击的阵地,有力遏制冒充风险。