DreamBooth, Custom Diffusion, LoRA and Textual Inversion
需要多图像微调，它们需要大量的计算资源和时间
基于编码器的定制生成方法利用预训练编码器提取外观特征，促进实时的零样本生成。这些方法从领域无关的编码器发展到了领域特定的编码器。
InstantID包含三个关键组件：
（1）一个捕获鲁棒语义面部信息的ID嵌入；（工业级预训练人脸识别模型作为 ID 嵌入的提取基础，论文中明确使用的是antelopev2）
（2）一个具有解耦交叉注意力的轻量级适配模块，便于将图像用作视觉提示；
（3）一个IdentityNet，通过额外的空间控制对参考面部图像的细节特征进行编码。
研究目标：给定一幅包含人像的图像x，我们的目标是生成对抗性扰动δ，以防止身份保留生成。我们旨在最大化未受扰动的生成图像\(g(x)\)与受扰动的生成图像\(g(x+\delta)\)之间的身份一致性差异，其中g是身份保留生成器。为了统一对不同模型的保护，我们可以找到一个能同时干扰多个特征空间的δ，降低相似度值的总和。因此，我们训练了一个噪声编码器网络\(E_{\theta}\)，求解
\[min _{\theta }S\left\{ g_{i}(x),g_{i}(x+\delta )\right\} , \delta =E_{\theta }(x) \]
，约束条件为\(\|\delta\|_{\infty}<\epsilon\)。这里，S表示身份相似性度量，我们使用ArcFace和CLIP特征空间中的余弦相似度进行评估。
我们方法的整体示意图。我们方法的关键设计包括噪声编码器、损失函数以及允许反向传播的梯度优化路径。
该网络以224×224的RGB图像作为输入，输出三通道的对抗性扰动。这些扰动被投射到[-1, 1]范围内，然后进行反归一化处理（\([-\epsilon, \epsilon]\)），调整为原始图像的尺寸后添加到图像中。我们使用视觉Transformer（ViT）来生成对抗性噪声，其输入和输出维度均设置为224×224。
从经验来看，我们发现添加一个额外的先验掩码通道（用于指示人脸位置）有助于训练。这个人脸定位掩码是由InsightFace管道基于面部特征点生成的，这些特征点指定了图像中人脸的区域。该掩码作为第四个输入通道与图像拼接，省去了网络从零开始学习人脸定位能力的过程，从而降低了训练难度。
为了实现身份保护，我们可以使从受保护图像中提取的特征与原始特征有显著差异，从而阻止生成模型获取正确的面部特征。基于这一原理，我们分析了InstantID、IP-Adapter、IP-Adapter-Plus和PhotoMaker的具体流程，以设计有针对性的攻击目标和损失函数。
InstantID通过两个步骤获取面部特征，如图2所示。首先，它将人脸对齐到预定义的位置，然后将对齐后的人脸输入ArcFace特征提取器以获取面部信息。我们选择欺骗ArcFace模型，最小化原始图像与受保护图像的ArcFace特征之间的余弦相似度。
IP-Adapter、IP-Adapter-Plus和PhotoMaker均依赖于CLIP视觉编码器提取的面部特征，尽管它们使用的CLIP视觉版本不同。IP-Adapter和PhotoMaker利用CLIP视觉的输出，而IP-Adapter-Plus则采用CLIP视觉倒数第二层之前的特征。如图2所示，来自不同层的嵌入提供了不同的攻击面。我们根据三个原则选择用于攻击的目标嵌入：
（1）阻断所有潜在路径，确保任何从左到右的信息流都至少经过一个目标嵌入，以保证所有信息流都会被中断；
（2）在网络中尽早选择特征（图2中越靠左的位置），以缩短反向传播路径长度，从而简化优化过程；
（3）以具有密集语义信息的嵌入为目标，以便更有效地进行操控。
最终，我们选择图2中标记为红色的嵌入作为主要攻击目标。与InstantID类似，其目标是最大化受扰动嵌入与原始嵌入之间的余弦相似度，从而在攻击后有效地使它们对齐。因此，最终的对抗损失是所有损失的加权平均值，
\[L_{adv }=\sum_{Custom Model i} \alpha_{i} \cdot cossim\left(e_{i}, e_{i}'\right) \]
给出，其中\(e_{i}\)和\(e_{i}'\)分别表示干净图像和受保护图像的人脸嵌入。
为了将对图像质量的视觉影响降至最低，我们对预测的对抗性噪声δ施加了\(\ell_{1}\)正则化。我们进一步对任何超过ϵ球边界的噪声值引入了辅助惩罚。这些项共同构成了我们的正则化损失，如下所示：
\[L_{reg }=\beta_{1} \cdot\| \delta\| _{1}+\beta_{2} \cdot\left\| \delta-clip_{ \pm \epsilon}(\delta)\right\| _{1} \]
因此，最终损失是对抗性损失和正则化的总和，具体如下：
\[L=L_{adv }+L_{reg } \]
特性 L1 正则化 L2 正则化 效果 稀疏性（很多像素=0） 平滑性（所有像素都小） 几何形状 菱形（有尖角） 圆形（光滑） 视觉表现 局部集中噪声 全局均匀噪声 L1 正则化倾向于让大部分像素点的噪声为 0 或接近 0，只在关键区域（如面部特征边缘）产生噪声。这比 L2 正则化更能保持图像的原始纹理，减少“雾状”模糊感。
人眼特性：人眼对全局均匀的微弱噪声比局部稀疏的噪声更敏感
\(\text{clip}_{\pm\epsilon}(\delta)\) 表示将噪声值强制截断在 \([-\epsilon, \epsilon]\) 范围内
\(\delta - \text{clip}_{\pm\epsilon}(\delta)\) 计算的是超出边界的那部分噪声。
允许网络在训练时“试探”边界，但一旦越界就会受到惩罚，从而引导网络主动学习生成始终在 \(\epsilon\) 范围内的噪声。
InstantID 等模型在提取特征前，会先进行 人脸对齐 (Face Alignment)。这是一个仿射变换（Affine Transformation），会根据关键点计算一个矩阵 \(A\) 把脸“摆正”。如果在训练时假设矩阵 \(A\) 是固定的，但在实际推理时，由于添加了噪声 \(\delta\)，人脸关键点检测可能会发生微小偏移，导致实际使用的对齐矩阵 \(A'\) 与训练时的 \(A\) 不同。这种错位会导致精心设计的噪声失效。
\[\tilde{p}' = (A + \mathcal{N}(0, \sigma I)) \tilde{p} \quad (5) \]
\((A + \mathcal{N}(0, \sigma I))\) (带噪声的仿射矩阵)
\(\tilde{p}'\) (模拟的对齐后坐标)
这类方法的核心思想是“以攻代守”，通过模拟攻击者的训练过程来生成能够干扰模型学习的对抗性图像。
这类方法借鉴了经典“不可学习样本”（Unlearnable Examples）的思想，旨在生成一种特殊的数据，使得模型即使在上面进行训练，也无法学到任何有用的概念。
特性 对抗样本 (Adversarial Examples) 不可学习样本 (Unlearnable Examples) 主要目标 欺骗推理 (Inference) 破坏训练 (Training) 应用场景 模型已训练好，输入扰动图片让模型预测错误。 模型正在训练中，输入扰动图片让模型学不到特征。
采用最小 - 最大（Min-Max）的双层优化策略。
内层优化（Min）：模拟攻击者，试图找到最优的模型参数 \(\theta\) 以最小化训练损失。
外层优化（Max）：防御者寻找最优的扰动图像 \(x^*\)，使得即使攻击者找到了最优模型，其训练损失依然尽可能大。
\[x^* = \arg\max_{||x' - x||_p \leq \epsilon} \left( \arg\min_{\theta} \mathcal{L}_{cond}(\theta, c, \mathcal{E}(x')) \right) \]
Anti-DreamBooth的两种变体，即全训练替代模型引导（FSMG）和交替替代与扰动学习（ASPL）。这两种方法都使用投影梯度下降（PGD）来生成对抗性噪声δ，以最大化替代模型的重建损失\(L_{cond }\)。左图：FSMG使用在小型干净图像集\(x_{A}\)上完全微调的固定替代模型\(\theta_{clean }\)来指导PGD优化。右图：ASPL在以下两个步骤之间交替进行：（i）在干净图像\(x_{A}\)上微调克隆替代模型\(\theta'\)；（ii）使用该克隆模型通过PGD为当前图像集\(X_{B}^{i}\)生成δ。然后，在下次迭代之前，在扰动图像\(X_{B}^{i+1}\)上微调实际的替代模型θ。
提示词依赖性(Prompt Dependency)：
两类方法在生成扰动时都需要一个预设的文本提示词 \(c\)。 这导致扰动是针对该特定提示词优化的。在实际场景中，防御者无法预知攻击者会使用什么提示词进行微调。一旦提示词不匹配，防御效果会显著降低。
计算资源昂贵：
通过大型UNet进行反向传播会消耗大量的GPU显存（不使用额外技巧的情况下约为24GB）。
研究问题1：保护阶段和攻击阶段所使用的提示词之间的不匹配是否会影响现有防御算法的效果？
实验使用四个指标来量化防御效果：
对于每位名人选定的4张图像，我们采用FSGM和ASPL防御方法，并使用保护提示\(c_{prot }\)来生成相应的受保护版本。然后，这些受保护图像被用于通过微调提示\(C_{explo }\)对模型进行微调，从而得到不同的微调模型。在测试阶段，我们使用任意提示生成一组图像，随后利用上述四个指标对其进行评估。不同微调模型的平均结果如图2所示。我们可以发现，当保护提示与微调提示不同时，保护性能会受到显著影响。
研究问题2：像素空间中的扰动如何影响潜在扩散模型（LDMs）中视觉编码器的输出，进而影响微调过程？
回想一下，潜在分布是通过基于KL的变分自编码器建模为多项式高斯分布，\(N(\mu_{E}(x), \sigma_{E}^{2}(x))\)，它与提示无关。当存在提示不匹配时，这一特性可用于解决防御性能下降的问题。既然视觉编码器不受文本提示词影响，那么通过扰动像素空间来改变视觉编码器输出的潜在分布（Latent Distribution）（即均值 \(\mu\) 和方差 \(\sigma^2\)），是否能够有效地破坏模型的微调过程，且这种破坏不依赖于攻击者使用的具体提示词？
作者定义了两种主要的损失函数来最大化扰动后的图像与原始干净图像在潜在分布统计量上的差异：
实验设置：
均值扰动 (\(L_{mean}\)) 的影响：
方差扰动 (\(L_{var}\)) 的影响：
像素微小扰动引发潜在空间巨变
研究问题3：如果研究问题1的答案是肯定的，我们能否通过更好地利用与提示无关的视觉编码器来提高保护的鲁棒性？
沿用Adversarial example does good的方法，直接扰动从潜在分布中采样的表示\(z=\mathcal{E}(x,\varepsilon)\)，通过期望最大化干净/加扰图像采样表示的\(\ell_2\)距离：
\[L_{sample }(x, \delta)=\mathbb{E}_{\varepsilon_{1}, \varepsilon_{2}}\left\| \mathcal{E}\left(x+\delta, \varepsilon_{1}\right)-\mathcal{E}\left(x, \varepsilon_{2}\right)\right\| _{2}^{2} \]
为了减少优化过程中不必要的随机性，我们随后尝试从\(L_{sample }\)中排除ε，得到损失函数\(L_{add }\)。考虑到在图4中观察到的均值和方差大小存在显著差异，我们提出了\(L_{add-log }\)，它联合优化方差的对数和均值。此外，我们探索了对均值\(x_{target }\)的有针对性操作。
\[L_{add}(x, \delta)=L_{mean }+L_{v a r} \]
其中\(L_{mean}=\left\| \mu_{\mathcal{E}}(x+\delta)-\mu_{\mathcal{E}}(x)\right\| _{2}^{2}\)，\(L_{var}=\left\| \sigma_{\mathcal{E}}(x+\delta)-\sigma_{\mathcal{E}}(x)\right\| _{2}^{2}\)。
针对\(L_{add}\)的数量级问题，对潜方差做对数变换，消除均值与方差的尺度差异，实现二者的均衡联合优化，也是论文的核心设计：
\[L_{add-log }(x, \delta)=L_{mean }+log \frac{\sigma_{\mathcal{E}}(x+\delta)^{2}}{\sigma_{\mathcal{E}}(x)^{2}} \]
将加扰图像的潜均值定向推至预设目标图像\(x_{target}\)的潜均值，通过负距离实现定向操纵：
\[L_{mean }^{T}(x, \delta)=-\left\| \mu_{\mathcal{E}}(x+\delta)-\mu_{\mathcal{E}}\left(x_{target }\right)\right\| _{2}^{2} \]
仅针对潜均值优化，忽略方差的防御作用。
为什么只有均值能推，方差推不了吗？
LDM的视觉编码器（KL-VAE）对图像的潜分布建模为\(N(\mu_{\mathcal{E}}(x),\sigma_{\mathcal{E}}^2(x))\)
- 潜均值\(\mu_{\mathcal{E}}(x)\)：是图像的确定性信息，对应像素空间的图像内容、纹理、语义等核心信息。
- 潜方差\(\sigma_{\mathcal{E}}(x)\)：表征的是编码器对图像特征的建模不确定性，而非图像的具体内容，其取值是相对的、无固定语义的。
高方差区域：通常对应图像中复杂、高频、难以预测的区域（如复杂的纹理、头发丝、噪点、模糊边缘）。编码器在这里表示不确定这里的具体像素是什么，所以保留较大的随机性范围。
低方差区域：通常对应图像中平滑、简单、确定性强的区域（如纯色背景、大块物体表面）。编码器表示确定这里是什么，随机性很小。TEXTUAL LOSS
\[\begin{aligned} \delta: & =arg min _{\delta} \mathcal{L}_{\mathcal{E}}(x, \delta, y) \\ & =arg min _{\delta}\| \mathcal{E}(y)-\mathcal{E}(x+\delta)\| _{2}, \end{aligned} \]
在大多数针对 LDM 的对抗攻击中，为了计算的确定性和稳定性， E(x) 往往直接指代 \(μ_E(x)\),因为方差σ是一个范围/不确定性度量，不适合直接用于计算两个图像表示之间的“点对点”欧几里得距离。
σ (方差)：承载了重建的不确定性。它通常是为了满足 KL 散度约束而存在的，或者是为了覆盖那些难以重建的高频细节。优化器自然会把所有火力集中在修改μ上。PID 的损失函数专门有一项 \(L_{var}=\left\| \sigma_{\mathcal{E}}(x+\delta)-\sigma_{\mathcal{E}}(x)\right\| _{2}^{2}\)如果没有这一项，优化器自然会偷懒，只动μ。
我们继续探索利用PID改进当前防御措施的可能性。为了结合两种不同类型的防御，即基于编码器的防御和针对训练损失函数的防御，我们采用了一种联合优化方法，该方法涉及对这两个防御目标进行加权组合，这与Liang等人（2023）以及Liang和Wu（2023）的研究类似。具体而言，给定一个包含潜在扩散模型（LDMs）训练损失的防御目标T，以及一个旨在操纵潜在分布的防御目标L，我们定义了一个权衡系数λ来平衡这两个目标。组合防御的表达式如下：
\[L_{combo}(\theta ,c,x)=T(\theta ,c,x)+\lambda L(x) \]
我们让\(L=L_{a d d-log }\)，\(T \in{ ASPL, FSGM }\)。我们通过实证确定\(\lambda=0.05\)是默认设置下的最佳参数。
最近的研究已经证明MLLM容易受到对抗性示例的影响，这些示例涉及向图像输入添加微妙但不可见的扰动。这些扰动可以引导MLLM产生有害响应，从而带来关键的安全问题。
大多数现有的攻击通常通过良性提示来优化对抗图像扰动，以对抗MLLM的推理能力，从而产生错误或越狱响应。但它们需要在训练中枚举可能的提示或图像，并且要求测试提示/图像与训练时的完全一致。一旦处理未见过的测试样本，它们的扰动就不可避免地会失效。
动机：若对抗扰动是针对真实世界的图像 - 提示输入分布优化的，而非单个样本 / 固定数据集，那么该扰动对来自该分布的未知图像 - 提示对仍能保持对抗有效性。
利用拉普拉斯逼近将复杂的图像、提示真实分布建模为高斯分布（适用于大样本量的 MLLM 输入符合中心极限定理）；
结合蒙特卡洛采样从建模的高斯分布中抽取图像 - 提示对，优化得到与输入无关的通用扰动，实现跨图像 / 提示的迁移攻击。
多模态大语言模型（MLLMs）:MLLM旨在根据包含图像v和文本提示t的多模态输入生成合理的文本答案y，如\(y=M L L M(v, t)\)所示。
威胁模型:重点关注白盒场景
攻击者的目标:攻击者试图利用一种常见的对抗性扰动δ，该扰动受较小的范数约束限制，以确保噪声修改在人类观察者眼中不可察觉，同时满足对抗条件。攻击目标是量化由受扰动输入生成的答案中的误差，其可表示为：
\[\delta ^{*}=\left\{ \begin{array} {ll}{arg \operatorname* {max}_{\| \delta \| \leq \eta } \mathcal {D}\Big (MLLM(v+\delta ,t),y_{gt}\Big ),}&{if Untargeted Attack, }\\ {arg \operatorname* {min}_{\| \delta \| \leq \eta } \mathcal {D}\Big (MLLM(v+\delta ,t), y_{tar}\Big ),}&{if Targeted Attack, }\end{array} \right. \]
其中，\(D(\cdot)\)是交叉熵损失函数，用于描述函数两个输入之间的差异，\(y_{g t}\)和\(ytar\)分别是真实答案和攻击者的目标答案。在本节中，我们以具有挑战性的目标对抗攻击为例进行说明。
整体流程
具体而言，与图像无关的提示和与图像相关的提示分别围绕着与特定任务语义先验和图像引导语义内容对齐的极值点。同时，图像的像素强度也常常在均值周围表现出具有对称偏差的集中趋势，特别是在归一化或变换之后。这一假设使得能够对图像和提示进行有效的概率建模，从而得到高斯分布。因此，对于提示分布，大量不同的提示t趋近于高斯分布，如下所示：
\[t \sim \mathcal{N}\left(\mu_{t}, \frac{\sum_{t}}{N}\right), p(t)=\frac{N^{d / 2}}{(2 \pi)^{d / 2}\left|\sum_{t}\right|^{1 / 2}} exp \left(-\frac{N}{2}\left(t-\mu_{t}\right)^{T} \sum_{t}^{-1}\left(t-\mu_{t}\right)\right), \]
其中，\(\mu_{t}\)表示提示分布的均值参数，N是样本数量，\(\sum _{t}=Cov(t)\)表示协方差矩阵，\(p(t)\)是t的概率密度函数。同样，对于图像分布，图像样本v收敛于高斯分布\(v ~ N(\mu_{v}, \frac{\sum _{v}}{N})\)，其均值参数为\(\mu_{v}\)，协方差矩阵为\(\sum _{v}=Cov(v)\)。在此，参数\(\mu_{t}\)、\(\mu_{v}\)以及\(\sum _{t}\)、\(\sum _{v}\)都需要为分布近似进行计算。
作者利用拉普拉斯近似，通过估计众数（mode）和海森矩阵（Hessian matrix）来确定高斯分布的参数（均值和协方差）。
基本原理：在众数处对后验概率的对数进行二阶泰勒展开。由于一阶导数在极值点为 0，分布主要由二阶导数（海森矩阵）决定。
提示词分布近似 (Prompt Distribution)：
图像分布近似 (Image Distribution)：
参数计算方法
为了在实际操作中计算上述参数，作者提出了具体的算法：
提示词均值 (\(t_v\)) 的计算：
- 转化为优化问题：寻找一个提示词 \(t\)，使得 MLLM 的输出最接近包含图像主要信息的预期响应 \(y_{exp}\)。
- 优化目标：\(\min_t \| \text{MLLM}(v, t) - y_{exp} \|^2\)。
- 求解方法：使用动量梯度下降法 (Momentum Gradient Descent) 进行迭代更新，以避免陷入局部最优。
提示词协方差 (\(H_t^{-1}\)) 的计算：
- 为了简化高维空间中海森矩阵的计算，作者采用了一种简化的估计方法，基于初始提示词 \(t_0\) 和优化后的 \(t_v\) 之间的损失差值和距离：
\[H_t^{-1} = \frac{\|t_0 - t_v\|^2}{2 \cdot (L(v, t_0) - L(v, t_v))} \]
- 这假设了在极值点附近损失曲面是各向同性的。
图像均值 (\(\hat{v}\)) 和协方差 (\(H_v^{-1}\)) 的计算：
- 均值：直接对一系列图像样本求平均：\(\hat{v} = \sum v_i / N\)。
- 协方差：使用样本协方差矩阵的缩放版本来估计：\(H_v^{-1} = \frac{1}{N} \Sigma_v\)，其中 \(\Sigma_v\) 是图像特征的标准协方差矩阵。
images v, prompt t: 初始的图像和提示词样本。epoch numbers M, N: 外层循环次数 M 和内层循环次数 N。hyperparameters α, r, β, budget η: 超参数，分别控制扰动更新步长、提示词更新步长、动量系数和扰动大小上限。loss function L(v,t) ... D(v,t): 两个损失函数。L 用于优化提示词分布，D 用于优化对抗扰动。Perturbation δ: 最终生成的、可以迁移的通用对抗扰动。Initialize t₀ = t, v₀ = v, m₀ = 0;
外层循环 (For i = 0 to M - 1)
这个循环的主要目的是在每一轮迭代中，从图像和提示词分布中进行采样，以获得多样化的训练样本，从而优化出更通用的扰动 δ。
图像分布建模与采样:
Compute v̂, Hᵥ⁻¹, sample vᵢ ~ N(v̂, Hᵥ⁻¹);
v̂ 和协方差 Hᵥ⁻¹ (基于样本协方差估计)。v，而是能探索其周围的“合理”图像空间。内层循环 (For j = 0 to N - 1)
这个循环的目的是为当前采样的图像 \(v_i\) 找到一个最优的提示词 \(t_v\)，并以此为中心建立提示词的分布。
计算提示词梯度:
Compute gradient gₜ = ∇ₜL(vᵢ, tⱼ);
计算损失函数 L 关于当前提示词 \(t_j\) 的梯度。L 的目标是让模型对 \((v_i, t_j)\) 的输出接近某个期望的正确输出 \(y_{exp}\)。
动量更新:
Compute momentum mⱼ₊₁ = βmⱼ + (1 - β)gₜ;
更新提示词:
Update tⱼ₊₁ = tⱼ - r ⋅ mⱼ, and obtain tᵥ;
使用学习率 r 和计算出的动量 m_j 来更新提示词。经过 N 次迭代后，最终得到的提示词就是 \(t_v\)，它被视为当前图像 \(v_i\) 下最优提示词的众数（mode），即提示词分布的均值。
估算提示词协方差:
Compute Hₜ⁻¹ = ||t₀ - tᵥ||₂² / (2 ⋅ (L(v,t₀) - L(v,tᵥ)));
这是海森矩阵逆的简化计算方法。它通过比较初始提示词 \(t_0\) 和优化后的最优提示词 \(t_v\) 之间的距离和损失差值，来估算损失曲面在 \(t_v\) 处的曲率，进而得到提示词分布的协方差 \(H_t^{-1}\)。
提示词分布采样:
Sample tᵢ ~ N(tᵥᵢ, Hₜᵢ⁻¹);
在内层循环结束后，我们得到了一个以 \(t_{v_i}\) 为均值、\(H_{t_i}^{-1}\) 为协方差的提示词高斯分布。现在，从这个分布中采样出一个新的提示词 \(t_i\)。这一步实现了提示词空间的多样化。
计算对抗扰动的梯度:
Compute gradient gδᵢ = ∇δD(MLLM(vᵢ + δᵢ, t), y_tar);
D 关于扰动 \(\delta\) 的梯度。D 的目标是让模型的输出尽可能接近一个我们指定的错误目标 \(y_{tar}\)。更新对抗扰动:
Update δᵢ₊₁ᵃᵈᵛ = clip_η(δᵢᵃᵛ - α sign gδᵢ);
sign(gδᵢ) 只取梯度的方向，这通常比直接使用梯度值更有效。α 是更新步长。clipη(...) 是一个裁剪操作，确保更新后的扰动 \(\delta_{i+1}^{adv}\) 的每个像素值的变化幅度不超过预设的预算 η（例如，在 \([-\eta, \eta]\) 范围内），以保证扰动的隐蔽性。总结
在每一次迭代中，算法都会：
模型与数据集
实验设置与参数
评估指标 (Evaluation Metrics)
采用三个维度量化攻击效果（数值越高表示攻击越成功）：
all-MiniLM-L6-v2 模型计算输出嵌入与目标文本的余弦相似度）。主实验：攻击性能对比
这是最核心的实验，旨在证明该方法优于现有的基线方法。
跨模型迁移性实验
验证生成的对抗扰动是否具有“黑盒”攻击能力，即在一个模型上生成的扰动能否攻击其他未知的模型。
消融实验
效率与资源消耗分析
鲁棒性防御测试
可视化与案例分析
| 维度 | Fit the Distribution | Prompt-Agnostic Adversarial Perturbation (PAP) |
|---|---|---|
| 角色定位 | 攻击者 (Attacker) | 防御者 (Defender) |
| 核心目标 | 破坏模型功能。让多模态大语言模型（MLLM）在面对任意图像和提示词时，输出特定的错误答案（如 "I am sorry"），导致模型失效或拒绝服务。 | 保护数据隐私/版权。防止扩散模型（Diffusion Models）利用用户的图像生成伪造内容（如换脸）或模仿艺术风格。 |
| 任务类型 | 有目标攻击 (Targeted Attack)：强制模型输出特定文本。 | 无目标/破坏性防御 (Untargeted/Disruptive Defense)：让生成的图像质量下降、语义偏离或风格无法模仿。 |
| 针对模型 | 多模态大语言模型 (MLLMs) (如 LLaVA, BLIP-2, MiniGPT-4)，主要处理“图+文 $ \to $ 文”的任务。 |
定制化文本生成图像模型 (Customized Diffusion Models) (如 DreamBooth, LoRA, Textual Inversion)，主要处理“图+文 $ \to $ 图”的任务。 |
基于提示词的扩散模型的图像生成目标可写为：
\[min _{\theta} L_{cond }\left(x_{0}, c ; \theta\right)=E_{t, \epsilon \sim \mathcal{N}(0,1)} L\left(x_{0}, \epsilon, t, c ; \theta\right), \]
其中\(L(x_{0}, \epsilon, t, c ; \theta)=\left\|\epsilon-\epsilon_{\theta}(x_{t}, t, c)\right\|_{2}^{2} .\)
特定提示扰动通常预先定义一个定制文本提示\(c_{0}\)，然后优化对抗性扰动δ，以最大化在给定\(c_{0}\)情况下的图像生成损失函数，其可表示为：
\[\delta^{*}=arg max _{\delta} L_{cond }\left(x_{0}+\delta, c_{0} ; \theta\right), s.t. \quad|\delta|_{p} \leq \eta, (3) \]
其中，\(L_{cond }\)是根据公式（2）计算的。通过将得到的\(\delta^{*}\)添加到\(x_{0}\)中，扩散模型无法使用提示\(c_{0}\)生成高质量图像。
在提示分布建模方面，我们将保护图像\(x_{0}\)作为输入，并假设攻击者提示c与\(x_{0}\)、\(i.e.\)之间存在概率-距离相关性，即c与\(x_{0}\)的距离越远，c在分布中的概率就越低，反之亦然。由于依赖于\(x_{0}\)的分布尚不明确，因此我们在建模中引入了一个辅助文本提示\(c_{0}\)，其大致描述了\(x_{0}\)。基于此基础，我们在嵌入空间中对提示分布进行建模。目标可以表述为：
\[\begin{aligned} \delta^{*} & \left.=arg max _{\delta} E_{c \sim Q_{\left(x_{0}, c_{0}\right)}} L_{c o n d}\left(x_{0}+\delta, c_{0} ; \theta\right)\right] \\ & =arg max _{\delta} \int p\left(c | x_{0}, c_{0}\right) \cdot L_{c o n d}\left(x_{0}+\delta, c_{0} ; \theta\right) d c, s.t. \quad|\delta|_{p} \leq \eta, \end{aligned} \]
记\(g(c):=p(x_{0}, c_{0} | c) \cdot p(c)\)、\(c_{x}:=\arg max _{c} g(c)\)和\(H:=-\nabla \nabla_{c} log g(c)|_{c_{x}}\)。\(c_{x}\)被定义为使\(x_{0}\)和\(c_{0}\)的联合概率最大化的文本特征。拉普拉斯建模推导出：
\[p\left(c | x_{0}, c_{0}\right) \propto exp \left(-\frac{1}{2}\left(c-c_{x}\right) H\left(c-c_{x}\right)^{T}\right), \]
\[Q_{\left(x_{0}, c_{0}\right)}(c) \sim \mathcal{N}\left(c_{x}, H^{-1}\right) . (8) \]
其中，\(p(c | x_{0}, c_{0})\)用于表示给定输入时\(Q_{(x_{0}, c_{0})}\)的概率分布。为了从全局角度优化式（4），我们在3.4节设计了一种策略，该策略对包括\(\hat{Q}_{(x_{0}, c_{0})}\)在内的所有输入分布进行蒙特卡洛采样，以最大化扰动期望。
for j = 0 to N-1 do
Sample t_c ~ U(0, T) # 随机采样一个扩散时间步
Compute gradient g_c = ∇_{c_j} L(x_i, ε_c, t_c, c_j; θ) # 对当前提示词求梯度
Compute momentum m_{j+1} = β*m_j + (1−β)*g_c # 动量加速收敛
Update c_{j+1} = c_j − r * m_j # 更新提示词嵌入
end for
for i = 0 to M-1 do
Sample ε ~ N(0, I), t ∈ U(0, T) # 采样噪声和时间步
Sample c ~ N(c_N, Σ) # 从以 c_N 为中心的高斯分布中采样提示词
where Σ = ||c₀ - cₓ||² / [2·(L(...) - L(...))] · I # 方差由损失差决定（拉普拉斯近似）
Compute gradient g_x = ∇_{x_i} L(x_i, ε, t, c; θ) # 对图像求梯度
Update x_{i+1} = clip_{x₀,η}(x_i + α · sgn(g_x)) # PGD-style 更新 + 截断
end for
图1. 我们发现，变分自编码器（VAE）潜在编码中更大的方差能提高保护方法的有效性。像ASPL和Mist中那样较小的方差仍能保留身份语义，而像SimAC和PID中那样较大的方差则会去除大部分身份语义。我们提出的拉普拉斯损失（LA）和拉格朗日熵损失（LE）实现了更高的方差，生成了语义被完全抹去的纯噪声图像。
\[\frac{\partial L}{\partial \delta} = \frac{\partial L}{\partial \sigma^2} \cdot \frac{\partial \sigma^2}{\partial \delta} \]
其中各量的核心意义：VAE编码器是非线性的，然而，当δ较小时，这种关系可以局部近似为线性。具体来说，对于小扰动\(\|\delta\|_{p} ≤\epsilon\)，VAE编码器\(f(x)\)在x处的一阶泰勒展开式为：
\[\phi =f(x^{\prime })=f(x+\delta )\approx f(x)+J_{f}\cdot \delta \]
雅可比矩阵\(J_{f_{(i, k)}}\)表示扰动矩阵δ中的第i个扰动分量与隐藏状态矩阵ϕ中的第k个隐藏状态分量之间的映射关系。类似地，从隐藏状态矩阵ϕ到方差矩阵\(\sigma^{2}\)的映射由另一个神经网络控制。这种映射可以使用雅可比矩阵\(J_{g}\)进行线性化，该矩阵量化了ϕ的第k个分量的变化如何影响第j个方差分量\(\sigma_{j}^{2}\)。雅可比矩阵\(J_{g}\)将这种关系表征如下：
\[\frac{\partial \sigma_{j}^{2}}{\partial \phi_{k}} \approx J_{g_{(k, j)}}^{\top} \]
其中，\(J_{g_{(k, j)}}\)量化了潜在空间中第k个隐藏状态\(\phi_{k}\)对第j个方差分量\(\sigma_{j}^{2}\)的影响。因此，\(\frac{\partial \sigma^{2}}{\partial \delta}\)可以近似为两个雅可比矩阵的乘积：
\[M_{i, j}=\frac{\partial \sigma_{j}^{2}}{\partial \delta_{i}}=\sum_{k} J_{g_{(k, j)}}^{\top} \cdot J_{f_{(i, k)}}^{\top} \]
\[\boldsymbol{sign\left(\frac{\partial \mathcal{L}}{\partial \sigma^2}\right) = sign\left(\frac{\partial \sigma^2}{\partial \delta}\right)} \]
\[\mathcal{L}_{Laplace }=\frac{\left|\sigma^{2}-\mu\right|}{b} \]
其中μ是目标均值（通常为0），b是缩放因子（通常为1）。该损失函数对方差 \(\sigma^2\) 的导数是常数 (\(\frac{1}{b}\))。
无论方差分布如何，梯度的符号完全由 \(\frac{\partial \sigma^2}{\partial \delta}\) 决定。这确保了每一步PGD更新都严格沿着方差增长最快的方向，实现了局部最优，避免了MSE的符号翻转问题。
作者分析了两种主流的方差优化方法及其缺陷：
\[\mathcal{L}_{M S E}=\sum_{j}\left(\sigma_{j}^{2}-\sigma_{clean }^{2}\right)^{2} \]
其中，\(\sigma_{j}^{2}\)是潜在空间中的第j个方差分量，\(\sigma_{clean }^{2}\)表示干净潜在分布的方差。其相对于\(\sigma_{j}^{2}\)的梯度为：
\[\frac{\partial \mathcal{L}_{M S E}}{\partial \sigma_{j}^{2}}=2\left(\sigma_{j}^{2}-\sigma_{clean }^{2}\right) \]
\[\begin{aligned} \mathcal{L}_{P I D} & =\sum_{j}\left(log \sigma_{j}^{2}-log \sigma_{clean }^{2}\right)^{2}, \\ \frac{\partial \mathcal{L}_{P I D}}{\partial \sigma_{j}^{2}} & =\frac{2}{\sigma_{j}^{2}}\left(log \sigma_{j}^{2}-log \sigma_{clean }^{2}\right) . \end{aligned} \]
\[\mathcal{L}_{L E}=-\sum_{j} \sigma_{j}^{2} log \left(\sigma_{j}^{2}\right)+\lambda\left(\sum_{j} \sigma_{j}^{2}-c\right)^{2} \]
熵项促进小方差分量的增长，拉格朗日约束确保整体方差保持平衡。\(\lambda=0.1\)控制这两项之间的权衡，\(c=1\)设定目标方差。\(L_{LE}\)相对于\(\sigma^{2}\)的梯度表示为：
\[\frac{\partial \mathcal{L}_{L E}}{\partial \sigma_{j}^{2}}=-\left(log \left(\sigma_{j}^{2}\right)+1\right)+2 \lambda\left(\sum_{j} \sigma_{j}^{2}-c\right) \]
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。