I2V 防御与攻击研究论文数据集调研文档

目录

• 一、总览：论文与数据集交叉矩阵
• 二、各数据集详细介绍
  • 2.1 人脸图像数据集
  • 2.2 艺术/风格数据集
  • 2.3 通用图像数据集
  • 2.4 视频数据集
  • 2.5 对抗鲁棒性数据集
  • 2.6 多模态/编辑数据集
  • 2.7 安全评测数据集
• 三、按论文组织的数据集使用详情
• 四、数据集使用频率统计
• 五、评测指标汇总

一、总览：论文与数据集交叉矩阵

数据集	ATP	DCT-Shield	AntiPure	PromptFlare	Safe+Safe	Silence is Golden	GrIDPure	PDM-Pure	ACA	DiffAttack	AdvDM	AdvDM-SDS	PhotoGuard	Mist	DreamFusion(SDS)	SDEdit	IDProtector	PID	Fit the Dist.	PAP	Variance Catalyst	I2VGuard
CelebA-HQ	●		●			●	●				●					●		●		●	●
CelebA																	●
FFHQ	●															●				●
VGGFace2	●		●																		●
VGGFace																	●	●
WikiArt							●				●	●		●					●
ImageNet								●	●	●	●					●			●
CIFAR-10								●		●	●
LSUN											●					●
LAION								●				●			●
ADE20K									●
MS-COCO																			●
DALLE-3																			●
EditBench		●		●
OmniEdit		●
PPR10K+		●
TalkingHead-1KH						●
MM-SafetyBench					●
SafeAttack-Bench					●

● 表示该论文使用了该数据集进行实验

二、各数据集详细介绍

2.1 人脸图像数据集

CelebA-HQ

• 全称: CelebA High Quality
• 规模: 30,000 张高分辨率人脸图像
• 来源: 由腾讯 AI Lab 基于 CelebA 数据集升级而来
• 构建方式:
  • 从 CelebA 原始数据集中筛选高质量人脸
  • 使用 GAN（如 StyleGAN）进行人脸对齐和超分辨率处理
  • 分辨率统一为 1024×1024（原始版本）或 512×512（预处理版本）
  • 包含多种姿态、表情和光照条件
• 用途说明:
  • Silencer: 预处理后的 512×512 版本，用于生成对抗扰动和评测 Hallo 模型保护效果（Yandex Disk 下载）
  • AntiPure: 50 个 ID，每 ID 12 张 512×512 图像，评测抗净化扰动效果
  • PID: 10 位名人，每人 4 张图片，评测提示词无关防御
  • PAP: 人脸隐私保护测试
  • Variance Catalyst: 50 个身份，每身份 4 张参考图
  • AdvDM: 与 WikiArt 等一同用于风格模仿防御评测
  • SDEdit: 256×256 和 1024×1024 分辨率用于图像编辑
  • GrIDPure: 人脸风格保护评测
  • DCT-Shield: 通过 PPR10K 等间接关联
• 下载地址: 需向论文作者申请或通过学术渠道获取
• 许可证: 仅限学术研究使用

CelebA

• 全称: CelebFaces Attributes
• 规模: 约 200,000 张人脸图像，覆盖 10,177 位名人
• 来源: 香港中文大学
• 构建方式:
  • 从互联网收集名人照片
  • 标注 40 个属性特征（如发色、表情、是否戴眼镜等）
  • 提供人脸关键点标注和边界框
• 用途说明:
  • IDProtector: 训练集 190,000 张未裁剪图像，测试集 50 张未见图像
  • 用于训练 ViT-S/8 噪声编码器
• 下载地址: https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

FFHQ (Flickr-Faces-HQ)

• 全称: Flickr-Faces-HQ
• 规模: 70,000 张高分辨率人脸图像
• 来源: NVIDIA
• 构建方式:
  • 从 Flickr 网站收集
  • 使用 StyleGAN 生成的图像进行质量筛选
  • 分辨率统一为 1024×1024
  • 年龄、种族和性别分布均衡
• 用途说明:
  • ATP: 授权网络训练数据
  • PAP: 人脸隐私保护测试
  • SDEdit: 256×256 和 1024×1024 分辨率用于图像编辑
• 下载地址: https://research.nvidia.com/publication/2019-12_Growing-GANs-for-High-Quality-Image-Synthesis

VGGFace2

• 全称: VGG Face 2
• 规模: 3.31M 图像，9,131 个身份
• 来源: Visual Geometry Group, Oxford
• 构建方式:
  • 从搜索引擎大规模爬取人脸图像
  • 使用深度学习模型进行自动标注
  • 覆盖广泛的姿态、年龄、光照和种族变化
  • 训练集/测试集按身份分割
• 用途说明:
  • ATP: 保护扰动和性能验证
  • AntiPure: 50 个 ID，每 ID 12 张 512×512 图像
  • Variance Catalyst: 50 个身份，每身份 4 张参考图
• 下载地址: https://www.robots.ox.ac.uk/~vgg/data/face2/

VGG Face

• 全称: VGG Face Dataset
• 规模: 约 2,600 个身份，每人约 1,000 张图像
• 来源: Visual Geometry Group, Oxford
• 构建方式:
  • 从 Google 图片搜索爬取
  • 自动标注和裁剪
• 用途说明:
  • IDProtector: 50 张图像用于跨数据集泛化评估
  • PID: 50 张图像用于额外验证
• 下载地址: https://www.robots.ox.ac.uk/~vgg/data/face/

2.2 艺术/风格数据集

WikiArt

• 全称: WikiArt Visual Art Encyclopedia
• 规模: 约 80,000 张艺术作品
• 来源: WikiArt.org
• 构建方式:
  • 从 WikiArt 网站爬取
  • 涵盖油画、水彩、数字艺术等多种风格
  • 包含艺术风格、流派、作者等元数据标注
• 用途说明:
  • GrIDPure: 艺术风格保护评测
  • AdvDM: 防止画作风格模仿，核心评测数据集
  • AdvDM-SDS: WikiArt 子集，包含 anime、artwork、landscape、portrait 四个领域
  • Mist: 梵高画作用于风格保护评测
  • PAP: 风格版权保护测试
• 下载地址: https://www.wikiart.org/

2.3 通用图像数据集

ImageNet

• 全称: ImageNet Large Scale Visual Recognition Challenge (ILSVRC)
• 规模: 约 1,281,167 张训练图像，1,000 个类别
• 来源: Stanford/Princeton
• 构建方式:
  • 基于 WordNet 层级结构组织
  • 从互联网爬取图像并人工标注
  • 经过严格的多轮人工验证
• 用途说明:
  • ACA: 验证集 1,000 张图像用于对抗攻击
  • DiffAttack: 对抗鲁棒性评测
  • AdvDM: 评测对抗扰动在预训练模型上的效果
  • PDM-Pure: 对抗鲁棒性评测
  • SDEdit: 256×256 类条件生成
  • PAP: 物体/风格版权保护测试（子集）
• 下载地址: https://www.image-net.org/

CIFAR-10

• 全称: Canadian Institute for Advanced Research 10 classes
• 规模: 60,000 张 32×32 彩色图像，10 个类别
• 来源: Alex Krizhevsky, Vinod Nair, Geoffrey Hinton
• 构建方式:
  • 从 80 million tiny images 数据集中筛选
  • 每个类别 6,000 张图像
  • 训练集 50,000，测试集 10,000
• 用途说明:
  • AdvDM: 评测预训练模型上的扰动效果
  • DiffAttack: 对抗鲁棒性评测
  • PDM-Pure: 扩散模型对抗鲁棒性评测
• 下载地址: https://www.cs.toronto.edu/~kriz/cifar.html

LSUN

• 全称: Large-scale Scene Understanding
• 规模: 每个场景类别约 100 万张图像
• 来源: 腾讯 AI Lab
• 构建方式:
  • 使用深度学习模型自动从互联网标注
  • 覆盖 10 个场景类别和 20 个物体类别
  • 自动标注 + 人工验证
• 用途说明:
  • AdvDM: 评测不同场景类别的风格模仿防御
  • SDEdit: 教堂、卧室等场景图像编辑
• 下载地址: https://lsun.cs.princeton.edu/

LAION-400M / LAION-5B

• 全称: Large-scale Artificial Intelligence Open Network
• 规模: LAION-400M（4 亿图文对）、LAION-5B（58.5 亿图文对）
• 来源: LAION e.V.
• 构建方式:
  • 从 Common Crawl 网页数据中提取
  • 使用 CLIP 进行图文相关性评分
  • 过滤阈值 > 0.28
  • 包含 NSFW 过滤和美学评分
• 用途说明:
  • PDM-Pure: IF 模型使用 LAION 1.2B 子集
  • DreamFusion(SDS): LAION-400M 子集用于文本到 3D 生成
• 下载地址: https://laion.ai/blog/laion-5b/

ADE20K

• 全称: ADE20K (MIT)
• 规模: 约 25,000 张图像
• 来源: MIT Computer Science and Artificial Intelligence Laboratory
• 构建方式:
  • 场景图像 + 像素级标注
  • 覆盖 150+ 物体类别
• 用途说明:
  • ACA: 用于构建颜色分布进行无限制对抗攻击
• 下载地址: https://groups.csail.mit.edu/vision/datasets/ADE20K/

2.4 视频数据集

TalkingHead-1KH (TH1KH)

• 全称: Talking Head 1K High-quality
• 规模: 约 1,000 个说话人头视频
• 来源: 专为说话人头生成任务构建
• 构建方式:
  • 收集高质量说话人头视频
  • 包含同步的音频和面部动画
  • 经过预处理和质量筛选
• 用途说明:
  • Silencer: 核心评测数据集，包含 100 张预处理人像，用于评测 Hallo 模型的音频驱动说话人头生成保护效果
  • 提供预处理版本（Yandex Disk 下载）
• 下载地址: 通过 Silencer 论文 Yandex Disk 链接获取预处理版本

2.5 对抗鲁棒性数据集

CelebA-DF

• 全称: CelebA DeepFake
• 规模: 5,000+ 个 Deepfake 视频
• 来源: YouTube 名人视频
• 构建方式:
  • 使用改进的 GAN 技术生成 Deepfake 视频
  • 从真实名人视频作为基础
• 用途说明:
  • PhotoGuard: 评测 Deepfake 检测和保护
• 下载地址: https://github.com/yuezunli/celeb-deepfakeforensics

2.6 多模态/编辑数据集

EditBench

• 全称: EditBench
• 规模: 240 张图像，含对应掩码和提示词
• 来源: 基于真实图像和生成图像构建
• 构建方式:
  • 包含真实图像和 AI 生成图像
  • 每张图像配有编辑掩码和文本提示词
  • 覆盖多种编辑任务
• 用途说明:
  • PromptFlare: 核心评测数据集，评测跨提示词泛化防御效果
• 下载地址: 参见 PromptFlare 论文

OmniEdit

• 全称: OmniEdit
• 规模: 150 个样本
• 来源: 多种图像编辑任务
• 构建方式:
  • 覆盖多种编辑任务类型
  • 包含编辑前/后的图像对
• 用途说明:
  • DCT-Shield: 评测频域防御在多任务编辑中的保护效果
• 下载地址: 参见 DCT-Shield 论文

PPR10K

• 全称: Portrait Photo Restoration 10K
• 规模: 10,000+ 张人像照片
• 来源: 网络人像 + 修复任务
• 构建方式:
  • 包含需要修复的人像照片
  • 用于图像修复任务评测
• 用途说明:
  • DCT-Shield: 构建自建修复数据集（56 样本，PPR10K + 网络人像）

MS-COCO

• 全称: Microsoft Common Objects in Context
• 规模: 约 330,000 张图像
• 来源: Microsoft
• 构建方式:
  • 从 Flickr 收集图像
  • 80 个物体类别，像素级标注
  • 多目标场景
• 用途说明:
  • Fit the Distribution: 跨图像/提示词对抗攻击的迁移测试
  • 通用图像保护评测

2.7 安全评测数据集

MM-SafetyBench

• 全称: Multi-Modal Safety Benchmark
• 规模: 不安全/危险图像集合
• 来源: 安全研究社区
• 构建方式:
  • 收集危险/不安全场景的图像
  • 用于评测多模态模型的安全性
• 用途说明:
  • Safe + Safe = Unsafe: 评测越狱攻击效果的核心数据集
• 下载地址: 参见 MM-SafetyBench 论文

SafeAttack-Bench

• 全称: SafeAttack Benchmark
• 规模: 自建数据集
• 来源: 从 COCO、ImageNet、Celebrity Face、Politics 等子集构建
• 构建方式:
  • 从多个标准数据集中选取安全图像
  • 使用 Google Cloud Vision API 过滤掉危险图像
  • 确保所有图像均为"安全"图像
• 用途说明:
  • Safe + Safe = Unsafe: 评测安全图像被用于越狱攻击的效果
  • 包含 COCO、ImageNet、Celebrity Face、Politics 四个子集

三、按论文组织的数据集使用详情

ATP (Anti-Tamper Protection for Unauthorized Individual Image Generation) — ICCV 2025

数据集	用途	具体设置
FFHQ	授权网络训练	训练卷积自编码器，嵌入授权信息
CelebA-HQ	保护扰动生成 + 性能验证	评测保护成功率（PSR）、CLIP-IQAC、FDFR、ISM
VGGFace2	跨数据集泛化测试	验证保护效果在不同人脸数据集上的迁移性

• 基线方法: Anti-DB、AdvDM、CAAT、MetaCloak
• 编辑模型: InstructPix2Pix、Stable Diffusion Inpainting 1.0
• 关键超参数: 掩码比例 p=0.5、BDCT 块宽 N=16

DCT-Shield — ICCV 2025

数据集	用途	具体设置
OmniEdit	多任务编辑保护评测	150 样本，覆盖多种编辑任务
PPR10K + 网络人像	修复任务保护评测	56 样本自建修复数据集

• 基线方法: PhotoGuard、MIST、AdvDM、SDS、DiffusionGuard
• 编辑模型: InstructPix2Pix、Stable Diffusion Inpainting 1.0
• 关键超参数: Q_alg=0.95、epsilon=1、迭代 1000 次、512×512 分辨率

AntiPure — ICCV 2025

数据集	用途	具体设置
CelebA-HQ	核心评测	50 个 ID，每 ID 12 张 512×512 图像
VGGFace2	跨数据集验证	50 个 ID，每 ID 12 张 512×512 图像

• 基线方法: AdvDM、Mist、Anti-DB、SimAC
• 净化方法: GrIDPure（2 轮 20 迭代、t_p=10）

PromptFlare

数据集	用途	具体设置
EditBench	核心评测	240 张图 + 对应掩码和提示词

• 基线方法: PhotoGuard、DDD、AdvPaint 等
• 关键超参数: PGD 噪声预算 12/255、400 迭代

Safe + Safe = Unsafe

数据集	用途	具体设置
MM-SafetyBench	危险图像越狱评测	不安全图像集合
SafeAttack-Bench	安全图像越狱评测	自建，COCO/ImageNet/Celebrity Face/Politics 子集

• 攻击目标模型: GPT-4o-latest、InternVL2 40B、Qwen-VL2 72B、VILA1.5 40B
• 评测指标: 危害度评分（0-5 分）

Silence is Golden (Silencer) — CVPR 2025

数据集	用途	具体设置
CelebA-HQ	核心评测	预处理后 512×512 版本，通过 Yandex Disk 下载
TalkingHead-1KH (TH1KH)	说话人头生成保护评测	100 张预处理人像，Yandex Disk 下载

• 保护目标模型: Hallo（LDM-based 说话人头生成模型）
• 两阶段方法: Silencer-I（无效化损失）+ Silencer-II（抗纯化损失）
• 代码: https://github.com/yuangan/Silencer

GrIDPure

数据集	用途	具体设置
CelebA-HQ	人脸风格保护评测	评测保护扰动在净化攻击下的效果
WikiArt	艺术风格保护评测	评测艺术风格的保护效果

• 净化方法: 基于扩散模型的网格净化

PDM-Pure

数据集	用途	具体设置
CIFAR-10	对抗鲁棒性评测	扩散模型净化鲁棒性
ImageNet	对抗鲁棒性评测	大规模图像的净化鲁棒性
LAION (1.2B)	IF 模型训练数据	文本到图像模型的训练数据

ACA (Content-based Unrestricted Adversarial Attack)

数据集	用途	具体设置
ImageNet	对抗攻击评测	验证集 1,000 张图像
ADE20K	颜色分布构建	用于构建攻击目标的颜色分布

DiffAttack

数据集	用途	具体设置
CIFAR-10	对抗攻击评测	扩散模型净化的规避攻击
ImageNet	对抗攻击评测	大规模图像的规避攻击

AdvDM (Adversarial Example Does Good)

数据集	用途	具体设置
LSUN	场景类别评测	多场景类别的风格模仿防御
WikiArt	艺术风格评测	防止画作风格模仿
CIFAR-10	模型训练评测	扩散模型训练后的扰动效果
ImageNet	模型训练评测	大规模模型的扰动效果
CelebA-HQ	人脸保护评测	人脸风格的保护效果

• 代码: https://github.com/mist-project/mist.git

AdvDM-SDS (Toward Effective Protection Against Diffusion Based Mimicry Through SDS) — ICLR 2024

数据集	用途	具体设置
WikiArt	艺术风格保护	四个领域：anime、artwork、landscape、portrait

• 代码: https://github.com/xavihart/Diff-Protect

PhotoGuard

数据集	用途	具体设置
CelebA-DF	Deepfake 检测评测	人脸保护评测
人脸图像	保护扰动评测	通过对抗性补丁保护图像

Mist

数据集	用途	具体设置
WikiArt	艺术风格保护	梵高画作风格保护评测

• 代码: https://github.com/mist-project/mist.git

DreamFusion (SDS)

数据集	用途	具体设置
LAION-400M	预训练数据	使用预训练的 2D 文本到图像扩散模型

• 特点: 无需 3D 数据，仅使用 2D 扩散模型的 SDS 损失

SDEdit

数据集	用途	具体设置
ImageNet	类条件生成	256×256 分辨率
LSUN	场景编辑	教堂、卧室等场景
FFHQ	人脸编辑	256×256 和 1024×1024 分辨率
CelebA-HQ	人脸编辑	256×256 和 1024×1024 分辨率

IDProtector — CVPR 2025

数据集	用途	具体设置
CelebA	训练集	190,000 张未裁剪图像
CelebA	测试集	50 张未见过的图像
VGGFace	跨数据集泛化	50 张图像

• 核心网络: ViT-S/8，输入 224×224 RGB + 1 通道人脸掩码
• 训练策略: 3 阶段训练，epsilon 从 0.05 逐步降至 0.035
• 硬件: 4×NVIDIA H100 (80GB)，约 10 天

PID (Prompt-Independent Data Protection)

数据集	用途	具体设置
CelebA-HQ	核心评测	10 位名人，每人 4 张图片
VGGFace	额外验证	跨数据集泛化测试

• 基础模型: Stable Diffusion v1.5、v2.1
• 微调方法: DreamBooth
• 扰动预算: epsilon=0.05

Fit the Distribution

数据集	用途	具体设置
DALL-E 3	图像来源	多模态大语言模型攻击实验
MS-COCO	迁移测试	跨图像/跨提示词攻击的泛化性

• 攻击目标模型: LLaVA-1.5-7B、BLIP-2 OPT-2.7B、MiniGPT-4
• 评测场景: Cross-Prompt（30 个提示词）、Cross-Image（50 张图像）、Cross-Image/Prompt

PAP (Prompt-Agnostic Adversarial Perturbation)

数据集	用途	具体设置
CelebA-HQ	人脸隐私保护	DreamBooth/LoRA/Textual Inversion 防御
FFHQ	人脸隐私保护	跨定制化方法迁移测试
ImageNet (子集)	物体/风格版权保护	物体概念保护
WikiArt	风格版权保护	艺术风格保护

• 基线模型: Stable Diffusion v1.4/v1.5
• 基线方法: Glaze、Anti-DreamBooth、Mist、PhotoGuard

Variance as a Catalyst

数据集	用途	具体设置
CelebA-HQ	核心评测	50 个身份，每身份 4 张参考图
VGGFace2	跨数据集验证	50 个身份，每身份 4 张参考图

• 攻击目标模型: DreamBooth、LoRA、Textual Inversion、IP-Adapter
• 迁移测试模型: SD2.1、SDXL、SD3.5、FLUX.1-dev
• 优化算法: PGD，epsilon=0.05，步长 alpha=1/255

Anti-DreamBooth — ICCV 2023

数据集	用途	具体设置
CelebA-HQ	人脸保护评测	防止个性化方法学习个人身份
FFHQ	人脸保护评测	多样化人脸保护测试

• 作为 Variance 目录中的基线方法被广泛引用

I2VGuard — CVPR 2025

数据集	用途	具体设置
未公开指定数据集	评测数据	论文使用自建评测集，具体数据集名称未在目录文件中明确标注

• 保护目标: 扩散模型驱动的图像到视频（I2V）模型
• 保护方法: 空间-时间退化（spatio-temporal degradation）
• 关联模型: Hallo（说话人头生成）、SVD（Stable Video Diffusion）

SVD (Stable Video Diffusion) — (参考论文)

数据集	用途	具体设置
LVD (Large Video Dataset)	视频预训练	~577M 视频片段
LVD-F	高质量微调	~5.5M 精选片段（经四维评分筛选）

• 数据筛选方法: CLIP Score、美学评分、OCR 检测、光流评分
• 打标方式: CoCa（50%）+ V-BLIP（25%）+ LLM（25%）

Open-Sora — (参考论文)

数据集	用途	具体设置
Panda-70M	视频预训练	~2100 万横向视频
WebVid-10M	预训练补充	~1070 万视频-文本对
Pixart-Alpha	图像预训练	1100 万图像-文本对

四、数据集使用频率统计

按被引用次数排序：

排名	数据集	被引用次数	主要用途类别
1	CelebA-HQ	12	人脸保护、风格保护、身份保护
2	WikiArt	6	艺术风格保护
3	ImageNet	6	对抗攻击、鲁棒性评测
4	FFHQ	4	人脸保护、隐私保护
5	VGGFace2	3	跨数据集泛化
6	CIFAR-10	3	对抗鲁棒性
7	CelebA	2	训练数据、身份保护
8	VGGFace	2	跨数据集泛化
9	LAION	2	预训练数据
10	LSUN	2	场景保护、编辑评测
11	TalkingHead-1KH	1	说话人头保护
12	EditBench	1	图像编辑保护
13	OmniEdit	1	多任务编辑保护
14	MS-COCO	1	迁移测试
15	ADE20K	1	颜色分布构建
16	MM-SafetyBench	1	安全评测
17	SafeAttack-Bench	1	安全评测

五、评测指标汇总

5.1 保护有效性指标

指标	全称	含义	使用论文
PSR	Protection Success Rate	保护成功率	ATP
ISM	Identity Score Matching	身份匹配分数（ArcFace 余弦相似度），越低越好	ATP, Variance Catalyst, AntiPure
FDFR	Face Detection Failure Rate	人脸检测失败率，越高越好	ATP, Variance Catalyst
CLIP-IQAC	CLIP-based Image Quality Assessment for Faces	基于 CLIP 的人脸图像质量评估，越低越好	ATP
FDS	Face Detection Score	面部相似度，越低越好	PID
FID	Fréchet Inception Distance	分布距离，越高越好（表示质量差）	AntiPure, PID, PAP
CLIP Score	-	文本-图像对齐度，越低越好（表示抑制效果好）	PromptFlare
BRISQUE	Blind/Referenceless Image Spatial Quality Evaluator	无参考质量评价，越高越好	PID, Variance Catalyst
EM-ASR	Exact Match Attack Success Rate	精确匹配攻击成功率	Fit the Distribution
CM-ASR	Contain Match Attack Success Rate	包含匹配攻击成功率	Fit the Distribution
Semantic Similarity	-	语义相似度	Fit the Distribution

5.2 扰动不可感知性指标

指标	全称	含义	使用论文
LPIPS	Learned Perceptual Image Patch Similarity	感知差异，越低越好	DCT-Shield, AntiPure, PAP
PSNR	Peak Signal-to-Noise Ratio	峰值信噪比，越高越好	DCT-Shield, IDProtector, PAP
SSIM	Structural Similarity Index	结构相似性，越高越好	DCT-Shield, IDProtector
VIFp	Visual Information Fidelity	视觉信息保真度	DCT-Shield

5.3 图像质量指标

指标	全称	含义	使用论文
SER-FIQ	-	生成图像质量评分	IDProtector
L1 Norm	-	L1 范数正则化	IDProtector