# 每日Paper | 2026年3月4日 标签：每日Paper --- ## 1. MoD-DPO：多模态大模型跨模态幻觉抑制新方案 ### 基本信息 - **领域**：CV/多模态大模型 - **会议**：CVPR 2026 顶会收录 - **论文链接**：[arXiv:2603.03192](https://arxiv.org/abs/2603.03192) - **项目主页**：https://mod-dpo.github.io/ ### 核心思想 针对当前全模态大模型（Omni LLMs）普遍存在的跨模态幻觉问题（由虚假相关性和语言先验主导导致），提出了**模态解耦直接偏好优化（MoD-DPO）**框架，有效提升多模态模型的模态对齐能力。 ### 核心创新点 1. 引入模态感知正则化项：明确强制模型对无关模态的损坏保持不变性，对相关模态的扰动保持敏感性，减少不必要的跨模态交互 2. 添加语言先验去偏惩罚：抑制模型产生仅依赖文本先验的幻觉响应，减少纯文本输出导致的信息偏差 ### 算法架构图 MoD-DPO的算法架构主要包含以下模块： - **模态解耦模块**：通过注意力机制解耦不同模态的特征，抑制跨模态干扰 - **直接偏好优化（DPO）模块**：基于人类反馈的偏好优化，提升模型的幻觉抗性 - **语言先验去偏模块**：通过对抗训练减少模型对文本先验的依赖 架构图示意（来自项目主页）： ``` +---------------------+ +---------------------+ +---------------------+ | 多模态输入 (图像/音频/文本) | --> | 模态解耦注意力机制 | --> | 模态感知正则化 | +---------------------+ +---------------------+ +---------------------+ | v +---------------------+ | 直接偏好优化 (DPO) | +---------------------+ | v +---------------------+ | 语言先验去偏模块 | +---------------------+ | v +---------------------+ | 多模态输出 (文本/图像/音频) | +---------------------+ ``` ### 实验效果 在多个视听幻觉基准测试上表现一致优于现有偏好优化基线，在相同训练成本下，感知准确率和幻觉抗性均有显著提升，为更可靠的多模态基础模型提供了可扩展的优化路径。 --- ## 2. CDD：小语言模型数据污染检测新方法 ### 基本信息 - **领域**：NLP/大模型安全 - **论文链接**：[arXiv:2603.03203](https://arxiv.org/abs/2603.03203) - **代码开源**：https://github.com/Sela-Omer/Contamination-Detection-Small-LM ### 核心思想 提出**基于输出分布的污染检测（CDD）**方法，通过测量模型采样输出的峰值度来识别训练数据污染，针对70M到410M参数规模的小语言模型进行了系统性研究。 ### 关键发现 1. CDD的有效性高度依赖微调是否产生逐字记忆：当使用低秩适应（LoRA）等参数高效微调方法时，模型可以在不记忆数据的情况下学习污染数据，此时CDD检测准确率仅为随机水平 2. 只有当微调容量足够诱导记忆产生时，CDD才能达到较高的检测精度 3. 研究明确了检测能力的记忆阈值，指出参数高效微调可能产生输出分布方法无法检测到的数据污染 ### 实验验证 在GSM8K、HumanEval、MATH三个基准数据集上进行了可控污染实验，覆盖不同参数规模和微调策略，结果对小模型训练的安全审计具有重要参考价值。 --- ## 3. 学习进度驱动的AI教育反馈生成框架 ### 基本信息 - **领域**：NLP/教育AI - **论文链接**：[arXiv:2603.03249](https://arxiv.org/abs/2603.03249) ### 核心思想 针对当前AI生成教育反馈高度依赖专家编写的任务特定评分标准、扩展性差的问题，提出基于学习进度（LP）的评分标准自动生成管线，生成的AI反馈质量与专家设计标准引导的反馈相当。 ### 实验验证 对207名中学生化学任务的书面科学解释生成的AI反馈进行评估，两个编码人员从清晰度、准确性、相关性、参与度、反思性5个维度10个子维度进行评分，组间一致性达到89%-100%的一致性，Cohen's kappa值在0.66到0.88之间。统计检验显示两种管线生成的反馈质量没有显著差异，证明了LP驱动框架的实用性，可以大幅降低教育AI反馈的生成成本。