作者丨李宁 上海交通大学
大语言模型（LLM）在医疗、金融、法律等高风险场景中的部署，始终面临一个核心挑战——幻觉（Hallucination）。模型生成的内容可能包含与事实不符的实体、数字或逻辑关系，而这些错误往往隐藏在大量正确内容之中，极难检测和消除。
如何让大模型在减少幻觉的同时，不丧失回答的信息量和实用性？来自上海交通大学与腾讯的研究团队提出了一种全新的强化学习框架——BALTO（Balanced Token-Level Policy Optimization），通过平衡的token级信用分配机制，精准消除幻觉，同时保持回答的丰富性。
01
研究团队首先在金融问答数据集FinLLM-Eval上进行了先导实验，揭示了一个关键现象：
- 幻觉在token层面是极其稀疏的：每条回答中，幻觉token平均仅占2.77%，中位数仅1.87%。
- 但幻觉在回答层面却非常普遍：94.7%的采样组中至少包含一条含有幻觉的回答。
这意味着，大多数回答只有极少数token出了问题，但传统的响应级强化学习方法（如GRPO）会给整条回答打一个统一的分数。当少量幻觉token导致低分时，回答中大量正确的内容也会被错误地惩罚。这不仅降低了幻觉消除的效果，还会诱导模型生成更短、更保守的回答，牺牲信息量来"避险"——这正是所谓的奖励黑客（Reward Hacking）问题。
论文arxiv链接：https://arxiv.org/abs/2606.15893
02
BALTO的设计理念可以用一句话概括：只惩罚真正出错的token，同时给正确的事实token以正向激励，保持整体信号的平衡。整个框架分为两个阶段：
▎阶段一：细粒度幻觉token检测
1. 提取可验证的事实声明：从模型生成的回答中提取最小粒度的、可独立验证的事实声明（如实体、数值、日期、属性和关系等）。
2. 逐一验证：将每条声明与参考文档进行比对，判定其为"忠实"或"幻觉"。
3. 精准定位错误token：对于幻觉声明，进一步定位到最小的错误token子集。例如，对于声明"总收入下降了11.4%"，只有"11.4%"这个数字被标记为幻觉token，而非整个句子。
▎阶段二：平衡的token级信用分配
BALTO为每个token分配精准的优势值（advantage）：
- 幻觉token：优势值为 -1（负向惩罚）
- 忠实事实token：优势值为 N⁻/N⁺（正向补偿，其中N⁻和N⁺分别是幻觉token和忠实token的数量）
- 中性token（非事实性内容）：优势值为 0（不参与优化）
这一设计有一个优雅的数学性质——响应内零和平衡：每条回答中，所有token的优势值之和恰好为零。这意味着BALTO引导模型将概率质量从幻觉内容重新分配到忠实内容上，而不是压制整条回答的生成概率。
03
论文从理论上严格证明了BALTO的两大优势：
定理1（方差压缩）：GRPO的梯度方差与回答总长度T成正比；BALTO的梯度方差仅与幻觉token数量N⁻成正比。由于幻觉token通常只占回答的极小部分（N⁻ ≪ T），梯度方差可被大幅压缩，训练过程显著更稳定。
定理2（全阶段优化效率）：设p为模型生成忠实回答的概率。训练初期（p→0），GRPO的期望梯度趋近于零，陷入"梯度饥饿"；训练后期（p→1），GRPO对偶发错误的惩罚趋向无穷大，引发"惩罚爆炸"。BALTO的token级优势值始终有界于[-1, 1]，在训练初期提供最强纠错信号，在收敛阶段梯度自然衰减，全程稳定高效。
04
研究团队在三个具有代表性的基准数据集上进行了系统评估：
- ConFiQA：反事实问答数据集，包含相互矛盾的证据
- RAGTruth：RAG幻觉语料库，涵盖多种数据源和任务格式
- FinLLM-Eval：金融领域问答数据集，要求精确的数值和事实回答
使用Qwen3-8B和Qwen3-4B两种规模的模型，与SFT、DPO、GRPO（二值奖励/密集奖励）、FSPO等多种基线方法进行对比。
▎核心结果
特别值得注意的是，一些基线方法（如FSPO）虽然在部分数据集上获得了更高的信息量分数，但往往以牺牲忠实度为代价。BALTO是唯一在忠实度和信息量之间实现一致最优权衡的方法。
▎训练动态分析
实验进一步验证了理论预测：
- 梯度更稳定：BALTO的策略梯度范数比响应级方法小一个数量级（均值0.020 vs. 0.145–0.214），分布更加集中。
- 参数更新更高效：BALTO仅更新约12%的模型参数即可达到0.98的忠实度，而GRPO需要更新约17%的参数才能达到0.93。这说明BALTO能够精准地定位和修正产生幻觉的参数子集，最大程度保留模型的通用能力。
- 收敛更快：在三个数据集上，BALTO在训练早期阶段就取得了最快的忠实度提升，并用更少的训练步数达到更高的最终性能。
▎消融实验
消融实验验证了平衡信用分配的关键作用：
完全移除正向优势（PA=0）：忠实度和信息量均大幅下降
使用固定正向优势（PA=0.3或PA=1）：性能不稳定，在不同数据集上表现参差不齐
- BALTO的自适应平衡机制：在所有数据集上均实现最优表现
05
BALTO的设计体现了一个简洁而深刻的洞察：消除幻觉不是压制回答，而是精准地重新分配概率质量。 通过将事实检验的粒度从回答级下沉到token级，并引入平衡的信用分配机制，BALTO让强化学习的优化信号真正作用于"该改的地方"，避免了对正确内容的误伤。
这一框架对于将大语言模型部署在对事实准确性要求极高的场景（如金融分析、医疗问诊、法律咨询等）具有重要的实践价值。
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
扫描上方二维码
或点击「阅读原文」关注专区。
雷峰网(公众号：雷峰网)
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。