PRM-PBE方法示意图

尽管大语言模型在代码生成和程序推理任务中取得了显著进展，但其在Programming-by-Example（PBE）任务中的表现仍受到明显限制。PBE要求模型仅根据输入输出样例推断潜在程序逻辑，并合成能够满足所有样例的程序。现有LLM方法通常依赖输入到输出的直接映射，或借助Chain-of-Thought、执行反馈、监督微调等方式增强推理能力。然而，这类方法缺乏对中间推理过程的细粒度监督，容易生成只满足部分样例的shortcut程序，或在复杂逻辑归纳场景下偏离真实意图。

近日，北京大学、京东、华东师范大学、实验室联合研究团队围绕 LLM在PBE场景中缺乏过程监督的问题，提出一种面向程序样例归纳的过程奖励强化学习框架PRM-PBE。该方法通过反馈引导的推理树构建过程监督数据，并训练Process Reward Model（PRM）评估中间推理步骤的可靠性，再结合按失败模式组织的三阶段课程学习与PPO优化程序合成模型，从而提升模型从输入输出样例中捕捉隐含程序逻辑的能力。相关论文题为PRM-PBE : Process Reward Model for Reinforcement Learning in Programming-by-Example。

论文作者：房越、金芝、安杰、陈宏申、李江梦、陈小红、詹乃军

通讯作者：金芝、安杰

现有 PBE 方法缺乏对推理过程的细粒度监督

Programming-by-Example的核心目标，是从少量输入输出样例中推断用户真正想要的程序逻辑。传统PBE系统通常依赖预定义DSL，通过符号搜索、递归分解或神经网络引导搜索完成程序合成。随着大语言模型的发展，PBE不再必须受限于特定DSL，模型可以直接基于自然语言提示、输入输出样例和推理链生成通用语言程序。

然而，论文指出，当前LLM-based PBE方法仍存在一个关键缺陷：模型主要学习输入与输出之间的表层映射，而缺少对中间归纳过程的监督。对于复杂PBE任务，仅凭样例进行端到端生成容易产生两类错误。一类是模型推断出完全错误的逻辑，例如把“多个列表相同位置元素相等的索引”错误理解为简单集合交集。另一类是模型生成只覆盖部分样例的程序，例如任务要求降序排序，模型却只执行反转操作，从而在部分样例上看似正确，但无法表达真实规则。

这些失败说明，PBE的难点并不只是最终代码是否通过测试，而在于模型是否能够在推理过程中逐步接近样例背后的潜在意图。若缺少对推理步骤的显式监督，模型很容易沿着错误归纳方向继续生成，并最终得到看似合理但逻辑不完整的程序。

用反馈引导的推理树构建过程监督数据

针对PBE中间推理过程难以监督的问题，论文提出反馈引导的推理树构建方法。推理树中的每个节点表示一个自然语言形式的中间推理步骤，模型从输入输出样例出发，逐步采样后继推理节点，直到形成完整推理路径。由于这些中间节点本身不能直接执行，系统会在路径终止后将其转化为完整程序，并通过执行测试判断其是否满足所有样例。

在此基础上，论文用后续路径的成功比例衡量节点质量。若某个节点的大部分后续路径都能导向正确程序，说明该推理状态较为可靠。若某个推理前缀的所有后继路径都失败，系统则将其视为潜在逻辑偏离点，并引入外部自然语言指令进行定向修复，从而生成更多高质量正样本，缓解PBE过程监督数据中正样本稀疏的问题。

用后继成功率训练过程奖励模型

在完成推理树构建后，论文进一步训练Process Reward Model来评估中间推理步骤的质量。PRM并不直接判断最终程序是否正确，而是为每个推理状态分配奖励分数，用来估计该状态继续生成正确程序的可能性。

具体而言，论文将节点的后继成功率作为偏好信号。如果节点A的后续采样路径更容易生成正确程序，而节点B的后续路径更容易失败，训练目标就要求PRM给节点A更高分数。相比简单的正负样本分类，这种偏好学习能够更细致地区分不同推理状态的可靠程度，使模型学会识别更可能通向正确程序的归纳方向。

获得PRM后，论文将其接入强化学习框架，用过程级奖励优化程序合成模型。为提升训练稳定性，研究团队设计了按失败模式组织的三阶段课程学习策略，使模型从基础可执行性逐步过渡到复杂逻辑正确性。

第一阶段关注语法错误和运行时错误，训练模型生成能够正常执行的程序。第二阶段关注可执行但与目标行为完全不一致的程序，引导模型学习输入输出样例中的核心约束。第三阶段处理只能通过部分样例的程序，帮助模型减少对有限样例的过拟合。在每个阶段中，PRM对中间推理状态提供奖励，并通过PPO更新策略模型，从而让模型逐步学习更可靠的程序归纳路径。