语言模型可以很擅长续写,却在面对明确要求时答非所问。让它完成摘要、按指定格式回答、承认信息不足,涉及另一组行为目标。人类反馈强化学习,通常缩写为 RLHF,尝试把人对回答的比较转成可优化信号,再用这个信号调整生成策略。
InstructGPT 展示了一条影响很大的流程:先用示范回答监督微调,再收集回答排序训练奖励模型,最后用强化学习更新语言模型。它的核心问题不是让人逐字写出所有正确答案,而是如何在有限比较中学到有用的偏好近似,以及怎样防止后续优化把这个近似推过适用范围。InstructGPT 原论文

三个阶段分别在学什么
监督微调阶段提供“遇到这类指令,理想回答可以怎样组织”的示范。模型仍通过预测示范中的词元训练,但数据分布比一般预训练更集中于用户任务。示范会影响回答风格、格式和任务遵循,也可能包含标注者的知识局限。数据质量应从事实、完整性和与指令的对应关系一起检查。
偏好收集阶段让标注者比较同一问题的多个回答。比较可以综合有用性、正确性与表达,但这些维度并不总是一致。回答甲可能更简洁,回答乙可能补全必要条件;如果只有一个整体排序,奖励模型需要从有限信息中推测取舍。因此,标注说明和争议处理方式本身就是训练设置的一部分。
强化学习阶段通常不再让人逐条审阅每个新回答,而是使用奖励模型给分。语言模型获得更高分的倾向会加强,但奖励模型只是对已有比较数据的拟合。把三个阶段分开,是为了看清监督来源:示范、相对偏好和自动评分分别解决不同问题,任何一阶段都不能保证整个系统的事实判断可靠。
成对比较怎样变成一个奖励函数
一个常用模型假设,回答甲胜过回答乙的概率为 sigmoid(r甲−r乙),其中 r 是奖励模型给出的分数。训练让人选中的回答相对得分更高。若合成例子中两者分差为 2,这个概率约为 0.881;分差为零时是 0.5。这里的概率是模型对偏好比较的预测,不能解释为回答甲有 88.1% 的事实正确率。
这个形式还有一个重要性质:给两个分数同时加上常数,不改变预测。奖励的绝对零点没有直接含义,分数大小也依赖训练与归一化方式。若换了奖励模型,不能拿两个版本的原始分数直接比较“回答提升了多少”。更稳妥的比较是在同一批问题上,使用固定的独立评价标准。
同一问题有四个候选时,可以形成六组成对关系,但它们共享问题和回答,不能当成六个完全独立样本。数据划分应按问题或任务家族进行,避免近似回答同时出现在训练和测试中。还应测量标注者之间的一致程度,保留难以统一的例子;真实偏好存在分歧,强行压成无噪声标签会掩盖适用边界。
打开 HTML 互动演示 · 奖励加大文风权重时,哪条回答会赢?
强化学习为什么需要约束偏离
在语言生成里,可以把逐个选择词元看作一串动作,完整回答得到奖励。训练希望高奖励回答更常出现,同时避免策略离参考模型太远。常见目标在期望奖励中减去一个与 KL 散度有关的惩罚项,用来控制分布偏离。参考模型通常来自监督微调阶段,提供一个相对稳定的行为起点。
用一个只有两种回答的合成模型看这项取舍。参考分布各占一半,奖励分别为 1 和 0。在理想化的奖励减 KL 目标下,最优概率与参考概率乘 exp(r/β) 成正比。β=1 时,高奖励回答的概率约为 0.731;β=0.2 时约为 0.993。奖励不变,约束强度就能大幅改变策略集中程度。
这个例子不模拟真实训练,只说明约束系数并非无关紧要的技术细节。过强约束可能限制任务适应,过弱约束则可能使模型追逐奖励的局部漏洞。PPO 是实现策略更新的一类方法,使用代理目标和限制更新幅度的设计;它与最终任务评价仍是两层问题,优化过程稳定不代表奖励定义充分。PPO 原论文
奖励提高为什么可能伴随质量下降
如果奖励模型在已有数据中发现“较长回答通常更受欢迎”,它可能把长度当作便宜线索。后续策略优化便可能生成更长、更有条理但内容重复的文本。类似捷径也可能来自固定开场、笼统保证或引用外观。它们在某些场景有用,却不应自动压过事实和任务要求。
奖励过度优化研究使用了合成设置:以一个固定的较强奖励模型扮演标签来源,再训练代理奖励模型,观察持续优化代理分数时两者怎样分离。这提供了研究代理目标失效的可控方法,但其中的“标准奖励”仍是实验构造,不能等同于真实人类价值的完整测量。相关原始论文
实际训练应同时跟踪代理奖励、独立人工评价和任务指标。若奖励继续上涨而独立质量停滞,应检查新的回答分布是否已超出奖励模型熟悉范围。可以抽取高分失败样本,分析它们如何获得高分,再决定补充数据、调整评价或提前停止。仅把训练步数继续增加,可能是在放大评分误差。
数据与评价怎样避免把文风当能力
一个有用的偏好数据集,应覆盖不同长度、格式和任务难度,并包含看似流畅但事实错误的候选。对有可核查答案的问题,可以把正确性与表达质量分开标注。对开放问题,则需要明确完整性、相关性和不确定性处理的标准。标注者不知道的信息,应允许核查或标记不确定,而不是凭语气猜测。
盲测时应随机化左右顺序和模型身份。若使用自动评审,也要检查位置偏好、长度偏好及与人工判断的一致程度。回答越长,包含的事实断言可能越多;整体偏好胜率提高,不代表每个断言都更可靠。针对数学、代码或资料问答,应保留可执行检查、单元测试或证据核对等任务自身的验证方式。
还需要关注偏好是否能迁移。来自某一语言、职业或问题分布的标注,不必然适合另一群使用者。可以按语言、任务类型和用户要求分层报告结果,检查总体改善是否掩盖某些类别退化。测试集应包含真实但未参与训练的新任务组合,避免把熟悉提示模板的适应当成广泛能力提升。
训练系统的成本与可复现性
PPO 式流程通常涉及策略模型、参考模型、奖励模型和价值估计等组件。它们带来显存、采样和同步成本。批量生成的回答长度不一致,还会影响吞吐与奖励统计。研究报告需要记录生成设置、截断规则、奖励归一化、KL 计算与更新频率,否则同名方法可能实现出不同的优化问题。
可以先在规模较小、容易核查的任务上做端到端试验。例如要求把结构化记录转换为受约束摘要,事实是否遗漏或改写错误能够自动检查。固定训练数据,分别运行监督微调、加入偏好优化和不同约束强度的版本,观察收益来自哪里。多个随机种子和同一套独立测试,可以帮助区分稳定改善与训练波动。
离线的偏好分类准确率也不能代替策略训练后的检验。奖励模型在旧回答上判断得好,不保证它能识别新策略专门生成的高分异常答案。因此,训练过程应留有独立评价节点,并保存能够回滚的检查点。成本预算应包括人工审核和错误分析,而不只是 GPU 小时。
还要区分 PPO 中相对旧策略的概率比值,与相对固定参考模型的 KL 约束。前者用于控制一轮更新怎样利用采样数据,后者限制长期偏离的方向与程度。两者都与“不要变化过猛”有关,却不是同一个量。记录实现时若混淆它们,可能出现更新看似温和、整体分布仍持续漂移的情况。
一个最小的数值核对,是在策略未更新时检查新旧概率比接近一,并确认参考分布、词元遮罩与回答长度的处理一致。奖励按整段回答给出,KL 可能按词元累计,长度变化就会改变二者的相对尺度。对长短回答分别记录奖励与惩罚,有助于识别优化究竟改善了内容,还是主要改变了生成长度。
与其他偏好方法比较时应保持什么相同
DPO 把一类带参考策略约束的偏好优化问题,转成可直接对偏好对训练的目标,省去显式的在线强化学习流程。它提供了不同的实现路径,但不会让偏好标签自动变成事实标签。比较 DPO 与 PPO 时,若两边使用不同示范数据、候选质量或评审方式,就很难把结果归因于优化方法本身。DPO 原论文
公平对照应尽量固定基础模型、偏好数据、训练预算和最终评价,另外报告各方法特有的采样成本。还要比较对分布变化、标签噪声和长度偏好的敏感度。某个方法在特定摘要任务上更好,只能支持该实验范围的结论;是否适合多轮工具任务,需要重新设计测试。
RLHF 的价值,在于提供一条把难以写成简单规则的反馈转成训练信号的道路。它的边界同样具体:人类比较有覆盖范围,奖励模型有拟合误差,策略优化会改变数据分布。能够说明这些误差怎样被发现和控制,比单报一个偏好胜率更能帮助读者理解模型到底改进了什么。
参考资料
- Ouyang 等:Training language models to follow instructions with human feedback,2022
- Schulman 等:Proximal Policy Optimization Algorithms,2017
- Gao、Schulman 与 Hilton:Scaling Laws for Reward Model Overoptimization,2022
- Rafailov 等:Direct Preference Optimization: Your Language Model is Secretly a Reward Model,2023













