RLHF是什么：大模型从「会说话」到「好好说话」的关键一步

一个问题：为什么早期的GPT会乱说话？

2020年，OpenAI发布GPT-3，参数量1750亿，能写诗、写代码、做翻译。但有个问题：给它一个危险的问题，它照样回答；给它一个模糊的prompt，它按自己的理解乱发挥；要它帮你写邮件，它写出来的风格你完全不想用。

原因很简单——语言模型的训练目标是「预测下一个token」，不是「给出有用的答案」。模型从互联网文本里学会了怎么续写句子，但互联网上充斥着偏见、错误和有害内容。预测能力强 ≠ 表现好。

这就是RLHF要解决的问题。

RLHF全称 Reinforcement Learning from Human Feedback，中文叫「基于人类反馈的强化学习」。它不是一个模型，是一套训练流程，分三阶段：

先用一批高质量的「问-答」示例，对预训练模型做有监督微调。这批数据是人工标注的——真人写出「如果我是模型，我应该这样回答」的样例。这一步让模型从「续写机器」变成「对话助手」，但还不够好，因为好坏的判断标准还没建立。

给同一个问题，让SFT模型生成多个回答（比如4个），然后让真人标注员给这4个回答排序：哪个最好、哪个次之、哪个最差。

这些排序数据用来训练一个「奖励模型」——它学会了预测「人类会给这个回答打几分」。奖励模型相当于自动化的人类评委，它见过成千上万个人类判断，能对新的回答打出合理的分数。

用奖励模型作为环境，用PPO（Proximal Policy Optimization，近端策略优化）算法训练对话模型：生成一个回答 → 奖励模型打分 → 模型根据分数调整参数 → 循环。

同时有个KL散度约束，防止模型为了刷高分而走极端（比如总生成特别短的答案，因为短答案不容易犯错）。

用纯GPT-3问这个问题，它会详细教你。用经过RLHF训练的ChatGPT问，它会告诉你这是违法行为，然后给你讲网络安全知识。

背后发生了什么？奖励模型在训练时见过大量「回答了危险问题」被人类标注员打低分的样本，所以它学会了：危险内容 → 低分。PPO训练让对话模型知道：回答这类问题会让奖励模型不高兴，于是它学会了拒绝或转移话题。

RLHF不是万能的，它有几个已知问题：

针对RLHF的局限，学界和工业界出现了几个改进方向：

DPO（Direct Preference Optimization）：去掉奖励模型这个中间层，直接用偏好数据微调模型。更简单、更稳定，LLaMA 2、Mistral系列都在用。

RLAIF（Reinforcement Learning from AI Feedback）：用更强的AI（比如Claude）代替人类标注员做偏好判断，大幅降低标注成本。Anthropic的Claude就用了这套方法。

Constitutional AI：给模型一套「宪法」原则，让它自我批评、自我修订，减少对大量人类标注的依赖。

我们实验室跑了大量本地模型对比：同样是Qwen3.5 35B，经过RLHF对齐的版本和没对齐的基础模型，在内容创作场景下差异非常明显。基础模型更「野」，有时候能出惊喜，但也更容易跑偏；对齐版本更「稳」，边界感更强。

对于Agent协作场景，我们更倾向用对齐版本——15个Agent同时跑，哪个突然说出奇怪内容都是事故。RLHF带来的「驯化」在这个场景下是优点，不是缺点。

感兴趣的可以搜InstructGPT论文（OpenAI 2022），是RLHF落地对话模型的开山之作，读起来没那么枯燥。