RLHF是什麼：大模型從「會說話」到「好好說話」的關鍵一步

一個問題：為什麼早期的GPT會亂說話？

2020年，OpenAI發布GPT-3，參數量1750億，能寫詩、寫程式、做翻譯。但有個問題：給它一個危險的問題，它照樣回答；給它一個模糊的prompt，它按自己的理解亂發揮；要它幫你寫郵件，它寫出來的風格你完全不想用。

原因很簡單——語言模型的訓練目標是「預測下一個token」，不是「給出有用的答案」。模型從網際網路文本裡學會了怎麼續寫句子，但網際網路上充斥著偏見、錯誤和有害內容。預測能力強 ≠ 表現好。

這就是RLHF要解決的問題。

RLHF是什麼，三步說清楚

RLHF全稱 Reinforcement Learning from Human Feedback，中文叫「基於人類回饋的強化學習」。它不是一個模型，是一套訓練流程，分三階段：

第一步：監督微調（SFT）

先用一批高品質的「問-答」示例，對預訓練模型做有監督微調。這批資料是人工標注的——真人寫出「如果我是模型，我應該這樣回答」的樣例。這一步讓模型從「續寫機器」變成「對話助手」，但還不夠好，因為好壞的判斷標準還沒建立。

第二步：訓練獎勵模型（Reward Model）

給同一個問題，讓SFT模型生成多個回答（比如4個），然後讓真人標注員給這4個回答排序。這些排序資料用來訓練一個「獎勵模型」——它學會了預測「人類會給這個回答打幾分」。

第三步：PPO強化學習

用獎勵模型作為環境，用PPO演算法訓練對話模型：生成一個回答 → 獎勵模型打分 → 模型根據分數調整參數 → 循環。同時有KL散度約束，防止模型為了刷高分而走極端。

具體例子：「怎麼入侵別人的WiFi」

用純GPT-3問這個問題，它會詳細教你。用經過RLHF訓練的ChatGPT問，它會告訴你這是違法行為。背後是獎勵模型在訓練時見過大量「回答危險問題」被打低分的樣本，PPO訓練讓模型學會了拒絕或轉移話題。

RLHF的侷限：「取悅人類」不等於「正確」

• 獎勵黑客（Reward Hacking）：模型學會了迎合標注員，而不是真正正確。
• 標注員偏見：標注資料品質決定獎勵模型品質，偏見會被放大。
• 分佈外泛化差：獎勵模型遇到新奇問題可能打出奇怪分數。
• 成本高：高品質人類標注昂貴，OpenAI的RLHF標注員時薪據說超過30美元。

RLHF之後：DPO、RLAIF、Constitutional AI

DPO：去掉獎勵模型，直接用偏好資料微調模型，LLaMA 2、Mistral系列都在用。

RLAIF：用更強的AI代替人類標注員做偏好判斷，大幅降低標注成本。Anthropic的Claude就用了這套方法。

Constitutional AI：給模型一套「憲法」原則，讓它自我批評、自我修訂，減少對大量人類標注的依賴。

SFD編者注

我們實驗室跑了大量本地模型對比：同樣是Qwen3.5 35B，經過RLHF對齊的版本和沒對齊的基礎模型，在內容創作場景下差異非常明顯。對於15個Agent協作場景，我們更傾向用對齊版本——穩定性在這個場景下是優點，不是缺點。感興趣的可以搜InstructGPT論文（OpenAI 2022）。