1. DPO:从 RLHF 到直接偏好优化的完整推导

    DPO 将 RLHF 的两阶段训练(奖励建模 + PPO)压缩为一个分类损失,背后是一套精巧的数学推导。本文从 RLHF 出发,完整推导 DPO 的目标函数,并深入分析其梯度、局限性与后续改进。

    2026/03/18 AI