DPO 将 RLHF 的两阶段训练(奖励建模 + PPO)压缩为一个分类损失,背后是一套精巧的数学推导。本文从 RLHF 出发,完整推导 DPO 的目标函数,并深入分析其梯度、局限性与后续改进。
复旦大学2025fall周五晚上高级软开第十四组小组作业lab(组长liang的那一组
复旦大学2025fall高级软开作业repo(小组14
7 days golang programs from scratch (web framework Gee, distributed cache GeeCache, object relational mapping ORM framework GeeORM, rpc framework GeeRPC etc) 7天用Go动手写/从零实现系列