系列文章: ① Agent 概览 · ② Tool Use · ③ RAG · ④ Memory · ⑤ Planning · ⑥ Multi-Agent(本篇) · ⑦ Agent Engineering
本文是 PyTorch 的系统性教程,从最基础的张量操作出发,覆盖自动微分、模型构建、训练优化、常见架构实现,直到分布式训练与生产部署。每个概念均配有可运行代码。
系列文章: ① Agent 概览 · ② Tool Use · ③ RAG · ④ Memory · ⑤ Planning(本篇) · ⑥ Multi-Agent · ⑦ Agent Engineering
Transformer 是现代 AI 的基石。本文从 Attention 机制的第一性原理出发,完整推导 Scaled Dot-Product Attention、Multi-Head Attention、位置编码,分析 Pre-Norm、RoPE、GQA、SwiGLU 等现代变体,并给出完整 PyTorch 实现。
RLHF 是 ChatGPT、InstructGPT 背后的对齐技术。本文完整覆盖 RLHF 的三个阶段:SFT、奖励建模、PPO 强化学习,深入分析每个阶段的数学原理、工程细节与已知局限。
PPO 是目前工业界最广泛使用的强化学习算法,RLHF 的核心训练方法。本文从 TRPO 的约束优化出发,完整推导 PPO 的 Clip 目标,深入分析 GAE、Critic 训练、熵正则化,并给出 LLM RLHF 场景下的完整实现。
覆盖字节、阿里、腾讯、百度、华为、DeepSeek 等大厂 LLM 算法岗高频面试题,包含 Transformer、预训练、微调、对齐、推理、部署、多模态等方向,每题附详细解答。
强化学习是让智能体通过与环境的交互来学习最优策略的方法论。本文系统介绍 RL 的核心概念、数学基础和主要算法族。
策略梯度定理是现代深度强化学习的理论基石。本文从第一性原理出发,完整推导该定理,并讨论基线、优势函数、重要性采样等核心技巧。
GRPO 用组内相对奖励替代 Critic 网络的价值估计,将 PPO 的四模型训练压缩为两模型,是 DeepSeek-R1 涌现长链推理能力的核心算法。本文完整推导 GRPO 的目标函数,对比 PPO/REINFORCE/DPO 的异同,分析 k3 KL 估计量与 Dr. GRPO 的改进。
复旦大学2025fall周五晚上高级软开第十四组小组作业lab(组长liang的那一组
复旦大学2025fall高级软开作业repo(小组14
7 days golang programs from scratch (web framework Gee, distributed cache GeeCache, object relational mapping ORM framework GeeORM, rpc framework GeeRPC etc) 7天用Go动手写/从零实现系列