LLM 八股文:大模型高频考点速查

2026/03/19 LLM 面试 共 15008 字,约 43 分钟

大模型方向面试必考知识点的精炼总结。每个考点给出核心结论 + 关键公式 + 一句话答案,适合面试前快速复习。

配套详细推导文章:Policy Gradient、DPO、PPO、GRPO、RLHF、Transformer


目录

  1. Transformer 架构
  2. 注意力机制变体
  3. 位置编码
  4. 归一化与激活函数
  5. 预训练
  6. 高效微调 PEFT
  7. 对齐:RLHF / DPO / GRPO
  8. 推理加速
  9. 长上下文
  10. 训练工程
  11. 幻觉与评测
  12. 多模态

一、Transformer 架构

1.1 整体结构

graph LR
    A[Input Tokens] --> B[Embedding + PE]
    B --> C["× N Decoder Blocks"]
    C --> D[RMSNorm]
    D --> E[LM Head softmax]

    subgraph Decoder Block
        F[RMSNorm] --> G[Self-Attention GQA]
        G --> H[残差]
        H --> I[RMSNorm]
        I --> J[FFN SwiGLU]
        J --> K[残差]
    end

现代 LLM(LLaMA/GPT 系列)标配:

组件原始 Transformer现代 LLM
归一化Post-LNPre-LN
归一化类型LayerNormRMSNorm
激活函数ReLUSwiGLU / GeGLU
位置编码正弦绝对编码RoPE
注意力MHAGQA / MQA
偏置有无(大多数去掉)

1.2 Scaled Dot-Product Attention

\[\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]

为什么除以 $\sqrt{d_k}$?

$Q, K$ 的每个分量 $\sim \mathcal{N}(0,1)$,则 $q \cdot k = \sum_{i=1}^{d_k} q_i k_i$ 的方差为 $d_k$,标准差为 $\sqrt{d_k}$。不除会导致点积值很大,softmax 梯度趋零(梯度消失)。

计算复杂度:时间 $O(n^2 d)$,空间 $O(n^2)$,$n$ 为序列长度。


1.3 Multi-Head Attention

\[\text{MHA}(X) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W^O\] \[\text{head}_i = \text{Attention}(X W_i^Q,\ X W_i^K,\ X W_i^V)\]

参数量:$4d^2$($W^Q, W^K, W^V$ 各 $d \times d$,$W^O$ 为 $d \times d$)

多头的意义:不同头学习不同子空间的注意力模式(句法关系、语义相似度、局部依赖等)。


1.4 FFN 层

\[\text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2\]

SwiGLU 版(LLaMA):

\[\text{FFN}_\text{SwiGLU}(x) = \left(\text{SiLU}(xW_1) \odot xW_3\right) W_2\]

其中 $\text{SiLU}(x) = x \cdot \sigma(x)$。SwiGLU 有三个矩阵,通常将中间维度从 $4d$ 缩小到 $\frac{8d}{3}$ 保持参数量不变。

FFN 参数量约占总参数的 2/3(远多于注意力层)。


二、注意力机制变体

2.1 MHA / MQA / GQA 对比

graph LR
    subgraph MHA n_heads=4
        Q1[Q1] --> A1[Attn]
        K1[K1] --> A1
        V1[V1] --> A1
        Q2[Q2] --> A2[Attn]
        K2[K2] --> A2
        V2[V2] --> A2
        Q3[Q3] --> A3[Attn]
        K3[K3] --> A3
        V3[V3] --> A3
        Q4[Q4] --> A4[Attn]
        K4[K4] --> A4
        V4[V4] --> A4
    end

    subgraph MQA 1 KV组
        QQ1[Q1] --> AA[Attn]
        QQ2[Q2] --> AA
        QQ3[Q3] --> AA
        QQ4[Q4] --> AA
        KK[K共享] --> AA
        VV[V共享] --> AA
    end

    subgraph GQA 2 KV组
        QQQ1[Q1] --> AA1[Attn]
        QQQ2[Q2] --> AA1
        KKK1[K组1] --> AA1
        VVV1[V组1] --> AA1
        QQQ3[Q3] --> AA2[Attn]
        QQQ4[Q4] --> AA2
        KKK2[K组2] --> AA2
        VVV2[V组2] --> AA2
    end
方法Q头数KV头数KV Cache 大小质量
MHA$h$$h$$2 \times h \times d_k$最好
MQA$h$$1$$2 \times d_k$稍差
GQA$h$$g$($1 < g < h$)$2 \times g \times d_k$接近 MHA

GQA 是主流(LLaMA3、Qwen2 等):每组 KV 被多个 Q 头共享,推理时 KV Cache 节省 $h/g$ 倍内存,质量损失极小。


2.2 Flash Attention

问题:标准 Attention 需要将 $n \times n$ 的注意力矩阵写到 HBM(显存),IO 成本极高。

解法(Tiling):将 $Q, K, V$ 分块,在 SRAM 上逐块计算,用在线 Softmax(log-sum-exp trick)合并结果,永远不将完整 $n \times n$ 矩阵写到 HBM。

\[m_{\text{new}} = \max(m_{\text{old}},\ \text{rowmax}(S_{\text{block}}))\] \[l_{\text{new}} = e^{m_{\text{old}} - m_{\text{new}}} l_{\text{old}} + \text{rowsum}(e^{S_{\text{block}} - m_{\text{new}}})\]

结果:

  • IO 复杂度从 $O(n^2)$ 降到 $O(n^2 / M)$($M$ 为 SRAM 大小)
  • 训练速度提升 2-4×,支持更长序列
  • 精确等价(非近似),反向传播通过重计算实现

Flash Attention 2 改进:减少非矩阵乘法操作,并行化序列维度,GPU 利用率从约 25% 提升到约 70%。


2.3 稀疏注意力

方法思路复杂度
Sliding Window每个 token 只关注前后 $w$ 个$O(nw)$
Dilated Window带孔洞的滑动窗口$O(nw)$
Global+Local少数 global token + 局部窗口$O(nw + ng)$
Longformer滑动+全局$O(nw)$
BigBird随机+局部+全局$O(n\sqrt{n})$

三、位置编码

3.1 绝对位置编码

原始 Transformer 正弦编码:

\[PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right), \quad PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d}}\right)\]

缺点:无法外推到训练时未见过的长度。


3.2 RoPE(旋转位置编码)

核心思想:通过旋转矩阵将位置信息编码到 Q、K 上,使得注意力分数只依赖相对位置。

对于二维复数形式:

\[f_q(x_m) = (W_q x_m) e^{im\theta}\] \[f_k(x_n) = (W_k x_n) e^{in\theta}\]

内积自然出现相对位置 $m - n$:

\[\langle f_q(x_m),\ f_k(x_n) \rangle \propto \text{Re}\left[(W_q x_m)(W_k x_n)^* e^{i(m-n)\theta}\right]\]

在实际 $d$ 维实现中,将维度两两配对,每对以不同频率旋转:

\[\theta_i = 10000^{-2i/d}, \quad i = 0, 1, \ldots, d/2 - 1\]

优点:

  • 相对位置感知,外推性好
  • 无额外参数
  • 可以方便地做长度扩展(YaRN、LongRoPE)

YaRN 长度扩展:对不同频率的旋转角按比例缩放,高频分量保持,低频分量插值,使 RoPE 支持更长序列。


3.3 ALiBi

不修改 Attention 计算,直接在 Attention 矩阵上加线性惩罚项:

\[\text{Attention}_{ij} = q_i k_j^T / \sqrt{d} - m \cdot |i - j|\]

其中 $m$ 是各头对应的斜率(等比数列)。天然支持外推但质量略低于 RoPE。


四、归一化与激活函数

4.1 LayerNorm vs RMSNorm

LayerNorm:

\[\text{LN}(x) = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} \cdot \gamma + \beta, \quad \mu = \frac{1}{d}\sum x_i, \quad \sigma^2 = \frac{1}{d}\sum(x_i - \mu)^2\]

RMSNorm(去掉均值中心化):

\[\text{RMSNorm}(x) = \frac{x}{\text{RMS}(x)} \cdot \gamma, \quad \text{RMS}(x) = \sqrt{\frac{1}{d}\sum x_i^2}\]

RMSNorm 优势:省去均值计算,速度快约 10-15%,效果相当甚至更好(LLaMA、Qwen 系列标配)。


4.2 Pre-LN vs Post-LN

graph LR
    subgraph Post-LN 原始
        X1[x] --> A1[Sublayer]
        A1 --> ADD1[+]
        X1 --> ADD1
        ADD1 --> LN1[LayerNorm]
        LN1 --> Y1[输出]
    end

    subgraph Pre-LN 现代
        X2[x] --> LN2[LayerNorm]
        LN2 --> A2[Sublayer]
        A2 --> ADD2[+]
        X2 --> ADD2
        ADD2 --> Y2[输出]
    end

Post-LN(原始 Transformer):梯度在残差路径直接流过,但每层后做 LN 可能导致训练不稳定,需要 Warmup。

Pre-LN(现代 LLM):归一化在 sublayer 之前,梯度可沿残差路径无障碍反传,训练更稳定,可以用更大学习率,但表达能力稍弱。


4.3 激活函数对比

激活公式特点
ReLU$\max(0, x)$简单,死亡神经元问题
GELU$x \cdot \Phi(x)$平滑,BERT/GPT-2
SiLU / Swish$x \cdot \sigma(x)$自门控,无界
SwiGLU$\text{SiLU}(xW_1) \odot xW_3$门控线性,LLaMA 标配
GeGLU$\text{GELU}(xW_1) \odot xW_2$类似 SwiGLU

GLU 系列(SwiGLU/GeGLU)的优势在于乘法门控机制提供了更细粒度的信息过滤。


五、预训练

5.1 语言模型目标

自回归(GPT 系列):

\[\mathcal{L} = -\sum_{t=1}^{T} \log P(x_t \mid x_1, \ldots, x_{t-1}; \theta)\]

使用因果掩码,只能看到过去 token。

掩码语言模型(BERT 系列):

\[\mathcal{L} = -\sum_{t \in \mathcal{M}} \log P(x_t \mid x_{\backslash \mathcal{M}}; \theta)\]

随机掩盖 15% token,双向注意力。缺点:训练和推理不一致(train-test mismatch)。


5.2 Scaling Laws

Chinchilla 定律(DeepMind 2022):

\[L(N, D) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_\infty\]

最优计算分配:模型参数量 $N$ 与训练 token 数 $D$ 应满足 $D \approx 20N$。

模型参数量 $N$最优 Token 数
1B10亿200亿
7B70亿1400亿
70B700亿1.4万亿

实践中许多模型用远超最优的 token 数训练(如 LLaMA 3 用 15T tokens),因为推理成本远大于训练成本,训练充分的小模型推理更划算。


5.3 数据配比

不同数据源的质量和比例对模型影响极大。常见策略:

  • 质量过滤:去重(MinHash LSH)、语言检测、困惑度过滤(用小模型打分)
  • 数据比例:网页 > 代码 > 书籍 > 学术论文(LLaMA 3 约 90% 网页)
  • 课程学习:先低质量、后高质量;或先长文本、后短文本

数据污染:训练数据含测试集样本,导致指标虚高。检测方法:n-gram 重叠检测。


5.4 参数量计算

一个 LLM 的主要参数来源:

\[N \approx \underbrace{2 d^2 h}_{\text{Attention: }Q,K,V,O} + \underbrace{8d^2 / 3 \times 3}_{\text{FFN: }W_1,W_2,W_3} \approx 12 d^2 h\]

其中 $h$ 为层数,$d$ 为隐层维度。简化估算:

\[N \approx 12 \times d^2 \times h\]

LLaMA2-7B 验证:$d=4096, h=32 \Rightarrow 12 \times 4096^2 \times 32 \approx 6.4\text{B}$(加上 Embedding 约 7B)


六、高效微调 PEFT

6.1 LoRA

核心思想:冻结预训练权重 $W_0$,仅训练低秩分解的增量矩阵:

\[W = W_0 + \Delta W = W_0 + BA\]

其中 $B \in \mathbb{R}^{d \times r}$,$A \in \mathbb{R}^{r \times k}$,秩 $r \ll \min(d, k)$。

前向传播:

\[h = W_0 x + \frac{\alpha}{r} B A x\]

初始化:$A \sim \mathcal{N}(0, \sigma^2)$,$B = 0$(保证训练开始时增量为零)。

参数节省:原矩阵参数 $dk$,LoRA 参数 $(d+k)r$,节省比例 $\approx \frac{dk}{(d+k)r}$。

对于 $d=k=4096, r=8$:原 $16.7M$,LoRA $65.5K$,节省 255倍。

部署时合并权重:$W = W_0 + BA$,推理无额外开销。


6.2 LoRA 变体

方法改进点核心思路
LoRA基础低秩分解 $BA$
AdaLoRA动态秩分配SVD 裁剪重要性低的奇异值
QLoRA4bit 量化 + LoRANF4 量化 + 双重量化 + Paged Optimizer
LoRA+差异学习率$B$ 用更大 lr,$A$ 用小 lr
DoRA权重分解分量级、方向两部分分别调整
LLaMA-Pro添加新层冻结原层,只训练新插入层
GaLore梯度低秩对梯度做 SVD,节省优化器状态内存

6.3 Prompt Tuning / Prefix Tuning

Prompt Tuning:在输入端添加可学习的虚拟 token(soft prompt),只训练这些 token 的 embedding。

Prefix Tuning:在每层的 KV 序列前面拼接可训练的前缀向量,比 Prompt Tuning 表达力更强。

两者的共同问题:参数少,大模型效果接近全量微调,但小模型表现明显较差。


6.4 全参微调技巧

灾难性遗忘的缓解方法:

  1. 小学习率 $\leq 10^{-5}$,配合 Warmup
  2. 数据混合:微调数据 + 部分预训练数据
  3. 层间差异学习率:底层学习率更小(底层更通用)
  4. 正则化:L2 惩罚或 EWC(Elastic Weight Consolidation)

七、对齐:RLHF / DPO / GRPO

7.1 RLHF 三阶段

graph LR
    A[预训练 LLM] -->|Stage 1: SFT| B[SFT 模型]
    B -->|Stage 2: RM 训练| C[奖励模型]
    B -->|Stage 3: PPO| D[对齐后 LLM]
    C --> D

Stage 1 SFT:在人工标注的高质量示例上做监督微调。

Stage 2 奖励模型:基于 Bradley-Terry 模型,对偏好对 $(y_w, y_l)$ 训练:

\[\mathcal{L}_\text{RM} = -\mathbb{E}_{(x, y_w, y_l)} \left[\log \sigma(r(x, y_w) - r(x, y_l))\right]\]

Stage 3 PPO:用 RL 最大化奖励,同时加 KL 惩罚防止偏离 SFT 模型:

\[\mathcal{L}_\text{PPO} = \mathbb{E}\left[r(x, y) - \beta \log \frac{\pi_\theta(y|x)}{\pi_\text{ref}(y|x)}\right]\]

7.2 DPO(直接偏好优化)

核心推导:RLHF 的最优策略有闭合解:

\[\pi^*(y|x) = \frac{\pi_\text{ref}(y|x) \exp(r(x,y)/\beta)}{Z(x)}\]

代入 Bradley-Terry,消去奖励模型 $r$,得到 DPO 损失:

\[\mathcal{L}_\text{DPO} = -\mathbb{E}_{(x, y_w, y_l)}\left[\log \sigma\!\left(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_\text{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_\text{ref}(y_l|x)}\right)\right]\]

三句话总结 DPO:

  1. 把奖励模型隐含在策略比值里,不再单独训练 RM
  2. 用偏好数据直接优化策略,省去 PPO 的 RL 循环
  3. $\beta$ 控制偏离 ref 策略的程度,通常取 0.1~0.5

DPO 的问题:静态数据集,正例对应的概率也可能被压低(chosen 退化问题);解决方案:SimPO(不依赖 ref)、Online DPO(动态生成)。


7.3 GRPO(组相对策略优化)

核心思想(DeepSeek-R1 使用):对每个问题采样 $G$ 个回答,以组内相对排序代替 Critic:

\[\hat{A}_i = \frac{r_i - \text{mean}(\mathbf{r})}{\text{std}(\mathbf{r})}\]

损失(含裁剪 + KL 惩罚):

\[\mathcal{L}_\text{GRPO} = -\mathbb{E}\left[\min\left(\rho_i \hat{A}_i,\ \text{clip}(\rho_i, 1-\epsilon, 1+\epsilon)\hat{A}_i\right)\right] + \beta \cdot \mathbb{D}_\text{KL}[\pi_\theta \| \pi_\text{ref}]\]

优点:省去 Critic 模型(节省 50% 显存),奖励估计更稳定。

Dr. GRPO(修正版):原始 GRPO 的优势估计存在 token 级别 bias(短序列方差大),Dr. GRPO 对每个 token 独立归一化:

\[\hat{A}_i^t = \frac{r_i - \mu_G}{\sigma_G \sqrt{|o_i|}}\]

7.4 PPO 在 RLHF 中的特殊性

RLHF 的 PPO 是 token 级 MDP,而非 bandit 问题:

  • 状态:已生成的 token 序列
  • 动作:下一个 token
  • 奖励:只在 EOS 时获得(稀疏奖励),中间步骤奖励为 0 + KL 惩罚

四个模型:

模型是否训练作用
Actor $\pi_\theta$✅生成回答
Critic $V_\phi$✅估计状态价值
Reward Model❌(冻结)打分
Ref Policy $\pi_\text{ref}$❌(冻结)KL 基准

7.5 奖励 Hacking 与 Goodhart’s Law

“When a measure becomes a target, it ceases to be a good measure.”

RM 被过度优化时,模型学会欺骗 RM 而非真正有益。表现:

  • 回答冗长(RM 倾向于长回答)
  • 格式 hack(过多强调语气词)
  • 对抗性输入

缓解方法:KL 惩罚、定期更新 RM、多 RM ensemble、使用规则奖励(代码可运行性、数学验证)。


八、推理加速

8.1 KV Cache

每个 token 的 $K, V$ 只需计算一次并缓存,后续 token 直接复用:

\[\text{KV Cache 大小} = 2 \times n_{\text{layers}} \times n_{\text{heads}} \times d_k \times L \times \text{dtype\_bytes}\]

以 LLaMA2-7B(32层,32头,$d_k=128$,dtype=float16)为例,序列长度 $L=4096$:

\[2 \times 32 \times 32 \times 128 \times 4096 \times 2 \approx 2\text{GB}\]

8.2 vLLM PagedAttention

问题:KV Cache 提前分配最大序列长度,导致大量内部碎片(平均利用率约 20-40%)。

PagedAttention:借鉴 OS 虚拟内存分页,KV Cache 按固定大小的 block(页) 分配,逻辑序列到物理 block 的映射由 block table 管理。

graph LR
    A[逻辑 KV 序列<br/>token 0-15] --> T[Block Table]
    T --> B1[物理 Block 7<br/>token 0-3]
    T --> B2[物理 Block 2<br/>token 4-7]
    T --> B3[物理 Block 9<br/>token 8-11]
    T --> B4[物理 Block 1<br/>token 12-15]

效果:内存利用率从 ~30% 提升到 ~90%,支持更大 batch size,吞吐量提升 24×(与 HF 原始实现对比)。


8.3 投机采样(Speculative Decoding)

思路:用小草稿模型(draft model)先快速生成 $k$ 个 token,大模型一次并行验证全部:

  1. Draft model 生成 token $t_1, \ldots, t_k$
  2. Target model 并行计算这 $k$ 个位置的概率
  3. 按接受率 $\min(1, p_\text{target}/p_\text{draft})$ 拒绝采样
  4. 拒绝的位置从 target 分布重新采样

加速原理:大模型 $k+1$ 个 token 并行 prefill 比串行 decode $k+1$ 次快很多(prefill 更能利用并行度)。

实际加速比:取决于 draft 与 target 的分布接近程度,通常 2-3× 加速。


8.4 量化

精度显存比质量损失应用场景
FP324×无训练
BF162×极小训练/推理
FP162×极小推理
INT81×小推理(LLM.int8)
NF4/INT40.5×中边缘推理(GPTQ/AWQ)
INT2/GGUF Q20.25×较大极端压缩

GPTQ(训练后量化):逐层最小化量化误差 $|W x - \hat{W} x|^2$,使用 Hessian 信息做 OBC(Optimal Brain Compression)。

AWQ(权重激活量化):关键权重(激活值大的通道)用高精度保护,其余低精度。相比 GPTQ 无需校准数据。

LLM.int8:矩阵乘法中出现的极端异常值(outlier)用 FP16 处理,其余用 INT8,混合精度推理。


8.5 连续批处理(Continuous Batching)

问题:静态批处理(static batching)需要所有序列同时结束才能释放,导致 GPU 等待。

解法:迭代级调度——每次迭代后,完成的序列立即从 batch 中移出,新请求立即加入。

gantt
    title 连续批处理 vs 静态批处理
    dateFormat X
    axisFormat %s

    section 静态批处理
    Req1 长序列    :0, 10
    Req2 短序列    :0, 4
    等待 Req1     :4, 10

    section 连续批处理
    Req1 长序列    :0, 10
    Req2 短序列    :0, 4
    Req3 新请求    :4, 8
    Req4 新请求    :4, 7

结合 PagedAttention,vLLM 实现了高吞吐量的在线推理服务。


8.6 Prefill / Decode 分离

现代 LLM 推理有两个阶段:

阶段特点瓶颈
Prefill(首 token)并行处理输入,计算密集Compute-bound
Decode(后续 token)逐 token 生成,访存密集Memory-bound

两个阶段的资源需求不同,分离部署可以独立扩展:Prefill 实例用多卡并行,Decode 实例用高带宽内存卡(如 H100 HBM3)。


九、长上下文

9.1 长上下文挑战

  1. 注意力计算:$O(n^2)$ 显存和时间
  2. KV Cache:线性增长,超出 GPU 显存
  3. 位置泛化:RoPE 在未见过的长度上退化
  4. 中间迷失(Lost in the Middle):模型对序列中间部分的信息提取能力弱

9.2 位置编码外推方法

线性插值(PI):将位置索引缩放到训练范围:$pos’ = pos \times \frac{L_\text{train}}{L_\text{new}}$

YaRN:对不同频率的 RoPE 维度分别处理:

  • 高频(短距离依赖):不插值,保持原始
  • 中频:插值
  • 低频(长距离依赖):缩放

LongRoPE:在 attention 权重上添加可学习的非均匀缩放因子。


9.3 注意力稀疏化

Sliding Window Attention(Mistral):每个 token 只关注前 $W$ 个 token($W=4096$),但通过多层叠加实现 $N \times W$ 的有效感受野。

StreamingLLM:保留 Attention Sink(开头几个 token 吸引大量注意力)+ 滑动窗口,实现无限长序列推理(但无法”记住”窗口外信息)。

Hybrid(MLA):DeepSeek 的多头潜在注意力,将 KV 压缩到低维潜在空间:

\[\mathbf{c}_t^{KV} = W^{DKV} h_t \quad \text{(低维压缩,} d_c \ll d_h h\text{)}\]

推理时 KV Cache 只缓存低维向量,节省 $h/r$ 倍内存。


十、训练工程

10.1 并行策略

graph TD
    A[模型并行策略] --> B[数据并行 DP]
    A --> C[张量并行 TP]
    A --> D[流水线并行 PP]
    A --> E[序列并行 SP]

    B --> B1["每卡完整模型<br/>梯度 AllReduce<br/>DDP / FSDP / ZeRO"]
    C --> C1["单层矩阵分割到多卡<br/>Megatron-LM<br/>列并行/行并行"]
    D --> D1["不同层分到不同卡<br/>micro-batch 流水<br/>GPipe / PipeDream"]
    E --> E1["序列维度分割<br/>配合 FlashAttn<br/>Ring Attention"]

3D 并行:DP × TP × PP 组合使用,以 LLaMA 70B 为例:TP=8(单机内),PP=4(跨机),DP=根据总卡数。


10.2 ZeRO 优化器

阶段分片内容显存节省通信开销
ZeRO-1优化器状态4×少量
ZeRO-2+ 梯度8×中等
ZeRO-3+ 参数64×较多

AdamW 每个参数的显存(FP16 训练):

  • 参数:2 bytes(FP16)
  • 梯度:2 bytes(FP16)
  • Master weights:4 bytes(FP32)
  • Adam m, v:4 + 4 bytes(FP32)

共 16 bytes/参数,7B 模型约需 112GB,ZeRO-3 可分摊到多卡。


10.3 混合精度训练

graph LR
    A[FP16/BF16 前向传播] --> B[FP16/BF16 反向传播]
    B --> C[FP16 梯度]
    C --> D[损失缩放 ×S 防下溢]
    D --> E[梯度 ÷S 还原]
    E --> F[FP32 Master 权重更新]
    F --> G[复制回 FP16 权重]

BF16 vs FP16:

  • BF16:指数位多(±3.4×10³⁸),精度少(3位小数),不需要 GradScaler,A100/H100 推荐
  • FP16:精度高(3.3×10⁻⁴),范围小,容易溢出,需要 GradScaler

10.4 梯度检查点(Gradient Checkpointing)

问题:前向传播的中间激活值需保存用于反向传播,显存正比于层数 $\times$ batch。

解法:只保存部分检查点(如每 $\sqrt{n}$ 层保存一次),反向传播时从最近检查点重新计算中间激活。

显存-计算权衡:

  • 无 checkpointing:显存 $O(n)$,计算 $1\times$
  • 完全 checkpointing:显存 $O(\sqrt{n})$,计算约 $1.33\times$(多一次前向传播)

10.5 优化器选择

优化器内存开销特点适用场景
SGD+Momentum1× param最省内存视觉任务
AdamW3× param自适应 lr,稳定LLM 标配
Adafactor~1× param不存完整 m/v,分解存储超大模型
SOAP2× param利用 Shampoo 预条件收敛快
Muon1.5× paramNesterov + 正交化新兴,快速收敛

AdamW 超参:$\beta_1=0.9$,$\beta_2=0.95$(LLM 常用,比默认 0.999 更快适应),$\epsilon=10^{-8}$,weight decay $= 0.1$。


十一、幻觉与评测

11.1 幻觉的类型与成因

graph TD
    A[LLM 幻觉] --> B[事实幻觉]
    A --> C[忠实幻觉]
    B --> B1[知识库中不存在的事实]
    B --> B2[过时知识]
    B --> B3[知识混淆]
    C --> C1[与上下文矛盾]
    C --> C2[与指令不符]

成因:

  1. 预训练数据噪声、偏差
  2. 自回归的曝光偏差(训练用真实 token,推理用生成 token)
  3. 过度自信——softmax 温度效应
  4. 知识截止与时效性问题

缓解方法:RAG(检索增强)、思维链验证、多次采样后自我一致性(Self-Consistency)、RLHF 引导诚实性。


11.2 RAG 架构

graph LR
    Q[用户问题] --> E[Embedding 模型]
    E --> R[向量检索<br/>FAISS/ANN]
    R --> DB[(向量数据库)]
    DB --> C[检索到的文档]
    C --> P[Prompt 拼接]
    Q --> P
    P --> LLM[LLM 生成]
    LLM --> A[回答]

关键组件:

  • 分块策略:固定大小 vs 语义分块,chunk overlap
  • Embedding 模型:BGE、E5、text-embedding-3
  • 检索:稠密检索(向量相似度)+ 稀疏检索(BM25)混合
  • 重排序(Reranker):Cross-encoder 精排,提升 top-k 精度

11.3 主要评测基准

基准类型考察能力
MMLU多选世界知识,57 学科
HumanEval / MBPP代码Python 编程
GSM8K数学小学数学推理
MATH数学竞赛级数学
GPQA科学专家级科学问题
MT-Bench对话多轮指令跟随
HELM综合多任务综合评估
LiveBench动态防数据污染,月更
SWE-Bench代码GitHub issue 修复

11.4 常用解码策略

贪婪解码:$\hat{y}_t = \arg\max P(y_ty_{<t})$,确定但多样性差。

Beam Search:保留 $k$ 条最优路径,适合翻译/摘要,不适合开放生成(倾向于重复)。

采样:按概率分布随机采样,多样性好。

Temperature:$P(y_t) \propto \exp(\text{logits}_t / T)$,$T > 1$ 更随机,$T < 1$ 更集中。

Top-k 采样:只从概率最高的 $k$ 个 token 中采样。

Top-p(Nucleus)采样:累积概率达到 $p$ 后截断,动态调整候选集大小。

Min-P(新型):相对于最高概率 token 设置最小概率阈值,比 top-p 更鲁棒。

Typical Sampling:基于信息量(entropy)而非概率大小进行采样,更符合人类写作特点。


十二、多模态

12.1 视觉语言模型(VLM)架构

graph LR
    IMG[图像] --> VE[视觉编码器<br/>CLIP ViT]
    VE --> PROJ[投影层<br/>Linear/MLP/Perceiver]
    PROJ --> LLM[LLM Decoder]
    TEXT[文本 tokens] --> LLM
    LLM --> OUT[输出]

三种对齐方式:

方法投影层代表模型
Linear Projection单层线性LLaVA-1
MLP Projection2层 MLPLLaVA-1.5
Cross-AttentionQ-Former / PerceiverBLIP-2、Flamingo
直接拼接 token无PaLI

训练阶段:

  1. 特征对齐:冻结 ViT 和 LLM,只训练投影层(用图文对数据)
  2. 指令微调:解冻 LLM(或 LoRA),用视觉指令数据微调

12.2 视觉 Token 压缩

高分辨率图像产生大量 visual token($224^2/14^2 = 256$),压缩方法:

  • Pooling:平均池化,最简单
  • Q-Former:固定数量的可学习 query token 从视觉特征中提取信息
  • Dynamic Resolution:将图片按原始比例分 tile,动态调整 token 数(LLaVA-Next)

12.3 CLIP 训练

对比学习目标:拉近匹配的图文对,推远不匹配的:

\[\mathcal{L}_\text{CLIP} = -\frac{1}{N}\sum_{i=1}^N \left[\log \frac{e^{\text{sim}(z_i^I, z_i^T)/\tau}}{\sum_j e^{\text{sim}(z_i^I, z_j^T)/\tau}} + \log \frac{e^{\text{sim}(z_i^T, z_i^I)/\tau}}{\sum_j e^{\text{sim}(z_i^T, z_j^I)/\tau}}\right]\]

温度参数 $\tau$ 可学习,OpenAI CLIP 最终约为 0.07。


附录:面试常问一句话答案

Q:为什么 Transformer 比 RNN 好? A:并行计算(RNN 串行依赖上一步),任意距离依赖均为 $O(1)$(RNN 为 $O(n)$),更容易训练超大规模模型。

Q:Self-Attention 的时间复杂度是多少?为什么长序列慢? A:$O(n^2 d)$,每对 token 都要计算相似度,序列加倍则计算量变为 4 倍。

Q:LayerNorm 放在哪里更好(Pre-LN vs Post-LN)? A:Pre-LN 训练更稳定,不需要仔细调 Warmup,现代 LLM 均采用 Pre-LN。

Q:LoRA 为什么有效? A:预训练模型权重更新的本征秩很低(low intrinsic rank),LoRA 用 $r \ll d$ 的低秩矩阵近似全量更新。

Q:DPO 和 PPO 最大的区别? A:DPO 无需奖励模型和强化学习循环,直接用偏好数据优化策略,更简单稳定;PPO 在线生成样本,探索更充分但工程复杂。

Q:KV Cache 是什么,为什么能加速推理? A:缓存历史 token 的 Key 和 Value,避免每步都重新计算,decode 阶段从 $O(n^2)$ 降到 $O(n)$。

Q:INT8 量化为什么不直接对所有权重做? A:LLM 激活值中存在少量极端异常值(outlier),这些维度若量化到 INT8 会损失大量信息,LLM.int8 对 outlier 维度保留 FP16。

Q:投机采样(Speculative Decoding)的加速来自哪里? A:draft model 快速生成 $k$ 个 token,target model 并行验证,将 $k+1$ 次串行 decode 变为 1 次并行 prefill,利用了大模型 prefill 的高并行度。

Q:RLHF 中奖励 Hacking 是什么?如何避免? A:模型优化到奖励模型的 proxy 而非真实目标(Goodhart’s Law),通过 KL 惩罚限制偏离程度、使用多个 RM ensemble、定期更新 RM 缓解。

Q:Flash Attention 为什么快但结果一样? A:通过 tiling 在 SRAM 上计算,避免读写 HBM 的 $n^2$ 注意力矩阵,用在线 softmax(log-sum-exp)合并分块结果,数学上完全等价。

Q:为什么 BF16 比 FP16 更适合 LLM 训练? A:BF16 指数位更多,表示范围与 FP32 相同(不容易溢出),不需要 GradScaler;FP16 精度更高但范围小,梯度更新时容易下溢。

Q:GQA 和 MQA 的区别? A:MQA 是所有 Query 头共享 1 组 KV;GQA 是每 $h/g$ 个 Query 头共享 1 组 KV,是 MHA 和 MQA 的插值,质量更接近 MHA。

Q:Scaling Law 告诉了我们什么? A:给定计算预算,最优的做法是模型参数量和训练 token 数等比增长(Chinchilla 定律:最优 token 数约为参数量的 20 倍)。

Q:为什么大模型用 AdamW 而不是 SGD? A:LLM 各层梯度尺度差异极大(embedding 梯度小,头部梯度大),AdamW 的自适应学习率自动平衡各参数的更新幅度,SGD 需要大量精细调参。

文档信息

Search

    Table of Contents