知识蒸馏：面试问题与推荐回答

计算 $\mathrm{KL}(p_S \| p_T)$ 的梯度需要对学生分布而非教师分布取期望。MiniLLM 使用策略梯度（REINFORCE 配合教师提供的基线）从在线学生样本中获得无偏梯度估计——比正向 KD 代价更高，后者只需一次教师前向传播。Gu et al. (2024) 评估了将 GPT-2-XL 蒸馏到 GPT-2 系列（120M 至 1.5B 参数），在 Dolly、Self-Instruct 和 S-NI 开放式生成基准上，相比正向 KL 基线取得了一致的提升。

Q12 [进阶] 比较黑盒与白盒 LLM 蒸馏

Q: 两种范式分别假设怎样的信息访问权限，这如何影响所用方法、质量以及法律层面的权衡？

A: 白盒蒸馏（white-box distillation）假设可以访问教师的内部状态：每个解码步骤的词表概率分布、隐藏激活或注意力模式。这使得更丰富的迁移信号成为可能——token 级软标签（如 DistilBERT 和 TinyBERT 中所用）、中间层监督或反向 KL 目标（MiniLLM）。完整的 token 分布每个训练样本所携带的信息远多于单个采样 token。

黑盒蒸馏（black-box distillation）只假设 API 级别的访问：学生观察输入-输出文本对，而无法获取概率或激活。学生在教师生成的补全上进行微调——本质上是在教师输出上做监督微调。Stanford Alpaca 和 Vicuna 等项目展示了这一范式：在 GPT-3.5-turbo 或 GPT-4 生成的补全上微调 LLaMA-7B，无需访问教师内部状态即可获得显著的指令遵循能力。

黑盒蒸馏的核心局限是信息损失：学生在教师的模式（贪心或采样补全）上训练，而非其完整的条件分布。对于存在多个有效续写的任务，教师在备选项上的概率质量所携带的信号被完全丢弃。黑盒蒸馏还带来法律隐患：许多服务提供商明确禁止将 API 输出用于训练竞争模型。

混合方法可以部分弥合这一差距。投机解码（speculative decoding，Leviathan et al., 2023）训练一个小型草稿模型逐 token 近似教师，并行使用教师验证草稿。GKD（Agarwal et al., 2024）通过在训练时提供对部分教师概率质量的访问来实现在线蒸馏，结合了白盒方法的可处理性与黑盒方法的部署灵活性。

Q13 [进阶] 区分序列级与 token 级知识蒸馏

Q: 序列级蒸馏捕获了 token 级蒸馏所缺失的哪些信息，两者的计算代价有何权衡？

A: Token 级蒸馏在教师强制（teacher forcing）下独立训练学生匹配每步的条件分布 $p_T(x_t | x_{

其局限在于曝光偏差（exposure bias）：训练时学生总是看到教师强制的前缀，但推理时自回归生成，早期错误会在后续步骤中累积放大。在教师强制下完美匹配每个条件分布的学生，在自由运行的生成中仍可能严重偏离。

序列级 KD（Kim & Rush, 2016）通过直接蒸馏序列分布来解决这一问题。教师通过束搜索生成完整序列，学生在这一教师生成语料上最大化 $\log p_S(\hat{x})$。由于训练数据由教师输出而非教师强制前缀构成，学生在推理时实际会产生的序列上训练——曝光偏差从构建上得以缓解。

权衡在于数据集成本：生成序列级语料需要对完整训练集运行教师解码器，对大词表和长序列而言代价高昂。token 级蒸馏只需单次前向传播计算软标签。在线方法如 MiniLLM（Gu et al., 2024）通过在训练期间从学生采样，将序列级思想与持续适应相结合，避免了一次性的语料生成成本，同时保留了在线分布对齐。

视觉模型蒸馏

Q14 [基础] 解释 DeiT 的蒸馏 token 机制

Q: DeiT 如何将教师监督融入 ViT 训练，哪种类型的教师效果最好？

A: DeiT（Touvron et al., 2021）在 ImageNet-1k 上训练视觉 Transformer，无需原始 ViT 所依赖的大规模外部数据集。核心机制是蒸馏 token（distillation token）：一个可学习向量，与类别 token 一起被追加到输入块序列中。与类别 token 一样，蒸馏 token 通过自注意力与所有图像块 token 交互，并在输出处投影为 logit——但它由教师预测而非真实标签监督：

其中 $y_T$ 是教师的 top-1 预测（硬蒸馏）或软化分布（软蒸馏）。两个 token 在整个前向传播中通过注意力交互，但接受独立的监督信号。

Touvron et al. (2021) 发现CNN 教师（特别是 RegNetY-160）对 DeiT 的效果优于 Transformer 教师。这归因于归纳偏置互补性：CNN 教师编码了平移等变性，促使 ViT 学生发展出局部敏感性，这对 ImageNet 有益，尽管架构上并未强制要求。使用 RegNetY-160 教师的 DeiT-B 在 ImageNet 上达到 85.2% 的 top-1 准确率，仅在 ImageNet 数据上训练——这一结果此前只有在 JFT 预训练的 ViT 上才能实现。

Q15 [进阶] 分析容量差距问题与教师助理蒸馏

Q: 什么情况下更大的教师反而产生更差的学生，教师助理策略如何从根本上解决这一问题？

A: 容量差距（capacity gap）问题在教师与学生架构规模差异较大时出现。尽管直觉上更强的教师应该总能产生更好的学生，Mirzadeh et al. (2020) 在 CIFAR-10/100 和 ImageNet 上的实验表明，学生准确率在教师规模达到某个中间值时达到峰值，之后随教师继续增大而下降。超大教师的决策面可能过于复杂，小学生无法近似——蒸馏梯度变得条件不良，学生收敛到次优解。

教师助理（Teacher Assistant，TA）策略在教师与学生之间插入中间容量网络：$T \to TA \to S$。每步以更小的倍率压缩，使每阶段的容量差距保持可控。对于参数量为 $N_T$ 的教师和 $N_S$ 的学生，单个 $N_{TA} \approx \sqrt{N_T \cdot N_S}$（几何均值）的 TA 能均衡两个压缩比。

Mirzadeh et al. (2020) 在各架构上展示了一致的提升：对于 CIFAR-100 上的 WRN-40-2 教师和 WRN-16-1 学生，插入 WRN-40-1 的 TA 使学生 top-1 准确率提升了约 1.2 个百分点。多层助理情况下提升依然持续，但收益递减。

主要的实践代价是训练预算倍增：TA 本身必须先从教师蒸馏得到，才能训练最终学生，对 $k-1$ 个助理而言相当于串联 $k$ 次蒸馏。这使得 TA 在主要瓶颈是蒸馏质量而非训练时间、且师生容量比大幅超过 $10\times$ 时最为值得。

Q16 [进阶] 识别稠密预测模型蒸馏的挑战

Q: 目标检测和语义分割任务与图像分类相比，如何使知识迁移变得更为复杂，哪些策略可以应对这些复杂性？

A: 分类蒸馏每张图像传递一个固定长度的 logit 向量。稠密预测模型输出空间结构化的结果——检测中在多特征金字塔层级上的边界框和类别分数，或语义分割图——驱动定位质量的中间特征图与最终分类头同等重要。将软 logit 匹配（Hinton et al., 2015）简单应用到检测头上，忽略了编码定位所需空间上下文的骨干网络特征。

一个核心复杂性是特征空间蒸馏中的前景-背景不平衡（foreground-background imbalance）。将 FitNets 风格的损失简单应用于骨干网络的空间特征，迫使学生在所有 $H \times W$ 位置复制激活，其中绝大多数对应背景。这使梯度充斥低信息量的信号，稀释了来自学生最需要学习的少数前景位置的监督。Wang et al. (2019) 表明，按预测前景概率对蒸馏损失加权——在教师识别为含目标的区域施加更大惩罚——显著提升了两阶段检测器的迁移效果。

对于多尺度架构，在特征金字塔网络（FPN）输出处（而非仅在骨干特征处）施加蒸馏损失，能更有效地传递多尺度上下文，因为 FPN 特征直接馈入检测头。跨具有不同骨干步幅架构的匹配需要仔细对齐师生特征图的空间位置。

对于稠密语义分割，匹配 $H \times W$ 逐像素激活是内存密集型操作。仅在语义显著的空间位置进行选择性蒸馏——通过教师自身的置信度或注意力模式识别——可在降低内存成本的同时，将监督聚焦于对精确边界划定最关键的位置。

Q17 [进阶] 将 DINO 解析为自监督自蒸馏框架

Q: DINO 如何在无标签的情况下应用蒸馏学习视觉表征，其注意力图为何会产生可解释性？

A: DINO（Caron et al., 2021）——无标签蒸馏（Distillation with No labels）——训练学生 ViT 匹配动量教师（momentum teacher）的输出：一个从不被梯度下降直接更新的学生权重指数移动平均（EMA）：

其中 $m$ 在训练期间从 0.996 增大到 1。教师因此提供一个时间上稳定、在表征质量上略领先于学生的目标，避免了对称互学习的不稳定性。

训练目标是学生在图像强增强视图上的输出与教师在弱增强视图上的输出之间的交叉熵。中心化（centering）操作——从教师输出中减去滑动均值——在无需负样本对、对比损失或显式正则化的情况下防止维度坍塌。全程不使用任何标签。

一个显著的涌现性质是，DINO 的最后一层自注意力头在没有任何分割监督的情况下，以较高准确率分割出前景目标。每个注意力头关注不同的语义一致区域，将它们组合可以在某些基准上恢复出与有监督分割基线相当的目标掩码。Caron et al. (2021) 报告，使用 DINO 训练的冻结 ViT-S/8 通过 $k$-NN 分类在 ImageNet 上达到 74.5% 的 top-1 准确率。

从蒸馏角度来看，DINO 证明：学生的强增强与教师的弱增强之间的非对称性，结合 EMA 稳定化，构成了足够强大的自监督信号，无需任何外部教师或标签即可学习可迁移的视觉表征。

前沿与开放问题

Q18 [基础] 对比在线与离线知识蒸馏

Q: 在线蒸馏如何消除对预训练教师的依赖，相比离线方法有何权衡？

A: 在离线蒸馏（offline distillation）中，流程是顺序的：训练大型教师至收敛，冻结它，再将其蒸馏到学生中。教师的预测在整个学生训练过程中保持静态，代表一个固定的质量上限。

在线蒸馏（online distillation）同时训练教师与学生（或多个对等网络），消除了对预训练教师的要求。深度相互学习（Deep Mutual Learning，DML；Zhang et al., 2018）是典型代表：两个相同架构的网络协同训练，每个网络在标签上最小化交叉熵，同时向另一个网络的当前预测最小化 KL 散度。两个网络均未被冻结，通过相互监督在整个训练过程中持续提升。

在线蒸馏的优势是无需大型预训练模型，降低了总训练预算。劣势是训练早期两个网络都较弱，它们交换的软标签可能携带很少有用信息，甚至具有误导性。来自完全收敛的大容量教师的离线蒸馏从第一次迭代起就提供稳定而强大的训练信号。

混合方法通过将学生检查点的 EMA 构建为缓慢移动的教师来部分调和这些权衡——教师在整个训练过程中持续更新，但足够稳定以提供高质量软标签。这是 DINO（Caron et al., 2021）在自监督场景中使用的机制，也与半监督学习中的均值教师（mean-teacher）方法密切相关。

Q19 [进阶] 解释再生网络为何能超越等容量教师

Q: 再生网络的成功揭示了软标签在知识蒸馏中扮演怎样的角色？

A: 再生网络（Born Again Networks，BAN；Furlanello et al., 2018）挑战了知识蒸馏的标准理由。传统解释认为，更大、更准确的教师传递了学生仅凭标签无法习得的优越知识。BAN 通过证明一个架构和容量完全相同的学生，在以该教师作为 KD 来源训练后能超越其教师，推翻了这一解释——这一结果无法用教师知识更优来解释，因为学生拥有相同的表征容量。

这种提升跨代持续：BAN 第一代学生超越原始教师，$k$ 代 BAN 的集成效果进一步提升（Furlanello et al., 2018），但每代的增益递减并最终趋于平稳。

研究者提出了若干机制来解释这种提升。其一，软标签提供隐式标签平滑（implicit label smoothing）：学生训练时面对的是一个惩罚过度自信预测的分布，而非硬性 0/1 标签，在决策边界附近产生方差更低的梯度估计。其二，软标签中的类间结构编码了暗知识——已学习的类间相似性——将学生约束到独热训练所缺失的有利于泛化的参数区域。其三，软标签目标可能以有利于更平坦损失盆地（具有更好测试泛化性）的方式扭曲损失景观，即便教师的测试准确率与学生在标准训练下所能达到的一致。

实践含义是，即使没有更大的教师，自蒸馏也是一个有竞争力的正则化器，在特定架构上常常与 dropout 和标签平滑持平甚至超越。它还为在固定容量网络上进一步榨取性能的迭代蒸馏方案提供了动机。

Q20 [进阶] 分析无数据知识蒸馏及生成式策略

Q: 无数据蒸馏为何在根本上比标准 KD 更困难，生成对抗方法如何解决了核心挑战？

A: 标准知识蒸馏需要数据流经教师以获取软标签。无数据 KD（data-free KD）必须在无法访问任何真实训练数据的情况下进行蒸馏——这一场景源于隐私约束、许可限制，或部署后原始训练集不可用的场景。

核心困难在于：没有输入，教师的知识就无法访问——其软标签、中间激活和注意力图全都以数据为条件。学生无法在不先合成能有效激活教师的输入的情况下计算任何蒸馏梯度。

早期方法（Lopes et al., 2017）在教师训练期间存储激活统计量——逐层的均值激活和协方差矩阵——然后在蒸馏时从这些元数据重建合成训练图像。这避免了存储原始数据，但需要提前收集元数据。

生成对抗（generative adversarial）方法通过与学生联合训练生成器 $G$ 来避免这一问题。DAFL（Fang et al., 2019）最小化组合目标：

其中 $\mathcal{L}_\text{one-hot}$ 奖励生成教师以高置信度分类的图像（鼓励生成具有类别判别性的样本），$\mathcal{L}_\text{ie}$ 奖励跨类别的信息熵（防止生成器坍缩为单一易判别的类别）。学生在这些生成输入上以教师输出为标签进行训练。

持续存在的挑战是生成器模式坍塌（generator mode collapse）：若无多样性约束，$G$ 倾向于生成少数最大化教师置信度的合成图像，仅覆盖教师决策面的一个子集。近期方法利用教师的批归一化统计量作为真实数据分布的代理——即便没有训练数据，这些统计量仍可获取——将生成器正则化到产生符合教师训练时特征分布的激活，从而显著提升覆盖度和下游蒸馏质量。

快速参考

参考文献

• Hinton et al., Distilling the Knowledge in a Neural Network (2015)
• Romero et al., FitNets: Hints for Thin Deep Nets (2015)
• Zagoruyko & Komodakis, Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer (2017)
• Park et al., Relational Knowledge Distillation (2019)
• Tian et al., Contrastive Representation Distillation (2020)
• Sanh et al., DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter (2019)
• Jiao et al., TinyBERT: Distilling BERT for Natural Language Understanding (2020)
• Gu et al., MiniLLM: Knowledge Distillation of Large Language Models (2024)
• Agarwal et al., GKD: Generalized Knowledge Distillation for Auto-regressive Sequence Models (2024)
• Kim & Rush, Sequence-Level Knowledge Distillation (2016)
• Touvron et al., Training data-efficient image transformers & distillation through attention (2021)
• Mirzadeh et al., Improved Knowledge Distillation via Teacher Assistant (2020)
• Wang et al., Distilling Object Detectors with Fine-Grained Feature Imbalance (2019)
• Caron et al., Emerging Properties in Self-Supervised Vision Transformers (2021)
• Zhang et al., Deep Mutual Learning (2018)
• Furlanello et al., Born Again Neural Networks (2018)
• Fang et al., Data-Free Adversarial Distillation (2019)
• Lopes et al., Data-Free Knowledge Distillation for Deep Neural Networks (2017)
• Leviathan et al., Fast Inference from Transformers via Speculative Decoding (2023)