🧑💻 面试官：大模型太贵，怎么让小模型学会同样的任务？
🙋♂️ 我：可以让大模型提供训练信号，再训练小模型，这就是知识蒸馏。
🧑💻 面试官：把大模型压成 INT4，是不是也叫蒸馏？
🙋♂️ 我：量化主要改变数值精度，蒸馏需要训练学生模型。
🧑💻 面试官：如果大模型把退款规则说错了，小模型学得越像，岂不是错得越稳定？
蒸馏的关键是「向谁学、学什么」；教师能力强，并不意味着它生成的每条训练数据都可靠。
面试速答（60 秒版）
知识蒸馏是让学生模型学习教师模型提供的信号。教师通常能力更强，学生往往更小，但也可以是不同结构或不同任务定位的模型。
传统蒸馏可以让学生学习教师的概率分布；大模型场景里，也常用教师生成的答案或推理示范，经过筛选以后训练学生。
它和微调并不是互斥关系。蒸馏说明训练信号来自教师，微调说明我们怎样继续训练已有模型。量化则主要降低数值精度，通常并不改变成另一套学生网络。
在实际项目里，蒸馏适合把较稳定的任务能力迁移到更便宜的模型，但需要检查教师错误、数据覆盖和学生的能力边界，不能认为小模型能够完整复制大模型。
知识点详解：小模型到底从大模型那里学到了什么？
先从同一个退款任务开始
假设咱们希望使用较便宜的模型回答退款咨询。教师模型能解释多数条款，学生模型成本更低，却经常漏掉生效时间。
可以准备一批覆盖不同商品、日期和退款条件的问题，让教师提供回答，再把核验过的样本交给学生训练。
学生不是在运行时调用教师，也不是把教师的所有权重装进自己。训练以后，它用自己的参数完成任务。至于学得有多好，要看它在新问题上的表现。
学答案，与学概率分布有什么不同？
如果只能获得教师最终输出，就可以用“问题和教师答案”训练学生。对自回归模型而言，这通常是在学习教师给出的 token 序列。
如果还能获得教师的概率分布，学生就可以学习教师对多种可能输出的倾向。比如两个选项都合理，但教师对其中一个更有把握，这种信息只看最终答案未必看得出来。
经典知识蒸馏使用软目标和温度等方法，保留这种分布信息。知识蒸馏原始论文说明了这一思路。但不能声称每次调用在线模型 API 都能获得完整 logits，很多服务只提供最终文本或有限概率信息。
在大模型实践中，用教师生成的数据训练学生也很常见。DeepSeek-R1 报告介绍了利用生成数据训练较小模型的做法。它是一条具体路线，不是蒸馏必须采用的唯一方式。
教师写了一长段推理，就值得全部收进来吗？
未必。推理写得长，只说明输出长，不能证明步骤都正确。
退款例子里，教师可能引用了已经过期的条款，还给出一套听起来顺畅的解释。如果直接训练，学生就会一起学到这个错误。
因此，样本需要和权威条款、标准答案或可执行结果核对。无法检查的复杂推理，不应该仅凭教师“很强”就作为真值。还要覆盖无法回答、条件不足以及应该补问的情况，否则学生容易学成一个永远给结论的客服。
另外，重复的数据不等于新的覆盖。收集很多相似问题，未必能教会学生处理月底边界和特殊退款条件。
蒸馏、微调、量化，各改了什么？
蒸馏关注训练信号：学生学习教师提供的分布、答案或其他信息。
微调关注继续训练：在已有模型上更新参数，让它适应任务。使用教师答案做监督微调，就同时涉及蒸馏和微调。
量化关注数值表示：把相关权重或其他张量改成较低精度，以节省资源。学生训练完以后还可以量化，但这两步解决的是不同问题。
因此，不能把三者排成“高级、中级、低级”的替代方案。先确定是想学会业务任务，还是想降低同一模型的部署成本，再决定采用什么组合。
面试官继续追问
学生模型会不会超过教师？
在某个范围明确的任务上，有可能。例如学生接受了更针对性的训练与筛选，可能在该任务评测中更稳定。
但这不代表它在所有任务上都超过教师。评测需要保留未训练的新问题和分布变化，不能只在教师生成的训练题上比较。
为什么不能一直调用教师生成数据？
费用只是一个问题，数据质量与覆盖同样重要。
教师可能反复生成相似样本，或把自己的系统性错误重复很多遍。还需要遵守模型服务条款、数据使用约定和隐私要求，不能默认所有输出都可以任意用于训练。
怎样确认便宜的小模型真的可以替换？
在相同业务样本上比较正确率、补问和拒答行为、延迟及每次成功任务的费用。
对特殊或高风险任务，可以保留升级到强模型或人工处理的路径。替换应该按任务范围进行，不是拿到一个平均分就把所有请求全部切过去。
面试速记卡
- 蒸馏：学生学习教师提供的训练信号。
- 信号类型：概率分布、答案、示范等，取决于实际可获得的信息。
- 微调关系：教师数据可以用于微调，两者并不互斥。
- 量化区别：改变数值精度，不等于训练另一套学生模型。
- 验收重点：教师错误、样本覆盖、新问题表现和替换范围。
