指令微调

它是什么

指令微调是用“自然语言指令、可选输入、期望输出”组成的任务数据继续训练模型，使模型更能按照任务描述产生回答。它属于微调和后训练的一种做法，训练时会更新模型参数；只在使用时改写提示词不属于指令微调。[S1][S2]

为什么需要它

预训练模型学到语言模式后，仍可能不知道用户给出的句子是在要求分类、摘要、改写还是解释。指令微调把多种任务统一表达为自然语言要求，让模型练习从任务描述映射到期望输出。FLAN 的实验显示，这种多任务指令训练在其评估范围内提升了未见任务类型的零样本表现。[S1]

它如何工作

团队收集多种任务，为每种任务编写一个或多个指令模板，并把指令、输入和参考输出组成训练样本。训练过程根据模型输出与参考输出之间的损失更新参数。FLAN 使用六十多项自然语言处理任务的指令化版本训练同一个模型；任务数量、模型规模和自然语言指令都影响实验结果。[S1] InstructGPT 则把标注者示范用于监督微调，再进入后续偏好训练。[S2]

必须澄清的误会

指令微调 ≠ 微调。 指令微调通常指厂商在通用指令数据上做的那一轮对齐，是模型的出厂设置；微调是你用自己数据做的再训练。

指令微调 ≠ 后训练。 后训练是预训练之后所有阶段的统称，指令微调与人类反馈对齐都在其中，是更大的集合。

真实例子

一个企业助手需要处理“把工单归类”“提取产品名”和“用两句中文总结”三类请求。训练样本不能只有问题文本，还要明确写出指令和合格输出。团队可保留一批从未参与训练的新工单，观察模型是否真正按指令完成任务，而不是记住训练样本中的表达。

什么时候适合与不适合

适合任务能用清晰指令表达、存在足够高质量示范，并希望同一模型处理多类相近任务的场景。数据范围过窄、指令互相冲突或参考答案质量差时，模型会学习这些缺陷。指令微调不自动包含偏好排序、强化学习或完整安全对齐，也不能把论文中的零样本提升外推到所有领域。[S1][S2]

亲自试一下

目标是写出可训练而非只可演示的数据。为“从客户留言提取问题类型”制作六条样本，每条包含指令、输入和唯一可检查的期望输出；再写三条换一种说法的留出样本。若验收只能评价“看起来不错”，应先补充标签规则和错误分类标准。

接下来学什么

先比较提示词与训练数据的差别，再阅读微调理解参数如何更新；接着学习后训练和AI 评估，判断指令遵循之外还需要哪些偏好、安全与任务指标。

来源与修订

多任务指令模板、训练方法与零样本实验参考 FLAN 论文 [S1]；示范数据的监督微调及其与后续偏好训练的关系参考 InstructGPT 论文 [S2]。本文把实验结果限定在论文设置中，不把指令微调写成提示工程或完整对齐流程。