微调

它是什么

微调是在已有预训练模型基础上，使用下游任务或领域数据继续计算损失并更新模型参数，使模型适配更具体目标的方法。它复用模型已有表示，不必为每个任务都从随机参数开始训练；但“适配”还可以通过提示或轻量参数方法完成，不能与微调完全画等号。[S1][S2]

为什么需要它

从零训练模型通常需要更多数据和计算，而通用模型的默认行为未必匹配具体标签、输出格式或领域任务。BERT 展示了同一套预训练表示经过任务微调后，可以用于问答、自然语言推断等多种任务，并且不需要为每个任务重新设计复杂模型结构。[S1]

它如何工作

团队先选择基础模型和任务数据，定义输入、目标输出、损失函数及评估集，再从预训练参数出发继续优化。训练误差沿模型反向传播，优化器据此更新全部或部分可训练参数。BERT 的做法是在预训练模型上增加较小任务输出层，再联合微调模型参数。[S1] 实际项目还要记录数据版本、超参数、模型产物和独立评估结果。

必须澄清的误会

微调 ≠ 检索增强生成。 微调改「怎么做」，检索改「知道什么」。要它掌握公司内部信息该用检索，要它稳定按某种格式答题才考虑微调。

微调 ≠ 指令微调。 指令微调是模型厂商用通用指令数据做的对齐训练，让模型学会听指令；微调是你在此基础上用自己数据做的二次训练。

真实例子

一家售后团队要把工单分成物流、退款和产品故障。它可以从预训练文本模型出发，用已审核的历史工单和标签微调分类模型，再用时间上更新的一批工单做留出测试。若新产品上市后错误率上升，团队需要补数据或重新评估，而不能只依赖训练集准确率。

什么时候适合与不适合

适合任务稳定、有足够代表性数据、输出可评估，并且预期收益能够覆盖训练和维护成本的场景。数据少、标签不一致或现实分布持续变化时，微调可能学到偏差或只适合训练分布。Stanford CRFM 指出，提示式和轻量适配也可能提供更好的准确率与效率权衡，因此应与不训练的基线一起比较。[S2]

亲自试一下

目标是判断是否值得更新模型参数。为一个工单分类任务列出可用训练数据量、标签质量、留出集、当前提示方案指标、微调目标和可接受维护成本。只有当微调方案在同一测试集上超过简单基线，并且错误类型满足业务要求时，才把它作为候选方案。

接下来学什么

先回顾预训练理解参数起点，再比较指令微调和参数高效微调；结合训练数据与AI 评估检查数据代表性和任务收益。

来源与修订

预训练表示、任务输出层与下游联合微调参考 BERT 论文 [S1]；微调作为基础模型适配方式及其与轻量、提示方法的权衡参考 Stanford CRFM 报告 [S2]。本文未在缺少专项来源时展开 LoRA、遗忘问题或具体超参数建议。