离线评估

它是什么

离线评估是在不把候选版本直接暴露给实时用户的条件下，使用固定或可重放的数据、任务和评分规则，重复测量模型或完整 AI 系统表现的过程。它可以比较提示词、模型、检索和工具链版本，但结论只对已声明的样本、配置和评分方式成立。[S1][S2]

为什么需要它

生成式系统同一输入可能产生不同结果，修改一个组件也可能修好当前案例却引入其他回归。离线评估让团队在上线前用相同条件快速筛选候选方案，定位具体失败，并把“演示看起来不错”变成可以重跑的发布证据，同时避免让真实用户承担早期试错。

它如何工作

先定义成功标准和不能接受的失败，再建立包含典型、边界、对抗和历史生产案例的评测集，并把用于改进的样本与最终保留集分开。固定模型、提示词、工具、采样参数和评分器版本，按需要多次运行；使用代码检查、人工量规或经过人工校准的模型评分，并按重要任务与人群切片比较候选版本。新生产失败应进入后续评测集，但不能悄悄改写本次基线。[S1][S2]

必须澄清的误会

离线评估 ≠ 在线评估。 离线评估用历史与构造数据在发布前跑；在线评估用真实流量的实验结果说话，后者更真但更贵更慢。

离线评估 ≠ 评测集。 评测集是离线评估用的那份题；离线评估还包括跑法、判分与人机一致性检查，评测集只是其中一个输入。

真实例子

客服问答系统准备 240 条脱敏案例，其中 160 条用于开发、80 条只用于最终比较。团队同时检查答案正确性、引用是否支持结论、拒答是否合理、延迟和成本；每个候选版本运行三次。新版平均分上升，但在“账户冻结”切片出现两次危险漏判，因此未通过发布 Gate。团队先修复再对同一保留集复测，而不是挑选新版答得好的例子展示。

什么时候适合与不适合

离线评估适合频繁迭代、需要回归门禁或上线风险较高的 AI 功能，也适合真实流量不足时建立初始证据。它不适合单独回答用户是否愿意采用、产品指标是否改善或改动是否造成线上结果。数据过时、标签泄漏、评分器偏差、训练测试污染和单次随机运行都会制造虚假进步。[S1][S2]

亲自试一下

为一个 AI 功能建立 20 条小型评测集：10 条常见输入、5 条边界输入、3 条已知失败和 2 条对抗输入。预先写出一个自动检查和一个人工量规，冻结当前版本为基线，让候选版本各运行两次。只有关键失败不增加、评分规则能由两个人一致执行，并且保留集未参与修改，候选版本才通过。

接下来学什么

用评测集管理样本和版本，以评估量规统一开放式判断，再通过在线评估验证真实使用影响，并用可观测性把生产失败回流到下一轮离线评估。

来源与修订

任务目标、代表性数据、评分器组合、人工校准和持续评测方法参考 OpenAI 评估最佳实践 [S1]；时间顺序测试、训练与服务一致性以及生产指标边界参考 Google Rules of ML [S2]。评测平台本身可能更名、迁移或停止服务，本文结论只依赖可重复评测方法；模型版本、数据分布和评分能力变化后仍需复核。