在线评估

它是什么

在线评估是在真实或受控的生产流量中观察 AI 系统的任务效果、用户结果和运行风险。它既包括发布后的质量监测，也包括随机把合格流量分到对照组和处理组的在线实验；只有设计与执行成立的随机对照实验，才能更有力地判断改动是否造成了结果变化。[S1][S2]

为什么需要它

离线数据很难完整复制真实输入、用户行为、工具故障和长期反馈。在线评估能发现训练与服务偏差、数据漂移和真实产品影响，也能检验离线分数提升是否真的帮助用户。但它让真实用户接触候选系统，因此证据价值必须与暴露风险一起管理。

它如何工作

上线前先通过离线 Gate，并声明假设、分流单位、目标人群、主要指标、质量与安全护栏、样本与停止条件。随机实验需要持续记录分流单位、曝光、版本与结果，比较对照和处理差异；非实验监测则要明确只能识别变化，不能自动建立因果。团队从小比例流量开始，持续检查严重错误、延迟和投诉，满足条件后逐步放量，触发护栏时立即停止或回滚。[S1][S2][S3]

必须澄清的误会

在线评估 ≠ 离线评估。 在线看真实用户行为，离线看固定题；前者的代价是慢且可能影响用户，后者的代价是可能与现实脱节。

在线评估 ≠ A/B 测试。 A/B 测试是分流与统计推断的方法；在线评估是「在线上做评估」这件事，可以不依赖随机分流（例如灰度对比历史同期）。

真实例子

企业搜索助手的新排序方案先通过离线相关性评测，再随机向 5% 的内部用户开放。实验以“找到可用答案后不再改写查询”为主要指标，以无依据回答率、人工投诉率和 P95 延迟为护栏。新版任务完成率提高，但无依据回答率超过预设上限，系统自动停止实验并回到旧版。团队不能用完成率增长抵消安全护栏失败。

什么时候适合与不适合

在线评估适合已有稳定流量、能可靠记录曝光和结果，并且候选版本已满足最低安全标准的产品。高风险、不可逆、样本极少或无法取得有效同意的场景，不应为了实验便利直接随机暴露。没有随机化或可信对照时，用户结构、同期发布和季节变化都可能混入结果；标签延迟、组间干扰和短期新奇效应也会误导判断。[S1][S2]

亲自试一下

为一个低风险 AI 功能写一页在线评估方案：一句可证伪假设、一个稳定分流单位、一个主要指标、三个护栏、初始流量比例、停止阈值和回滚负责人。再列出两个无法靠随机实验解决的风险。若你不能确认用户只接触一个版本，或护栏触发后无人能立即回滚，就不应开始实验。

接下来学什么

先以离线评估筛掉明显回归，再用任务成功率定义核心结果；上线后通过可观测性关联曝光与故障，并在AI 风险管理中记录实验权限、残余风险和停止责任。

来源与修订

随机分组、对照实验、因果判断和可信实验边界参考 Microsoft 在线实验研究 [S1]；真实世界指标、数据切片、训练服务偏差和线上质量监测参考 Google 生产 ML 指南 [S2]；小范围受控放量、曝光时长、指标和各环通过条件参考 Microsoft 受控放量研究 [S3]。流量结构、产品指标、实验平台和风险要求变化时需重新设计。