AI 评估

它是什么

AI 评估是用明确的场景、样本、标准和可复现的方法，判断一个模型或一套完整系统在特定条件下表现如何。它既测能力，也找限制、风险与失败模式，为选型、发布和改进提供证据。

它的核心不是「跑个分」，而是建立一条可复现的对照线：改动之前是什么水平，改动之后是什么水平，差异出在哪一类样本上。没有这条线，任何优化都无从判断。

为什么需要它

因为生成式 AI 的输出是变动的。同一个问题两次回答不同；调一个参数，一部分变好、另一部分悄悄变坏，而你在几次试用里根本看不出来。

缺少固定评估时，团队会稳定地退化成两种行为：用几次演示代替证据（挑几个好例子，演示效果很好），以及在小样本上反复调参（越调越贴合那几个例子，实际泛化更差）。

评估的作用就是掐断这两条路：它让「我觉得变好了」必须换成「在这 40 条题上通过率从 62% 升到 74%，且拒答类没有退化」。

它如何工作

标准流程是：先定义使用场景与成功标准 → 再建代表性样本与评分规则 → 选择打分方法 → 跑、复现、读结果。

打分方法按任务性质分：

• 自动指标：适合可结构化验证的任务（格式对不对、字段全不全、检索命中没有）。
• 人工评价：适合开放质量（回答是否有帮助、语气是否合适、结论是否站得住）。
• 模型当评委：规模化的折中方案，但需要先和人评校准，且要定期复查漂移。
• 红队与现场测试：前者主动找攻击面，后者观察真实人机互动里发生的事。NIST 的 ARIA 试点就是把模型测试、红队和现场测试组合起来使用的一例。

一个必须坚持的工程习惯：评分标准要在看结果之前写定。 先看结果、再定义「什么算对」，评估就退化成了给自己找理由。

必须澄清的误会

评估 ≠ 评测集。 评测集只是其中一件材料。完整的评估还包含「这类任务算成功的标准是什么」「谁按什么规则打分」「结果怎么复现」。只有题、没有量规和流程，你得到的是几十条散落的样例，不是结论——而且没有量规时，两位评审对同一份答案的打分会差很多，这一点在做第一次双人评审时会立刻暴露。

评估 ≠ 观测（可观测性）。 两者方向相反、互补：评估是抽样下结论——你事先设计题目，回答「整体变好了吗」；观测是全量看现场——你把线上真实发生的事记下来，回答「哪里在出错」。评估能给你趋势和对照，发现不了你没想到的场景；观测能发现意外，但给不出「改动前后谁更好」的结论。只做其中一个，都会留下盲区。

评估 ≠ 一个平均分。 最关键的一条用法纪律：按业务类型拆开看，不要让高频简单问题掩盖关键失败。 90% 的整体通过率里如果藏着一类高风险问题全军覆没，那个 90% 是有害的——它安慰了你。所以样本要按场景分层，读结果也要分层读。

公开基准不能替代自己的评测集。 两个理由：任务不一致（基准考的和你的用户要的不是一回事），以及污染风险（基准题目可能已经进了训练数据，分数虚高）。基准可以参考，不能作为发布依据。

真实例子

一个客服助手的评测集里同时放进四类样本：常见问题、边界问题、无答案问题、恶意输入。

衡量指标也是多个，不是一个：答案正确性、证据是否支持结论、该拒答时有没有拒答、延迟、人工接管率。

关键在于按业务类型拆分结果。最常见问题也许全对，但如果「退款时效」这一类全军覆没，而它恰好是投诉最多的那一类，那么一个漂亮的总分掩盖的正是唯一重要的事。

这个例子的可复用结论：评测集的设计动作是「按风险分类」，不是「按数量凑齐」。 一类高风险问题放 5 条，比随便塞 50 条通用问题更有价值。

什么时候适合与不适合

适合：模型选型、提示词变更、RAG 调整、上线后的持续监测——任何「改了东西、需要判断有没有变好」的时刻。

不适合被当成万能证据：测试集只代表它覆盖的情境；质量、风险、成本与用户影响通常要多种方法一起判断，一个分数盖不住。也要接受一个现实——评估集本身需要维护，业务变了、用户问题分布变了，题目和量规就得跟着改。

还有一条成本上的取舍：别急着把测试集做大。 出现「两位评审对该怎么打分吵不清楚」时，先修量规，而不是加题——量规没定清楚之前，题越多越乱。

亲自试一下

为一个你真实关心的 AI 功能写 10 条任务和一份统一评分说明，其中故意放进：2 条应该拒答的（材料里没有答案），以及 2 条容易混淆的（看着像、答案不同）。

然后让两位评审独立打分。

全程约 30 分钟。观察点不是谁打得更准，而是两人的分歧出现在哪一类题上。 分歧集中的那一类，就是你的评分说明没写清楚的地方——把量规改到两人能对同一份答案给出相近判断，这个评测集才算能用。

一个判断标准：如果分歧无法解释，不要急着扩大测试集，那只会把模糊的分歧复制 10 倍。

接下来学什么

AI 评估是第 7 站 给判断 · 怎么知道它行不行 的入口概念；本站回答的是「上线之后，你凭什么说它变好了」。

顺着本站展开：样本怎么建，读 评测集 与 评估量规；什么时候测、测什么，区分 离线评估 与 在线评估；让模型当评委要注意什么，读 LLM 当评委；结论是否被证据支持，读 依据性。

还要看线的另一头：评估的搭档是 可观测性——一个抽样下结论，一个全量看现场。

来源与修订

「测量、指标、标准与上下文重要性」这组概念框架参考 NIST 的 AI Measurement and Evaluation 页面；把模型测试、红队与现场测试组合起来的多层次评估方法，参考其 ARIA Pilot Evaluation Report（2025-11-13）。

两处需要说明的维护动作：其一，来源地址已更新——NIST 原先的 TEVV 页面现已 301 跳转到 AI Measurement and Evaluation，本文改用新地址以避免读者落到重定向上；其二，本文刻意不把 evaluation、testing、verification、validation 当作同义词，它们在 NIST 的框架里是相关但不同的活动。

修订日期 2026-09-19：本条由生成模板改为决策页——补「必须澄清的误会」一节（对评测集、对可观测性、对模型当评委），把「按风险分类而非按数量凑齐」写进真实例子，去掉生成期的引用标记，补 boundaries 与 minAction。NIST AI RMF 及配套出版物仍在演进，若框架更新，应优先核对上述两处来源再修订。