AI 能力边界

它是什么

AI 能力边界是系统在指定任务、输入、用户群、运行条件和评价指标下，已经证明能达到可接受表现的范围，以及范围之外已知或尚未知的失败方式。边界不是一句“AI 可能犯错”的免责声明，而是一张证据地图：哪些条件在范围内、哪些明确不支持、哪些仍需测试。NIST AI RMF 和 HELM 都强调能力结论必须绑定使用情境与评价条件。[S1][S2]

为什么需要它

同一系统可能在清晰文本上可靠，在模糊图片、少数语言或新业务规则下迅速退化。若团队只写“模型准确率 90%”，用户和运营人员无法判断什么时候能依赖它、什么时候应转人工。明确边界能指导产品入口、拒绝策略、人工监督和监测，也能避免把局部基准成绩误当成通用能力。

它如何工作

先建立范围矩阵，列出任务类型、输入质量、语言或用户群、数据时效、工具权限和部署环境。为每个重要组合定义质量、稳健性、延迟、风险等指标，在接近真实部署的条件下测试，并记录样本覆盖与置信程度。最后把结果分为支持、限制和未知三类，为限制区设置拒绝、降级或人工接管，并持续把生产失败补回评测。NIST 要求记录知识与泛化限制；HELM 展示了跨场景和多指标比较的必要性。[S1][S2]

必须澄清的误会

能力边界 ≠ 幻觉。 幻觉是越界之后表现出来的一种症状——模型在它不掌握的地方编出了一个像样的答案。能力边界回答的是更靠前的问题：这个范围划到哪里、边界上剩下的是拒绝、降级还是静默的错误答案。只盯着「它会不会编」，会让你漏掉那些不编但悄悄做错的情况。

能力边界 ≠ 模型排名。 榜单给的是别人的任务、别人的数据、别人的评价标准；你关心的是自己的输入分布和容错要求。同一份测评结果，在两个场景里可以得出完全相反的结论。

它不是一次性的结论。 换模型版本、改提示写法、更新资料库，边界都会移动。把边界写下来是必要的，但要说清它对应的版本与时间，否则那张表会变成一份没人敢信的旧文件。

真实例子

发票录入系统在标准电子 PDF、中文增值税发票和金额低于十万元的单据上，通过代表性测试达到上线标准，这是边界内。手写票据和严重倾斜照片的字段漏检率过高，属于边界外，应拒绝自动录入并转人工。境外多语种发票没有足够样本，属于未知区，不能默认沿用中文测试结果。新模板出现时，系统先降级并收集样本，而不是静默扩张边界。

什么时候适合与不适合

任何会重复使用、影响用户决定或产生外部动作的 AI 系统都应维护能力边界。低风险探索可以采用较轻量的范围说明，但仍不能省略输入条件和失败提示。测试越全面成本越高，边界也会随模型、提示、数据和工具版本变化；因此它不是一次性认证，更不是保证系统在范围内永不失败。[S1][S2]

亲自试一下

为一个 AI 功能画三列：边界内、边界外、未知。至少从任务、输入质量、语言、数据时效和权限五个维度各放入一个例子，并为每项写证据、用户提示和退路。如果某项只有“模型应该能做”而没有代表性测试，就把它移到未知列。再规定什么新证据允许它进入边界内。

接下来学什么

先学习人工智能理解系统范围，再用模型能力评估单个模型在指定任务上的表现；产品落地时结合人在回路和人工升级处理承接边界外情况。

来源与修订

预期用途、部署条件、知识限制、泛化范围和监督要求参考 NIST AI RMF Core [S1]；场景分类、多指标评价、标准化条件和覆盖不足参考 HELM [S2]。具体能力、基准覆盖与失败模式会随模型和系统版本快速变化，边界记录必须与实际部署版本绑定。