AI 护栏

它是什么

AI 护栏是在运行时拦得住的那几道检查。它有三个限定，缺一个就变成别的东西：

• 运行时——不是文档里的规定，是请求真的流过时执行的判断；
• 可重复——同一个输入，每次都被同样地处理，而不是靠人现场判断；
• 有确定的失败动作——拦下来之后做什么（拒绝、降级、转人工）是预先写好的。[S1]

按位置分，护栏通常布在四个时点：输入（用户提交的内容）、上下文（被拼进提示的检索结果与外部内容）、工具执行（模型要求调用某个能力时）、输出（模型生成的内容在返回给用户或写入系统前）。

为什么需要它

因为模型输出是概率性的，而业务后果不是。同一句提示词跑十次，可能九次合规、一次越界；对模型来说这只是一次采样，对业务来说那一次可能是一笔转错的钱或一条对外发出的错误信息。

护栏的作用是把「概率性的输出」和「确定性的后果」之间加一道确定性的关口。它的价值不在于提高模型答对的概率，而在于让答错的时候后果可控——这两件事经常被混在一起讨论，导致投入放错位置。

NIST AI RMF 把这类控制放在「管理」与「测量」这两类动作里：先识别风险、再安排由谁在哪个时点处理。护栏是这些安排中被程序化执行的那一部分。[S1][S2]

它如何工作

一个可维护的护栏集合，通常由四类机制组成，各自覆盖不同的东西：

• 规则与校验（确定性）：格式、长度、枚举值、参数范围、必填字段。这类检查最便宜也最可靠，应该优先用足——能用规则表达的，不要交给分类器。
• 分类器与过滤器（概率性）：识别高风险输入输出，如安全过滤器、敏感信息检测。它带来覆盖长尾的能力，同时引入误判率，所以必须配人工兜底。
• 权限与授权（结构性）：这一步允许调用哪些工具、访问哪些数据、能改什么。权限是最强的一种护栏，因为它不依赖模型是否听话。
• 执行后检查（兜底）：动作已经发生，检查结果是否符合预期，不符合则触发回滚或告警。它拦不住错误，但能限制错误停留的时间。

四条要一起看的原因在于它们的能力边界不同：规则与分类器处理内容，权限处理能力，后检查处理后果。只用其中一条，都会留下一类拦不住的路径。

必须澄清的误会

AI 护栏 ≠ 安全过滤器。 安全过滤器是护栏的一种实现，管的是「这段内容危不危险」。护栏的范围更大：它还管「这个动作允不允许」（工具权限）、「这些参数合不合法」（参数校验）、「做完之后对不对」（执行后检查）。只部署一个内容过滤器，却以为已经上了护栏，是最常见的错配。

AI 护栏 ≠ AI 风险管理。 风险管理发生在护栏之前：它决定哪些风险值得拦、由谁负责、可接受的水平是什么。护栏是这些决定的执行结果。顺序反过来——先凭直觉加一堆检查再补文档——会出现大量「拦得住但没人知道为什么拦」的规则，它们在业务变化后无人敢删。

护栏 ≠ 提示词里的禁止项。 在系统提示词里写「不要输出敏感信息」属于软约束，模型大概率会听，但那不是拦得住的东西。真正的护栏要在模型之外执行，因为它要防的恰恰是「模型没听」的情况。

它不是要「修好」模型。 有一种期待是「等模型更安全了，护栏就可以撤掉」。但只要系统同时读外部数据又听指令，提示词注入这类风险就存在，护栏的作用是把这类不可消除的风险限制在可接受的后果范围内，而不是消除它。

真实例子

一个能读写工单系统的助手，其护栏可以这样布：输入侧检查是否包含明显的越权指令（规则 + 分类器）；上下文侧对外部内容做标记与截断，避免外部文本被当作指令（结构性）；工具侧把「读」和「写」拆成两个权限，读默认放行，写必须带工单 ID 且限定在用户所属团队范围内（权限）；输出侧在发送前检查是否包含其他团队的工单内容（执行后检查 + 拒绝）。[S1][S3]

这里的重点是权限那一层承担了主要防护：即使模型被外部内容诱导，它也没有能力去改别的团队的工单。内容层的检查负责减少噪声，结构层的权限负责兜住后果——这个分工比「把所有希望押在一个分类器上」要稳得多。

什么时候适合与不适合

适合：动作有明确的高风险时点（对外发送、资金、删除、权限变更）；内容合规有硬性要求；系统会读入不可信的外部内容。这些场景里，护栏是上线的前置条件。

不适合：把护栏当成弥补流程缺陷的手段。如果问题是「这一步本来就不该自动执行」，正确的做法是加人工确认，而不是加一个「自动判断该不该执行」的护栏——后者只是把同一个判断难题换了个位置。

误拦与静默放行的后果正好相反，但都必须防。 一种是误拦：规则太粗，把正常业务挡住，团队为了赶进度开始绕过它——门上得太急比没门更糟，因为它会让「绕过」变成习惯。另一种是静默放行：检查出错时不报错、直接放过，于是护栏看起来一直在运行，实际早已失效。后者的对策是让每一道护栏都有「检查本身失败时」的默认动作，且默认动作应该是保守的那个。

亲自试一下

挑一个你手上的 AI 场景，用约 40 分钟在纸上列三个高风险时点：

1. 输入：什么样的输入必须被拦下？
2. 工具调用：哪一步动作错了最难撤回？它的权限边界是什么？
3. 输出：在内容发给用户或写入系统之前，必须检查什么？

对每一个时点，写两句话：拦截条件（具体到可执行）和失败时的默认动作（拒绝 / 降级 / 转人工，选一个并说明理由）。写完后按「后果不可撤回」的程度排个序——排在最前面的那个时点，就是你当前最该先补的地方。

接下来学什么

护栏是这一站（给安全）里的「执行层」。它需要三个邻居配合：AI 风险管理 决定哪些风险要拦，人在回路 与 人工监督 负责拦不住那部分的兜底，提示词注入 则告诉你为什么内容层永远拦不干净。

如果你还没确定「哪些动作永远不能让模型自己决定」，回到这一站的问题再看一遍——人在回路 与 最小授权 是那两个答案。如果问题反过来，是「判断它有没有变差」，那是 给判断 的 可观测性 与 评测集。

来源与修订

把风险识别与处置安排在组织的管理动作里，来自 NIST 的 AI Risk Management Framework Core 与 AI RMF Playbook；对自主系统需要保留权限边界与人工介入的判断，参考 Anthropic 的 Trustworthy Agents in Practice。[S1][S2][S3]

需要说明一处边界：「四个时点、四类机制」，以及「检查本身失败时的默认动作要保守」这条要求，是本站在落地时总结的操作性框架，不是上述来源的原文。NIST 的框架面向组织治理，不规定你的系统该在哪个函数里加检查——把框架落到工程时点上是这一站做的事。

2026-09-21 按决策页规范重写，本次修订把护栏按四个时点拆开，并要求每道检查都写出「检查本身失败时」的默认动作。