AI-Native
实战案例合同条款审核助手
Gate 05 / 06
  1. G01
  2. G02
  3. G03
  4. G04
  5. G05
  6. G06
评测、成本与上线治理
返回项目档案
评测、成本与上线治理Gate 05 of 06 · 决策推演

定义评测、成本与上线护栏

PM 核心决策题

怎样评测漏报、误报与条款对比质量？

项目材料逐步形成各关决策沉淀为 PRD 章节
  1. 01AI 适用性与不可自动化边界卡
  2. 02合同审核机会评估表
  3. 03审核工作流与方案选择表
  4. 04法务权限、升级与恢复图
  5. 05审核评测、成本与上线护栏表
  6. 06完整合同审核产品评审档案
Decision BriefGate 05 决策工作台

怎样评测漏报、误报与条款对比质量？

业务场景背景与约束：

这是一个教学案例。某公司法务团队需要优先发现合同中的非标准条款。漏报可能带来法律风险，误报会增加审核负担，最终审批责任仍在人。

团队推荐基准用版本化固定集和风险切片分步评测，用「有依据且经法务确认的审核」计算单位成功成本。默认基线路径，可根据实际约束探索并采纳其他方案
📋

当前已知事实与数据

  • 建议E3

    评测分数只对既定样本、标准和运行配置有效，风险切片比总体准确率更能暴露漏报。

    外部来源支持
  • 建议E1

    成本必须按「成功完成一次有依据审核」核算，不能把单次模型调用价格当总成本。

    案例内建议
⚠️

不能假装已知 (盲区与待核验假设)

  • 未知项E0

    真实漏报、误报、条款定位与风险覆盖的基线尚未建立。

    尚无外部证据

Compare Paths

比较三条决策路径

展开任一路径查看立项依据、成立条件、主要风险与决策影响天平；可作为 PM 采纳方案并留存印记。

推荐路径有条件成立高风险方案
A分片评测与单位成本
推荐路径展开取舍 ↓收起取舍 ↑
推荐路径
PM 方案立项理由

分步骤评测漏报、误报与条款定位，并用有依据审核结果算成本，能定位问题并控成本。

⚖️

成立条件

⚠️

主要风险

  • 评测集建设需要投入
🔄

后续影响

  • 质量可比较、成本可核算
⚡ 决策影响天平 (Impact Meter)工程复杂度与业务代价联动预估
开发周期可控迭代 (2-3周)
推理成本可控常规
确定准确度96% (防幻觉严格基准)
人工兜底率35% (抽样或异常接管)
代价警示

平衡点：质量可比较、成本可核算

本关材料变化

在评测与护栏表中组合固定集、风险切片、分步质量、单位成本与回滚条件。

B只看总体准确率
风险较高展开取舍 ↓收起取舍 ↑
风险较高
PM 方案立项理由

总体准确率会掩盖高风险条款的漏报与越权通过。

⚖️

成立条件

⚠️

主要风险

  • 高风险漏报被平均掩盖
🔄

后续影响

  • 当前方案不进入生产范围
⚡ 决策影响天平 (Impact Meter)工程复杂度与业务代价联动预估
开发周期中等 (3-4周)
推理成本波动隐患较大
确定准确度76% (长尾显著失真风险)
人工兜底率55% (故障易引发投诉挤兑)
代价警示

高代价警告：高风险漏报被平均掩盖

本关材料变化

在评测与护栏表中记录否决只看总体准确率的理由。

默认展开推荐路径

Artifact delta

本关如何改变项目材料

新增材料

审核评测、成本与上线护栏表

组合固定集、风险切片、分步质量、单位成功成本、漏报与回滚条件。

失败与恢复

  • 版本升级质量回退
    信号
    固定集或风险切片指标相对稳定版本下降
    影响
    漏报或误报静默恶化
    恢复
    冻结候选版本并回滚到上一稳定组合
    责任
    产品、工程和评测负责人
  • 模型服务超时
    信号
    审核延迟、失败率或重试量升高
    影响
    法务等待增加且重复调用推高成本
    恢复
    停止重试、降级到模板比对与人工审核
    责任
    工程

指标与真实基线

  • operation · increase模板版本一致性

    合同解析与比对所用模板版本与当前有效版本一致的比例。

    阈值：待真实基线
  • operation · decreaseP95 审核延迟

    从提交合同到返回可供法务复核标注的第九十五百分位端到端时间。

    阈值：待真实基线

按需知识支持

PRD 随阶段生成中：当前处于 Gate 05。你可以随时预览或导出当前已沉淀的立项 PRD（未做选择的关卡自动按推荐基准填充）。

Project directory

六个 Gate，共同形成一份项目档案

这是固定顺序的项目阶段目录，不代表个人进度，也不会保存选择。

  1. 01
    是否使用 AI判断 AI 边界

    合同审核需要生成式「通过」结论，还是证据获取与差异标注？

    已核验
  2. 02
    业务价值与数据条件建立价值与数据条件

    怎样证明解决的是「漏报非标准条款」，而不是「审得更快」？

    已核验
  3. 03
    任务拆解与方案选择拆解条款识别、对比与升级工作流

    如何区分标准条款、非标准条款和审批责任？

    已核验
  4. 04
    人机协作与失败恢复设计法务控制与失败恢复

    法务怎样看见原文、识别漏报、修改并最终确认？

    已核验
  5. 05
    评测、成本与上线治理定义评测、成本与上线护栏

    怎样评测漏报、误报与条款对比质量？

    已核验
  6. 06
    完整项目与持续迭代治理发布与持续更新

    什么时候能扩大自动化，漏报或质量回退时如何停止？

    已核验
Level 2/3 Capstone · 交付成果沉淀

《合同条款审核助手》AI 产品立项 PRD

官方推荐基准

包含立项背景、六阶段决策推演、成立条件核验、指标基线与故障应急 Runbook。

MARKDOWN PREVIEW6 关推演 · 12 项指标 · 12 个故障应急
# 【AI 产品立项 PRD / 方案评审材料】合同条款审核助手

> **生成时间**：2026-09-30  
> **项目级别**：核心聚焦案例 · **业务领域**：AI 产品与法务  
> **方案状态**：团队推荐基准方案（未微调，可在关卡中二次定制）  
> **面向对象**：零基础或初级 AI 产品经理、需要评审合同审核助手的产品、法务与业务人员  

---

## 一、 项目背景与立项核心目标 (Context & Objective)

### 1.1 业务背景
这是一个教学案例。某公司法务团队需要优先发现合同中的非标准条款。漏报可能带来法律风险，误报会增加审核负担，最终审批责任仍在人。

### 1.2 核心目标
在条款可追溯、漏报可发现、人工可接管、责任不转移的前提下，帮助法务更快定位非标准条款与风险，同时保持最终判断和审批由人负责。

### 1.3 现有业务流程与痛点
1. 接收待审核合同并识别合同类型
2. 对照标准条款模板逐条比对
3. 标出非标准、缺失或冲突条款
4. 法务复核并给出修改建议
5. 由有权人审批并记录结果

### 1.4 客观事实与基线假设
- **[ASSUMPTION · E1]** 当前比对、标注、复核和审批流程只用于建立教学起点，不代表真实法务团队采用同样工具或存在效率问题。
- **[UNKNOWN · E0]** 实际漏报率、误报率、审核时间、错误成本、法务容量与单位成本均需要真实组织数据验证。

### 1.5 刚性边界约束
- **[FACT · E2]** AI-Native 不为教学完整性虚构漏报、误报、审核、成本、延迟或上线阈值。
- **[RECOMMENDATION · E1]** 系统只辅助内部法务，不自动给出「通过」结论，也不替代有权人的审批责任。
- **[RECOMMENDATION · E3]** 合同文本作为不可信数据处理，不能取得系统指令、工具或审批权限。

---

## 二、 六阶段方案选型与决策推演 (Architecture & Gate Decisions)

本章节记录从「边界判断」到「上线交付」全链路 6 大关键关卡的方案抉择、成立条件与风险应对：

### Gate 01：判断 AI 边界
**核心问题**：合同审核需要生成式「通过」结论，还是证据获取与差异标注？

- **采纳路径**：**治理优先的证据辅助** (推荐最佳实践) `默认基准`
- **选型依据 (Rationale)**：先固定模板、条款与权限边界，再把生成限制为差异标注和风险提示，能分开控制风险和价值。

**前置成立条件清单 (Conditions Checklist)**：
  - [ ] 合同类型与标准条款模板可维护
  - [ ] 标注能回到具体条款原文

**主要风险与防范 (Risks)**：
  - ⚠️ 模板与条款治理增加前期投入

**落地后续影响 (Consequences)**：
  - 📌 漏报可发现、审批责任不转移

- **本关交付材料沉淀 (Artifact Delta)**：在 AI 适用性卡中固定模板治理、差异标注、生成提示与人工审批的责任边界。

### Gate 02：建立价值与数据条件
**核心问题**：怎样证明解决的是「漏报非标准条款」，而不是「审得更快」？

- **采纳路径**：**先测量再建设** (推荐最佳实践) `默认基准`
- **选型依据 (Rationale)**：先建立漏报和误报基线，再定义有来源的审核结果，避免把速度当价值。

**前置成立条件清单 (Conditions Checklist)**：
  - [ ] 能定义并统计漏报与误报
  - [ ] 合同与模板有质量边界

**主要风险与防范 (Risks)**：
  - ⚠️ 基线收集需要法务配合

**落地后续影响 (Consequences)**：
  - 📌 价值目标可验证而非凭感觉

- **本关交付材料沉淀 (Artifact Delta)**：在机会评估表中记录目标角色、当前任务、合同条件、真实基线、错误成本与升级链路。

### Gate 03：拆解条款识别、对比与升级工作流
**核心问题**：如何区分标准条款、非标准条款和审批责任？

- **采纳路径**：**分层审核流水线** (推荐最佳实践) `默认基准`
- **选型依据 (Rationale)**：把解析、比对、标注、提示与审批分开，能单独控制每层的漏报、误报和授权。

**前置成立条件清单 (Conditions Checklist)**：
  - [ ] 各步骤输入输出与终止条件可定义
  - [ ] 审批由确定性流程和有权人执行

**主要风险与防范 (Risks)**：
  - ⚠️ 分层增加系统复杂度

**落地后续影响 (Consequences)**：
  - 📌 每层可独立评测与授权

- **本关交付材料沉淀 (Artifact Delta)**：在方案选择表中固定解析、比对、标注、提示与审批步骤及各自输入输出。

### Gate 04：设计法务控制与失败恢复
**核心问题**：法务怎样看见原文、识别漏报、修改并最终确认？

- **采纳路径**：**可见、可改、可确认** (推荐最佳实践) `默认基准`
- **选型依据 (Rationale)**：展示条款原文与差异、允许修改并强制确认，让法务在审批前真正理解并负责。

**前置成立条件清单 (Conditions Checklist)**：
  - [ ] 标注可回看条款原文并编辑
  - [ ] 审批动作由有权人显式确认

**主要风险与防范 (Risks)**：
  - ⚠️ 复核会增加法务时间

**落地后续影响 (Consequences)**：
  - 📌 减少漏报与越权通过

- **本关交付材料沉淀 (Artifact Delta)**：在权限与恢复图中标明证据检查、修改、驳回、转交与最终审批的人员权限。

### Gate 05：定义评测、成本与上线护栏
**核心问题**：怎样评测漏报、误报与条款对比质量？

- **采纳路径**：**分片评测与单位成本** (推荐最佳实践) `默认基准`
- **选型依据 (Rationale)**：分步骤评测漏报、误报与条款定位，并用有依据审核结果算成本，能定位问题并控成本。

**前置成立条件清单 (Conditions Checklist)**：
  - [ ] 有版本化固定集与风险切片
  - [ ] 能追踪「经法务确认」作为成功口径

**主要风险与防范 (Risks)**：
  - ⚠️ 评测集建设需要投入

**落地后续影响 (Consequences)**：
  - 📌 质量可比较、成本可核算

- **本关交付材料沉淀 (Artifact Delta)**：在评测与护栏表中组合固定集、风险切片、分步质量、单位成本与回滚条件。

### Gate 06：治理发布与持续更新
**核心问题**：什么时候能扩大自动化，漏报或质量回退时如何停止？

- **采纳路径**：**影子到标注逐级推进** (推荐最佳实践) `默认基准`
- **选型依据 (Rationale)**：先影子运行、再辅助标注、后受限自动标注，每级用独立通过条件换取更高自动化。

**前置成立条件清单 (Conditions Checklist)**：
  - [ ] 每级有通过条件与回滚路径
  - [ ] 自动「通过」不进入首版

**主要风险与防范 (Risks)**：
  - ⚠️ 逐级推进需要更长时间

**落地后续影响 (Consequences)**：
  - 📌 风险与自动化程度同步增长

- **本关交付材料沉淀 (Artifact Delta)**：在完整评审档案中汇总六关决策、分级发布权限、监控、事件响应与回滚证据。

---

## 三、 项目材料交付清单 (Deliverable Artifacts)

项目随六关推演逐步形成的 6 份核心产品标准件：

### 3.1 AI 适用性与不可自动化边界卡 (`ai-applicability`)
区分模板治理、条款比对、差异标注、风险提示与人工审批，记录不使用生成和禁止自动化的范围。

### 3.2 合同审核机会评估表 (`opportunity-assessment`)
记录目标角色、当前任务、合同条件、真实基线、错误成本、漏报与升级链路。

### 3.3 审核工作流与方案选择表 (`workflow-selection`)
固定解析、比对、标注、提示与审批步骤及各自输入输出与终止条件。

### 3.4 法务权限、升级与恢复图 (`responsibility-recovery`)
标明证据检查、修改、驳回、转交、审批确认与最终审批的人员和系统权限。

### 3.5 审核评测、成本与上线护栏表 (`evaluation-guardrails`)
组合固定集、风险切片、分步质量、单位成功成本、漏报与回滚条件。

### 3.6 完整合同审核产品评审档案 (`complete-review`)
汇总六关决策、分级发布权限、漏报监控、事件响应、晋级和回滚证据。

---

## 四、 核心评估指标与真实基线 (Metrics & Guardrails)

任何 AI 产品上线必须定义明确的评估指标与基线阈值：

| 类别 | 指标名称 | 期望方向 | 阈值状态 / 目标值 | 详细口径与定义 |
| :--- | :--- | :--- | :--- | :--- |
| business | **有依据审核完成率** | increase | 待真实基线 | 有来源且经法务确认完成的审核，占进入目标范围合同的比例。 |
| quality | **非标准条款召回率** | increase | 待真实基线 | 必要非标准或缺失条款被正确标出的比例。 |
| quality | **误报率** | decrease | 待真实基线 | 被标为风险但实际为标准条款的标注，占全部标注的比例。 |
| quality | **条款定位支持率** | increase | 待真实基线 | 标注能回到具体条款原文且原文确实支持该标注的比例。 |
| quality | **风险条款覆盖** | increase | 待真实基线 | 高风险条款类别进入标注与升级范围的比例。 |
| operation | **关键条款漏报数** | guardrail | 任何关键条款漏报或越权通过均阻止晋级并触发事件响应 | 高风险非标准条款未被标出并进入审批的事件数量。 |
| operation | **P95 审核延迟** | decrease | 待真实基线 | 从提交合同到返回可供法务复核标注的第九十五百分位端到端时间。 |
| operation | **模板版本一致性** | increase | 待真实基线 | 合同解析与比对所用模板版本与当前有效版本一致的比例。 |
| human | **法务复核时间** | decrease | 待真实基线 | 法务核对标注、修改、驳回或确认一次审核所投入的人工时间。 |
| human | **高风险升级队列时长** | decrease | 待真实基线 | 高风险条款从进入人工升级队列到由有权人接手的等待时间。 |
| cost | **单位已确认审核成本** | decrease | 待真实基线 | 模板治理、解析、比对、生成、失败运行与人工复核总成本除以有依据且经法务确认的审核数。 |
| quality | **误报升级率** | decrease | 待真实基线 | 被升级但实际无需人工介入的标注占升级总数的比例。 |

---

## 五、 故障模式与应急恢复手册 (Failure Modes & Recovery Runbook)

AI 具备概率性与不确定性，必须在立项时即明确降级兜底方案：

| 故障模式 | 异常监控信号 (Signal) | 业务负面影响 (Impact) | 恢复方案与降级动作 (Recovery) | 主责人 |
| :--- | :--- | :--- | :--- | :--- |
| **漏报非标准条款** | 高风险非标准条款未被标出 | 法律风险未被发现并进入审批 | 停止标注、标记漏报并回放固定集定位原因 | 法务和评测负责人 |
| **误报过多** | 标准条款被大量标为风险 | 增加法务审核负担并降低信任 | 调整比对阈值、补充模板并回放固定集 | 法务和评测负责人 |
| **标注引用不支持** | 标注能打开但条款原文与标注结论不一致 | 法务可能因信任标注而误判 | 阻止提交、删除或重写标注并加入固定集 | 法务和评测负责人 |
| **过时模板** | 比对使用旧版本模板或已失效条款 | 标准条款被误判为非标准或漏判 | 停止相关模板、更新版本并回放受影响合同 | 法务和工程 |
| **法律适用错误** | 合同按错误管辖或行业模板比对 | 风险判断失去针对性 | 校验合同类型与管辖并退回人工 | 法务 |
| **合同内容间接注入** | 合同文本试图改变指令或请求审批动作 | 模型行为可能被合同内容操纵 | 将合同文本按不可信数据隔离并阻止动作 | 安全和工程 |
| **越权自动通过** | 出现未经有权人确认的「通过」结论 | 审批责任被绕过并带来法律风险 | 停用自动通过、回滚权限并启动事件响应 | 法务和工程 |
| **敏感信息泄露** | 合同内容暴露给无权方或进入训练 | 造成隐私与合规风险 | 阻断输出、保全日志并启动安全事件响应 | 安全和工程 |
| **法务复核队列过载** | 复核时长、积压或未处理高风险条款上升 | 形式上的人工复核无法提供真实保护 | 收紧自动化范围、按风险排序并调整容量 | 法务主管 |
| **模型服务超时** | 审核延迟、失败率或重试量升高 | 法务等待增加且重复调用推高成本 | 停止重试、降级到模板比对与人工审核 | 工程 |
| **版本升级质量回退** | 固定集或风险切片指标相对稳定版本下降 | 漏报或误报静默恶化 | 冻结候选版本并回滚到上一稳定组合 | 产品、工程和评测负责人 |
| **条款冲突未标记** | 多份有效条款对同一事项给出冲突规则 | 法务可能依据错误条款作出判断 | 不自动裁决，展示冲突并转交有权人确认 | 法务 |

---

## 六、 规范参考与支持资料 (References)

- **[ROUTE] 转岗 AI 产品经理**：提供从 AI 判断到产品基本功与职业成长的顺序阅读支持。
- **[TERM] AI 产品**：把模型能力放回用户任务、控制、失败和运营系统中评审。
- **[TERM] 问题方案匹配**：防止用流畅输出替代真实问题、任务和价值证据。
- **[TERM] 人机协作**：解释人工判断和系统自动化如何按风险分工。
- **[TERM] 人工升级**：明确拒答、升级、责任、必要上下文和接管权限。
- **[TERM] 用户控制权**：解释让变化可见、可比较、可拒绝的交互原则。
- **[TERM] 提示注入**：解释外部内容改变模型行为和越权的安全风险。
- **[TERM] 离线评测**：建立版本化固定查询集、保留集和错误切片。
- **[TERM] 可观测性**：解释通过日志、指标和追踪定位运行与质量问题。
- **[TERM] 金丝雀发布**：解释限制影响范围并逐步扩大版本或流量的发布方法。
- **[TERM] 回滚**：解释质量回退或事件发生时恢复上一稳定版本。
- **[TERM] 北极星指标**：解释如何用单一关键指标对齐团队并判断价值是否被持续获取。
- **[TERM] 干系人管理**：解释识别法务、业务与工程等干系人并管理其预期。
- **[TERM] AI 风险管理**：持续识别、评估和监控合同审核中的高危风险，使控制与影响相匹配。
- **[TERM] 人工监督**：确保具备权限和专业背景的法务人员能够监督、干预并对审批结论负最终责任。
- **[TERM] 副驾驶模式**：明确由 AI 提供比对草稿与风险提示、法务保留最终定稿与确认权的协作模式。
- **[TERM] 验收标准**：用可验证的准确率、漏报率与证据回溯要求定义各阶段是否达到交付标准。
- **[TERM] 需求分析**：把模糊的“智能审合同”诉求拆解为标准条款识别、差异比对与分层审批具体要求。
- **[TERM] 长上下文**：理解处理百页合同时容量增加并不代表整篇条款都能被均匀有效索引和比对。
- **[TERM] 上下文窗口**：明确模型一次能参考的 Token 限制，避免一次性塞入全文导致关键条款被挤出。
- **[TERM] 文档解析**：从各类合同 PDF 和 Word 中提取段落、条款编号与表格，保障比对基准可靠。
- **[TERM] 文档切片**：按条款和权利义务结构切分知识单元，确保比对时能够精准检索上下文。
- **[TERM] 事实依据约束**：用合同原文和标准模板约束模型输出，确保每一条风险提示均有确凿原文引用。
- **[TERM] 幻觉**：警惕模型虚构法条依据或误判合同条款，通过原文对照与确定性比对进行抑制。
- **[TERM] 透明度**：向法务公开说明差异比对的原理、置信度以及系统可能遗漏的非标条款边界。
- **[TERM] 解释界面**：设计双栏对比和高亮标注界面，直观展示风险条款背后的判断理由与依据。
- **[TERM] 红队测试**：针对合同中可能存在的恶意指令或对抗性表述进行提示注入与越权绕过测试。
- **[TERM] 黄金数据集**：由资深法务专家标定的基准合同集，用于持续衡量比对精度与漏报率。
- **[TERM] 评测集**：覆盖各类模板与非标合同的评测样本集，验证迭代是否真正提升了审核质量。
- **[TERM] 人工评估**：组织专业法务对模型给出的风险提示可信度、有用性进行定性与定量打分。
- **[TERM] AI 治理**：建立合同智能审核的权限矩阵、审计日志与合规免责边界制度。
- **[TERM] 负责任人工智能**：坚守法律审核的安全性、可解释性与责任可溯原则，杜绝无监管自动签署。
- **[TERM] 问责**：明确合同审批责任始终由业务方和法务负责人承担，不可归咎于 AI 辅助工具。
- **[SOURCE] NIST AI Risk Management Framework**：支持按风险分级授权、人工监督、事件响应与持续治理的通用原则。
- **[SOURCE] People + AI Guidebook**：支持用户信任、控制与「面向行动的不确定性」的通用设计原则。
- **[SOURCE] OWASP LLM01 2025 Prompt Injection**：支持合同文本可能成为间接注入来源、需按不可信数据隔离。

---
*文档生成自 AI-Native 实战判断系统 · 面向生产上线的可复核产品方案*