T3权衡取舍阶段 05 · 质量与商业约束

83/ 90已答 0 / 90错 0

认知链路第 3 站 · 给知识 · 怎么让它知道你家的资料第 7 站 · 给判断 · 怎么知道它行不行

T3 · 第 23 / 30 题 · 阶段 05 第 3 / 5 题

检索要多召回相关内容,还是要让结果都精准可用?

情境

法务检索希望尽量不漏掉相关条款,但召回放宽后大量不相关条文混入结果,律师仍要逐条筛掉。

  1. 01漏掉条款后果较重
  2. 02结果过多需人工筛选
  3. 03条款表述差异较大
  4. 04检索结果直接进入工作底稿

你会选择哪一种决策?

先做选择,再展开每条路径的判断。键盘按 1–4 作答。

  1. 查看这条路径的判断

    有条件成立

    漏检风险最低,但把筛选负担全部交给律师,结果越多越难发现真正相关的条文,效率代价由使用者承担。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  2. 查看这条路径的判断

    有条件成立

    结果干净,但低置信度却关键的相关条款会被直接漏掉,代价以漏检形式出现,且往往在事后复核时才被发现。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  3. 查看这条路径的判断

    高风险路径

    两个目标都没守住:召回与精确同时拉高会让阈值互相牵制,调参没有明确优先级,最后两个指标都不达标。

    ⚡ 评审反诘 · 技术架构师 / 风控评审人

    「该方案明显引入了不可控的不确定性、调用延迟与接口成本。一旦长尾样本发生幻觉或服务超时,由谁对业务资损与客诉担责?」

    PM 审视:切忌盲目“为 AI 而 AI”,确定性问题坚持规则优先,高风险链路必须设置安全熔断阀。

  4. 查看这条路径的判断

    推荐路径

    把不漏当作底线,用后续环节控制噪音。代价是系统复杂度上升、单次耗时更长,但既不漏条款也减少了人工筛选量。

    🎯 评审反诘 · 项目立项评审委员会

    「该推荐路径在保证业务确定性的同时,把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI?」

    PM 论据:以最小的工程研发复杂度锁定 90%+ 的核心诉求,风险完全隔绝在可控沙箱内,交付确定性最高。

不只记答案,记住判断方法

核心原则答完后展开
召回与精确冲突时,先确认漏检与噪音哪个代价更高,把底线指标定死,再用后续环节压低另一个代价。

下次遇到类似问题,检查

  1. 01漏检和噪音哪个更贵
  2. 02筛选负担由谁承担
  3. 03底线指标定在哪

PM 落地

如果你是产品经理,下一步做什么

写出召回与精确的底线指标与目标指标,说明筛选环节由谁承担,并给出重排与过滤规则的验收方式。

工业实战落地Gate 05 · 安全护栏与质量评测

想在真实业务场景中看本题的落地推演?

在《智能客服知识库与回答辅助》案例中,完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。

进入实战案例 Gate 05 →