T2场景判断阶段 01 · AI 基础与模型边界

32/ 90已答 0 / 90错 0

认知链路第 1 站 · 地基 · 模型是什么第 8 站 · 给安全 · 什么时候必须有人管

T2 · 第 2 / 30 题 · 阶段 01 第 2 / 5 题

高风险场景里,通用模型的回答可以直接采信吗?

情境

医疗咨询团队想让模型直接给出用药剂量建议,一旦出错后果严重,而团队手上只有通用模型可用。

  1. 01一旦出错后果不可逆
  2. 02只有通用模型可用
  3. 03领域有明确规范要求
  4. 04缺少专业审核环节

你会选择哪一种决策?

先做选择,再展开每条路径的判断。键盘按 1–4 作答。

  1. 查看这条路径的判断

    有条件成立

    小范围试点加逐条复核能控制风险,但复核成本很高,而且没有改变「模型直接给出结论」这一根本问题。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  2. 查看这条路径的判断

    有条件成立

    把规范写进提示词能约束回答范围,但规范之外的问题依然存在,模型也无法为越界回答负责。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  3. 查看这条路径的判断

    高风险路径

    通用模型缺少领域约束,由客服转述等于把专业判断交给非专业人员,而这类错误后果不可逆。

    ⚡ 评审反诘 · 技术架构师 / 风控评审人

    「完全缺少人机协同与内容安全过滤,若模型吐出敏感数据或被 Prompt 注入攻击越狱,安全防线在哪里?」

    PM 审视:切忌盲目“为 AI 而 AI”,确定性问题坚持规则优先,高风险链路必须设置安全熔断阀。

  4. 查看这条路径的判断

    推荐路径

    用药建议属于高风险结论,让模型整理资料、由专业人员判断,既用上模型效率又保留责任主体。

    🎯 评审反诘 · 项目立项评审委员会

    「该推荐路径在保证业务确定性的同时,把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI?」

    PM 论据:以最小的工程研发复杂度锁定 90%+ 的核心诉求,风险完全隔绝在可控沙箱内,交付确定性最高。

不只记答案,记住判断方法

核心原则答完后展开
模型能走多远由错误成本决定,高风险结论必须由具备责任能力的人做出。

下次遇到类似问题,检查

  1. 01错误后果是否可逆
  2. 02是否有具备资质的责任人
  3. 03模型输出能否被独立验证

PM 落地

如果你是产品经理,下一步做什么

把高风险场景列成清单,标出每项的审核责任人与拒答条件,写进验收标准。

工业实战落地Gate 01 · 判断 AI 边界

想在真实业务场景中看本题的落地推演?

在《智能客服知识库与回答辅助》案例中,完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。

进入实战案例 Gate 01 →