T1概念识别阶段 05 · 质量与商业约束

25/ 90已答 0 / 90错 0

认知链路第 4 站 · 给手脚 · 怎么让它做事第 8 站 · 给安全 · 什么时候必须有人管

T1 · 第 25 / 30 题 · 阶段 05 第 5 / 5 题

上线前,这套系统最需要什么护栏?

情境

助手可以自动给客户发送邮件,语气和内容都由模型生成,发送后无法撤回。

  1. 01发送动作不可撤回
  2. 02内容全部由模型生成
  3. 03客户会直接看到结果

你会选择哪一种决策?

先做选择,再展开每条路径的判断。键盘按 1–3 作答。

  1. 查看这条路径的判断

    高风险路径

    事后抽查只能发现问题,无法撤回已经发出的邮件,客户已经看到就来不及了。

    ⚡ 评审反诘 · 技术架构师 / 风控评审人

    「完全缺少人机协同与内容安全过滤,若模型吐出敏感数据或被 Prompt 注入攻击越狱,安全防线在哪里?」

    PM 审视:切忌盲目“为 AI 而 AI”,确定性问题坚持规则优先,高风险链路必须设置安全熔断阀。

  2. 查看这条路径的判断

    高风险路径

    日志用于追溯而不是预防,邮件已经发出,记录再完整也不能减少对客户的影响。

    ⚡ 评审反诘 · 技术架构师 / 风控评审人

    「该方案明显引入了不可控的不确定性、调用延迟与接口成本。一旦长尾样本发生幻觉或服务超时,由谁对业务资损与客诉担责?」

    PM 审视:切忌盲目“为 AI 而 AI”,确定性问题坚持规则优先,高风险链路必须设置安全熔断阀。

  3. 查看这条路径的判断

    推荐路径

    对外发送不可撤回,把确认放在发送之前是最有效的护栏,也能拦住明显不合适的表述。

    🎯 评审反诘 · 项目立项评审委员会

    「该推荐路径在保证业务确定性的同时,把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI?」

    PM 论据:以最小的工程研发复杂度锁定 90%+ 的核心诉求,风险完全隔绝在可控沙箱内,交付确定性最高。

不只记答案,记住判断方法

核心原则答完后展开
不可撤回的对外动作,护栏必须放在动作发生之前。

下次遇到类似问题,检查

  1. 01动作是否可撤回
  2. 02护栏是否在动作之前
  3. 03拦截后由谁负责处理

PM 落地

如果你是产品经理,下一步做什么

为不可撤回的动作定义发送前确认与拦截规则,并写明触发后的处理责任人。

工业实战落地Gate 05 · 安全护栏与质量评测

想在真实业务场景中看本题的落地推演?

在《智能客服知识库与回答辅助》案例中,完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。

进入实战案例 Gate 05 →