T3 · 第 11 / 30 题 · 阶段 03 第 1 / 5 题

检索回答要更准,还是要更快返回?

情境

知识助手要回答一线员工提问,检索更多片段能提升答案准确率,但每次检索与重排都会拉长等待时间。

  1. 01一线员工在通话中查询
  2. 02召回片段越多答案越准
  3. 03重排会显著增加耗时
  4. 04等待超过数秒会被放弃

你会选择哪一种决策?

先做选择,再展开每条路径的判断。键盘按 1–4 作答。

  1. 查看这条路径的判断

    推荐路径

    把延迟当作硬预算,先定召回规模再决定是否重排。代价是放弃一部分边缘问题的召回,但主流程能在可接受时间内返回可用答案。

    🎯 评审反诘 · 项目立项评审委员会

    「该推荐路径在保证业务确定性的同时,把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI?」

    PM 论据:以最小的工程研发复杂度锁定 90%+ 的核心诉求,风险完全隔绝在可控沙箱内,交付确定性最高。

  2. 查看这条路径的判断

    有条件成立

    答案更准,但把等待时间全部转移给一线员工,通话场景下用户会直接放弃使用,等于用可用性换取准确率。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  3. 查看这条路径的判断

    有条件成立

    速度最快,但同义与口语化提问召回不到内容,准确率下降后用户仍要转人工,用质量换来的时间收益被抵消。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  4. 查看这条路径的判断

    高风险路径

    两个目标都没守住:慢与不准同时出现,用户不会区分原因,只记得不好用;而优化没有指标约束,通常也不会被排进迭代。

    ⚡ 评审反诘 · 技术架构师 / 风控评审人

    「该方案明显引入了不可控的不确定性、调用延迟与接口成本。一旦长尾样本发生幻觉或服务超时,由谁对业务资损与客诉担责?」

    PM 审视:切忌盲目“为 AI 而 AI”,确定性问题坚持规则优先,高风险链路必须设置安全熔断阀。

不只记答案,记住判断方法

核心原则答完后展开
质量与延迟冲突时,把延迟写成不可突破的预算,在预算内追求质量,并承认放弃的那部分准确率代价。

下次遇到类似问题,检查

  1. 01延迟预算是多少
  2. 02超出预算的收益有多大
  3. 03放弃的召回由谁兜底

PM 落地

如果你是产品经理,下一步做什么

写出延迟预算与召回上限的对应表,标出超出预算时的降级路径、兜底答案与转人工触发条件。

工业实战落地Gate 03 · 架构与方案选型

想在真实业务场景中看本题的落地推演?

在《智能客服知识库与回答辅助》案例中,完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。

进入实战案例 Gate 03 →