T2 · 第 23 / 30 题 · 阶段 05 第 3 / 5 题

准确率和响应速度冲突时,先动哪一边?

情境

用户要求在数秒内看到答复,但多轮检索加重排能明显提升准确率,团队的时间预算非常紧张。

  1. 01响应需在数秒以内
  2. 02加重排可提升准确率
  3. 03用户等待就会流失

你会选择哪一种决策?

先做选择,再展开每条路径的判断。键盘按 1–3 作答。

  1. 查看这条路径的判断

    推荐路径

    延迟预算紧时,先流式返回让用户看到进展,重排只用于高风险问题,把重计算花在真正值得的地方。

    🎯 评审反诘 · 项目立项评审委员会

    「该推荐路径在保证业务确定性的同时,把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI?」

    PM 论据:以最小的工程研发复杂度锁定 90%+ 的核心诉求,风险完全隔绝在可控沙箱内,交付确定性最高。

  2. 查看这条路径的判断

    有条件成立

    全量加重排再用缓存抵消延迟,但缓存命中并不稳定,未命中的请求仍会超出用户的等待上限。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  3. 查看这条路径的判断

    高风险路径

    直接取消重排会同时丢掉准确率提升,高风险的错误答案也没有任何补偿机制。

    ⚡ 评审反诘 · 技术架构师 / 风控评审人

    「完全缺少人机协同与内容安全过滤,若模型吐出敏感数据或被 Prompt 注入攻击越狱,安全防线在哪里?」

    PM 审视:切忌盲目“为 AI 而 AI”,确定性问题坚持规则优先,高风险链路必须设置安全熔断阀。

不只记答案,记住判断方法

核心原则答完后展开
延迟预算固定时,按问题风险分配重计算,而不是全局加重或全局砍掉。

下次遇到类似问题,检查

  1. 01延迟预算是多少
  2. 02哪些问题值得重算
  3. 03用户能否看到中间结果

PM 落地

如果你是产品经理,下一步做什么

把延迟预算写进方案约束,列出需要重排的问题类型与对应的降级策略。

工业实战落地Gate 05 · 安全护栏与质量评测

想在真实业务场景中看本题的落地推演?

在《智能客服知识库与回答辅助》案例中,完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。

进入实战案例 Gate 05 →