T3权衡取舍阶段 05 · 质量与商业约束

81/ 90已答 0 / 90错 0

认知链路第 5 站 · 给接口 · 怎么标准化地接系统

T3 · 第 21 / 30 题 · 阶段 05 第 1 / 5 题

回答质量要拉满,还是要压住每次调用的成本?

情境

知识助手希望用更强的模型与更长上下文提升回答质量,但按当前调用量测算,成本会超出可承受的运营预算。

  1. 01调用量仍在持续增长
  2. 02更强模型单次成本更高
  3. 03运营预算按季度核定
  4. 04低价值问答占比不低

你会选择哪一种决策?

先做选择,再展开每条路径的判断。键盘按 1–4 作答。

  1. 查看这条路径的判断

    高风险路径

    两个目标都没守住:超支是确定发生的,切换时还要重新验证质量,用户已经形成的体验预期也会被打断。

    ⚡ 评审反诘 · 技术架构师 / 风控评审人

    「该方案明显引入了不可控的不确定性、调用延迟与接口成本。一旦长尾样本发生幻觉或服务超时,由谁对业务资损与客诉担责?」

    PM 审视:切忌盲目“为 AI 而 AI”,确定性问题坚持规则优先,高风险链路必须设置安全熔断阀。

  2. 查看这条路径的判断

    推荐路径

    把成本花在真正需要强模型的请求上,用路由替代一刀切。代价是要维护判断难度与兜底规则,但整体质量与预算都能守住。

    🎯 评审反诘 · 项目立项评审委员会

    「该推荐路径在保证业务确定性的同时,把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI?」

    PM 论据:以最小的工程研发复杂度锁定 90%+ 的核心诉求,风险完全隔绝在可控沙箱内,交付确定性最高。

  3. 查看这条路径的判断

    有条件成立

    质量上限最高,但成本按调用量线性放大,预算耗尽后只能临时限流,把成本压力转嫁给运营与用户可用性。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

  4. 查看这条路径的判断

    有条件成立

    成本最可控,但复杂问题质量明显下降,用户会在关键场景失去信任,用质量问题换来的成本节约很难被认可。

    ⚖️ 评审反诘 · 业务运维 Leader

    「这套方案只在特定理想条件下成立。如果前置依赖(如网络质量、向量切片准确度或并发负载)发生波动,降级预案是什么?」

    PM 审视:不可把假设当成事实。必须在前置方案中明确定量成立指标,并随附故障回退 Runbook。

不只记答案,记住判断方法

核心原则答完后展开
质量与成本冲突时,先按请求价值分层再分配算力,把成本集中投在高价值请求上,代价是路由规则需要持续校准。

下次遇到类似问题,检查

  1. 01哪些请求值得用强模型
  2. 02路由错了怎么兜底
  3. 03预算上限由谁守

PM 落地

如果你是产品经理,下一步做什么

按问题难度与业务价值写出路由规则表,标注兜底模型、单次成本上限与每月校准责任人。

工业实战落地Gate 05 · 安全护栏与质量评测

想在真实业务场景中看本题的落地推演?

在《智能客服知识库与回答辅助》案例中,完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。

进入实战案例 Gate 05 →