延迟和成本都卡死时，模型档位怎么定？
在线客服助手要求两秒内响应，且单次成本有硬上限，团队在大模型和小模型之间犹豫不决。
- 01响应要求两秒以内
- 02单次成本有硬上限
- 03问题难度差异很大
你会选择哪一种决策？
先做选择，再展开每条路径的判断。键盘按 1–3 作答。
查看这条路径的判断
高风险路径
全部用最强模型再靠缓存摊薄，缓存命中率无法保证，未命中的请求会直接冲破成本上限。
⚡ 评审反诘 · 技术架构师 / 风控评审人「完全缺少人机协同与内容安全过滤，若模型吐出敏感数据或被 Prompt 注入攻击越狱，安全防线在哪里？」
PM 审视：切忌盲目“为 AI 而 AI”，确定性问题坚持规则优先，高风险链路必须设置安全熔断阀。
查看这条路径的判断
推荐路径
延迟和成本都卡死时，按问题难度分配算力，简单问题走小模型、难题升级，比统一档位更划算。
🎯 评审反诘 · 项目立项评审委员会「该推荐路径在保证业务确定性的同时，把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI？」
PM 论据：以最小的工程研发复杂度锁定 90%+ 的核心诉求，风险完全隔绝在可控沙箱内，交付确定性最高。
查看这条路径的判断
有条件成立
统一用中等模型能简化工程实现，但简单问题付出了多余成本，难题也可能达不到质量要求。
⚖️ 评审反诘 · 业务运维 Leader「这套方案只在特定理想条件下成立。如果前置依赖（如网络质量、向量切片准确度或并发负载）发生波动，降级预案是什么？」
PM 审视：不可把假设当成事实。必须在前置方案中明确定量成立指标，并随附故障回退 Runbook。
已自动收录至错题攻坚本
该选项在实际业务中存在盲区或隐性风险。已为你自动归集，随时可前往攻坚专区专项消灭。
不只记答案，记住判断方法
答完后展开
约束固定时，按问题难度分配算力，比统一档位更省也更稳。
- 01延迟预算是否硬性
- 02成本能否按请求分摊
- 03问题难度是否可分
PM 落地
如果你是产品经理，下一步做什么
做一份模型档位分配表，写清各类问题对应的档位、延迟与成本上限。
工业实战落地Gate 03 · 架构与方案选型
想在真实业务场景中看本题的落地推演？
在《智能客服知识库与回答辅助》案例中，完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。