离线分数很高，为什么线上还是出问题？
离线评测分数很高，上线后用户投诉却变多，团队开始怀疑评测集与真实使用之间的差距太大。
- 01离线评测表现良好
- 02线上投诉反而增加
- 03评测样本来自历史数据
你会选择哪一种决策？
先做选择，再展开每条路径的判断。键盘按 1–3 作答。
查看这条路径的判断
推荐路径
评测样本来自历史数据，与线上真实输入分布不一致，重建评测集才能让分数重新变得可信。
🎯 评审反诘 · 项目立项评审委员会「该推荐路径在保证业务确定性的同时，把大模型用在了最具杠杆价值的核心环节。如何量化并向管理层证明 ROI？」
PM 论据：以最小的工程研发复杂度锁定 90%+ 的核心诉求，风险完全隔绝在可控沙箱内，交付确定性最高。
查看这条路径的判断
有条件成立
先看线上日志再决定是否改评测能避免盲目重做，但日志只反映失败，缺少对正常流量的覆盖。
⚖️ 评审反诘 · 业务运维 Leader「这套方案只在特定理想条件下成立。如果前置依赖（如网络质量、向量切片准确度或并发负载）发生波动，降级预案是什么？」
PM 审视：不可把假设当成事实。必须在前置方案中明确定量成立指标，并随附故障回退 Runbook。
查看这条路径的判断
高风险路径
把问题归因于用户不会用，会继续按失真的离线指标迭代，投诉只会越来越多。
⚡ 评审反诘 · 技术架构师 / 风控评审人「该方案明显引入了不可控的不确定性、调用延迟与接口成本。一旦长尾样本发生幻觉或服务超时，由谁对业务资损与客诉担责？」
PM 审视：切忌盲目“为 AI 而 AI”，确定性问题坚持规则优先，高风险链路必须设置安全熔断阀。
已自动收录至错题攻坚本
该选项在实际业务中存在盲区或隐性风险。已为你自动归集，随时可前往攻坚专区专项消灭。
不只记答案，记住判断方法
答完后展开
离线指标只有在输入分布与线上一致时才可信。
- 01评测输入是否贴近线上
- 02失败是否被评测覆盖
- 03指标是否绑定了失败模式
PM 落地
如果你是产品经理，下一步做什么
对齐线上真实输入重建评测集，输出离线与线上指标的对照说明与差异原因。
工业实战落地Gate 05 · 安全护栏与质量评测
想在真实业务场景中看本题的落地推演？
在《智能客服知识库与回答辅助》案例中，完整推演该阶段的事实依据、盲区核验、方案三选一与决策影响天平。