AI 产品判断学习库

场景财务希望自动检查发票总额是否等于各明细项之和，字段结构固定，计算规则明确。

• 输入是结构化数字
• 正确结果可以精确计算
• 错误会阻塞员工报销

场景客服团队要把用户工单归入固定的八个类别，用于后续分流与统计报表。

• 标签集合是固定的
• 每条工单只能有一个标签
• 分类结果要能统计

场景内容团队整理一批历史合同，需要逐条核对金额并保证与原件完全一致。

• 金额必须与原件一致
• 错误会造成法律风险
• 合同数量只有几十份

场景运营要把邮件里的订单信息录入系统，字段固定为商品、数量与收货地址。

• 目标字段只有三个
• 下游系统按字段读取
• 字段缺失需要提示补录

场景客服助手要回答产品问题，知识库有上千篇文档，无法一次性全部放进上下文。

• 知识库文档超过一千篇
• 问题只涉及少数文档
• 回答需要引用原文依据

场景销售团队看到模型能自动生成话术，演示当场很惊艳，但没人说清谁会用、用在哪一步。

• 演示样例经过精心挑选
• 没有明确的使用环节
• 使用者尚未参与验证

场景团队想做客服意图识别，手上有一批历史会话记录，但从未清理过标注。

• 历史会话数量看起来很多
• 记录中夹杂测试与重复数据
• 意图标签需要人工统一

场景财务团队想用模型自动审批付款申请，审批通过会直接触发银行转账。

• 审批通过会真实转账
• 错误付款很难追回
• 申请量每天只有几十笔

场景销售团队每周整理客户反馈，需要收集来源、去重、归类，最后人工写跟进建议。

• 收集与去重规则固定
• 归类需要理解语义
• 跟进建议直接影响客户

场景团队打算做会议纪要助手，理由是会议很多，但没人统计过纪要现在的处理方式。

• 现有处理方式尚未调研
• 没有可对比的耗时数据
• 用户只是口头表示感兴趣

场景内容团队希望助手统一用简洁语气回答，同时能引用本周更新的产品资料。

• 语气要求长期稳定不变
• 产品资料每周更新
• 回答需要给出资料出处

场景法务同事想快速找到合同里的责任条款，需要看到原文位置而不是改写后的说法。

• 目标是定位原文片段
• 改写可能改变法律含义
• 需要标出文档与位置

场景报销流程固定为四步，其中只有票据合规性判断需要模型，其余步骤完全确定。

• 流程步骤已经固定
• 只有一步需要语义判断
• 每步结果都要留痕

场景团队想让模型稳定输出公司特有的字段格式，提示词与检索方案都试过但不稳定。

• 已经有可重复的评测集
• 提示词与检索已经试过
• 有足量高质量标注样本

场景价格与政策每周调整，助手要按最新版本回答，并说明依据来自哪一版。

• 内容更新频率很高
• 旧版本会立刻失效
• 回答需要标注来源版本

场景写作助手会自动润色用户的初稿，用户希望保留原意，只调整不满意的句子。

• 改写覆盖了用户原文
• 用户只对个别句子不满
• 原稿是用户的重要资产

场景财务助手根据邮件判断费用归属科目，部分邮件信息缺失，无法确定科目。

• 部分输入信息不完整
• 错误归属会影响报表
• 使用者是普通财务同事

场景客服助手能回答常见问题，遇到退款纠纷时会给出与政策不符的说法。

• 纠纷涉及金额与责任
• 政策条款存在例外情况
• 转人工通道已经存在

场景助手按指令批量更新了两百条客户标签，事后发现有三十条改错了。

• 错误集中在同一批操作
• 改动范围可以确定
• 标签用于后续营销触达

场景新用户打开数据分析助手，界面上只有一个空白输入框，不知道能问什么。

• 用户不了解系统能力
• 输入框没有任何提示
• 用户目标是拿到一份周报

场景团队要上线客服助手，需要一套可以反复运行、结果可比较的质量检查。

• 问题类型相对集中
• 已有真实历史工单
• 需要支持版本之间对比

场景客服助手上线一个月，团队只统计了调用次数与用户满意度评分，没有看回答是否正确。

• 调用次数无法反映质量
• 满意度评分样本很少
• 已收到答非所问的反馈

场景销售在客户现场用助手查资料，希望回答在两秒内出现，超时就会直接放弃使用。

• 使用场景是现场对话
• 用户等待耐心有限
• 可以接受分步返回结果

场景客服助手预计每天一万次对话，每次对话可能触发多轮模型调用与检索。

• 单次对话包含多轮调用
• 检索与模型分别计费
• 高峰时段请求集中

场景助手可以自动给客户发送邮件，语气和内容都由模型生成，发送后无法撤回。

• 发送动作不可撤回
• 内容全部由模型生成
• 客户会直接看到结果

场景客服助手被要求回答任何问题，包括它完全不了解的内部政策，答不出来也照样给答案。

• 知识库只覆盖常见问题
• 政策类问题常超出范围
• 回答会直接展示给客户

场景助手根据内部制度回答问题，但只给结论，不说明依据来自哪份文件，用户无法核实。

• 答案来自多份制度文件
• 制度之间存在例外条款
• 用户需要向上级解释依据

场景系统自动处理客户的退款申请并直接驳回，被驳回的客户找不到人申诉。

• 驳回结果直接影响客户
• 系统没有申诉入口
• 客户只能重复提交申请

场景团队凭感觉调了两周提示词，准备直接上线，但说不出这一版比上一版好在哪里。

• 改版效果没有量化
• 失败案例没有记录
• 上线后还要持续迭代

场景新模型直接替换旧版本全量上线，团队没有保留旧版本，也没有准备切换开关。

• 新旧版本替换是全量的
• 旧版本没有保留下来
• 出问题需要快速恢复

场景团队有数千份制度文档且每月新增，员工提问必须能点开原文核对，预算只够单次调用一万字以内。

• 文档每月持续新增
• 答案必须标出来源段落
• 单次调用成本有上限

场景医疗咨询团队想让模型直接给出用药剂量建议，一旦出错后果严重，而团队手上只有通用模型可用。

• 一旦出错后果不可逆
• 只有通用模型可用
• 领域有明确规范要求

场景客服团队发现模型常答错近期政策，采购建议换成上下文窗口更大的模型，团队想知道这能否解决问题。

• 错误来自知识过期
• 新模型的窗口更大
• 预算可覆盖一次升级

场景财务团队要把报销单按十几个字段录入系统，字段规则明确，团队希望压低单次成本并保证格式稳定。

• 字段规则基本可枚举
• 单量很大且要控成本
• 格式错误可当场发现

场景合规团队要求每条结论都能定位到制度原文的具体条款，而模型目前只给结论、不给任何依据。

• 每条结论要有出处
• 制度原文可以检索
• 审计会逐条抽查依据

场景团队想用历史工单训练分类模型，但只有近三个月记录，而且标签由不同客服手填，口径并不一致。

• 只有近三个月记录
• 标签口径并不一致
• 业务方希望尽快上线

场景销售团队想让模型自动给客户发送报价邮件，价格一旦发错就无法撤回，而团队希望全自动以提升响应速度。

• 报价错误无法撤回
• 客户会直接看到内容
• 团队追求响应速度

场景内容团队每月产出两百篇稿，希望用模型做初稿，但需要两人长期维护提示词与评测，团队想先算清值不值。

• 每月稿件量基本固定
• 需要两人长期维护
• 初稿质量需人工修改

场景需求方说要一个智能问答机器人，实地观察后发现客服大部分时间花在跨系统查订单状态，而不是回答知识问题。

• 需求方指定了方案形态
• 现场耗时集中在查单
• 客服需切换多个系统

场景团队想用客户通话录音训练客服助手，法务指出录音涉及个人信息，未经同意不能用于模型训练。

• 录音包含个人信息
• 尚未取得明确同意
• 客服场景确实有需求

场景政策问答助手每周都有新文件，团队考虑用微调把知识写进模型，但文件还在持续增加且要求当天可查。

• 政策文件每周更新
• 更新需要当天生效
• 团队有微调的预算

场景团队要把合同审批做成自动流程，步骤固定且每一步都要留痕，但中间有一步需要判断条款是否异常。

• 流程步骤基本固定
• 每一步都需要留痕
• 一步需要判断异常

场景客服知识库里长尾问题很多，检索经常召回不到内容，团队想知道是不是该放弃检索、改成让模型直接生成。

• 长尾问题占比很高
• 知识库覆盖并不全
• 错误答复会误导用户

场景在线客服助手要求两秒内响应，且单次成本有硬上限，团队在大模型和小模型之间犹豫不决。

• 响应要求两秒以内
• 单次成本有硬上限
• 问题难度差异很大

场景内部知识助手既要回答概念问题，也要按条件查库存，团队发现纯检索答不准数字，纯查询又听不懂自然语言。

• 概念问题需要检索
• 数字必须实时准确
• 用户用自然语言提问

场景同一套诊断功能，一边给工程师用，一边给普通用户用，团队想用同一套界面与同一套默认权限。

• 两类用户能力差异大
• 普通用户易误信结论
• 专业用户需要看细节

场景一个功能每月只用一两次，团队却为它设计了复杂的确认流程与参数面板，用户每次都要重新学习。

• 功能使用频率很低
• 用户记不住操作路径
• 出错代价并不算高

场景系统准确率其实不低，但用户每次都要重新核对一遍结果，导致实际效率并没有提升。

• 模型准确率并不低
• 用户每次都逐条复核
• 实际效率没有提升

场景用户在第 8 轮修改需求时，助手已经忘记第 2 轮说过的限制条件，反复给出不合要求的方案。

• 对话轮次已经很长
• 关键约束只在早期说过
• 用户需要反复纠正

场景运营团队要一次修改上千条商品文案，系统只能整体提交，提交之后无法逐条检查，文案对外可见。

• 单次改动上千条文案
• 整体提交无法回滚
• 修改后的文案对外可见

场景团队只攒了三十条测试用例就要上线，业务方认为样本太少不能说明问题，而上线时间已经很近。

• 测试用例约三十条
• 上线时间已经很近
• 失败模式尚不明确

场景离线评测分数很高，上线后用户投诉却变多，团队开始怀疑评测集与真实使用之间的差距太大。

• 离线评测表现良好
• 线上投诉反而增加
• 评测样本来自历史数据

场景用户要求在数秒内看到答复，但多轮检索加重排能明显提升准确率，团队的时间预算非常紧张。

• 响应需在数秒以内
• 加重排可提升准确率
• 用户等待就会流失

场景上线后单次调用成本超出预算，团队提出三个方向：缩短提示词、换小模型、减少检索条数，需要排出先后。

• 单次成本超出预算
• 提示词含大量固定说明
• 检索条数可以调整

场景安全护栏上线后频繁拦截正常提问，用户抱怨问什么都答不了，团队又担心直接关掉会出事。

• 正常提问被频繁拦截
• 用户开始放弃使用
• 确实存在需拦截内容

场景企业想给十年历史的订单系统加智能问答，系统没有接口文档，数据分散在多个库，团队希望三个月上线。

• 系统缺少接口文档
• 数据分散在多个库
• 上线窗口只有三个月

场景方案要覆盖全公司两千名员工，但预算只够每人每天几十次调用，团队还想让功能看起来足够完整。

• 需要覆盖两千名员工
• 调用次数有硬上限
• 高频需求集中在少数场景

场景项目只有一名算法工程师，却同时要维护检索、评测和线上服务，团队还计划每月新增两个功能。

• 算法工程师只有一人
• 需同时维护三块内容
• 计划每月新增两个功能

场景业务要求在大促前两周上线推荐文案功能，但评测集还没有建立，团队只能压缩质量验证环节。

• 上线只剩两周时间
• 评测集还没有建立
• 大促期间流量集中

场景方案能减少一半重复工作，但会改变客服的考核方式，一线主管明确表示不配合，项目推不动。

• 方案会改变考核方式
• 一线主管明确反对
• 重复工作确实很多

场景招聘团队想用模型提高简历初筛准确率，但合规要求每个淘汰决定都能向候选人说明理由，而最准的模型给不出稳定解释。

• 合规要求淘汰理由可说明
• 当前最准的模型无法解释
• 淘汰决定影响候选人权益

场景财务团队希望模型能处理各种口语化报销说明，但月度结算要求同样输入每次得到同样结果，而生成式模型输出并不稳定。

• 结算结果需可复现
• 报销说明口语化严重
• 规则方案覆盖不足

场景内容团队希望模型看懂行业黑话，但同一套系统还要服务多条业务线，通用模型理解稳定却常把专业说法解释错。

• 行业术语表达高度本地化
• 系统需服务多条业务线
• 通用模型专业理解偏弱

场景客服团队希望机器人多覆盖用户提问、少转人工，但错误回答会带来投诉，而机器人只在一部分问题上足够可靠。

• 转人工率是团队考核项
• 错误回答会引发投诉
• 部分问题类型质量不足

场景运维团队希望助手自动排查并修复常见故障，但事故复盘要求每一步操作都能追溯到指令、依据与执行人。

• 事故复盘需逐步骤追溯
• 故障响应窗口很短
• 常见故障处理步骤固定

场景增长团队希望新用户免费试用更长时间以提升转化，但财务测算显示免费调用量越大，单客获取成本越高。

• 免费试用是转化主要入口
• 单次调用成本随用量上升
• 团队有季度成本上限

场景业务方要求本季度上线智能问答，但工程团队评估按当前设计后续每次改知识都要改代码，维护成本会持续累积。

• 业务方要求季度内上线
• 当前设计改知识需改代码
• 后续每季都有知识更新

场景平台团队希望助手尽快覆盖多个岗位以证明通用性，但只有客服岗位的数据与流程足够清晰，其他岗位仍在摸索。

• 客服岗位数据与流程清晰
• 其他岗位需求尚未收敛
• 资源只够一个方向做深

场景运营团队希望尽快开放注册冲量，但当前评测显示部分问题类型回答质量不稳定，质量下滑会直接影响留存。

• 开放注册能快速拉新
• 部分问题类型质量不稳
• 留存对首次体验敏感

场景团队在评估知识问答能力，自研可控但周期长，采购能立刻上线，而核心能力的差异会影响后续产品空间。

• 自研周期覆盖两个季度
• 采购方案可立刻上线
• 核心能力影响后续差异化

场景知识助手要回答一线员工提问，检索更多片段能提升答案准确率，但每次检索与重排都会拉长等待时间。

• 一线员工在通话中查询
• 召回片段越多答案越准
• 重排会显著增加耗时

场景销售团队希望 Agent 自动整理客户资料并推进后续动作，但任何对外发送或改数据都可能造成难以撤回的影响。

• 对外发送不可撤回
• Agent 步骤链较长
• 销售希望减少手工操作

场景内容团队希望模型输出更贴合品牌语气，微调效果明显，但语气规范会随季度调整，团队没有长期标注人力。

• 微调能显著改善语气
• 语气规范每季度更新
• 团队无长期标注人力

场景团队希望把审批、检索、生成、回写串成完整自动化流程，但其中多步依赖不稳定，一旦失败整条链路都要重跑。

• 多步依赖存在不确定性
• 失败后需整链重跑
• 业务只要求先跑通主路径

场景现有问答系统结构混乱、迭代变慢，团队想一次性重写，但业务不能停机，且重写期间新需求仍在涌入。

• 现有系统持续承接线上流量
• 重写期间需求不会停止
• 结构问题拖慢每次迭代

场景运营团队希望一键把模型生成的文案批量发布，但文案会直接触达用户，错发之后很难逐条撤回。

• 文案直接触达外部用户
• 批量操作覆盖数百条
• 撤回需逐条人工处理

场景产品希望自动替用户整理并归档文件以减少操作，但用户看不到分类依据，担心文件被放错位置后找不到。

• 归档结果影响后续查找
• 分类依据对用户不可见
• 用户已习惯手工整理

场景审核团队希望模型输出所有判断依据以便复核，但依据条目过多，审核员每次都要逐条读完才能做决定。

• 审核员有单量时效要求
• 依据过多拖慢单次处理
• 复核时需要追溯理由

场景客服助手希望按用户历史偏好调整话术以提升满意度，但同一政策问题若说法不同，容易引发用户之间对比与争议。

• 政策类问题口径需一致
• 用户偏好差异明显
• 不同说法会被用户对比

场景写作助手希望在检测到表述风险时立刻提示，但用户正连续输入，频繁弹出提示会打断思路并让人关掉提醒。

• 风险提示能减少返工
• 频繁弹窗打断输入
• 用户可直接关闭提醒

场景知识助手希望用更强的模型与更长上下文提升回答质量，但按当前调用量测算，成本会超出可承受的运营预算。

• 调用量仍在持续增长
• 更强模型单次成本更高
• 运营预算按季度核定

场景团队承诺本周上线新提示版本，但评测集里高风险的失败类型样本偏少，现有结论不足以判断改动是否安全。

• 上线时间已对外承诺
• 高风险样本覆盖不足
• 改动影响全部用户

场景法务检索希望尽量不漏掉相关条款，但召回放宽后大量不相关条文混入结果，律师仍要逐条筛掉。

• 漏掉条款后果较重
• 结果过多需人工筛选
• 条款表述差异较大

场景平台希望降低内容审核的人力投入，但漏放违规内容会带来处罚与口碑损失，而抽检比例降低后漏检风险上升。

• 违规内容有处罚风险
• 人工审核按量计费
• 模型判定存在漏检

场景团队希望完整记录每次调用的输入输出以便排查问题，但全量日志带来存储成本，还会拖慢高峰期的响应速度。

• 全量日志存储成本高
• 写日志会占用响应时间
• 问题排查需要调用细节

场景综合项目定在季度末评审，但核心场景的评测与护栏还没做完，若保范围就要延期，若按期就要砍掉部分能力。

• 季度末有正式评审
• 评测与护栏尚未完成
• 部分能力可延后交付

场景团队评估显示当前结构已拖慢迭代，但业务方本季度的功能承诺已经对外公布，两条路线需要同一批人力。

• 结构问题已拖慢迭代
• 功能承诺已对外公布
• 两条路线共用同一批人力

场景团队希望提升首次解决率，但把这个指标做高的一种方式是让助手少转人工，而少转人工会让答错的用户无处求助。

• 首次解决率是核心考核项
• 少转人工能拉高该指标
• 答错用户需要人工兜底

场景产品希望简化企业客户的授权与确认步骤以缩短开通时间，但合规要求每次数据处理都有可追溯的授权记录。

• 授权记录需可追溯
• 开通步骤多影响转化
• 企业客户对合规敏感

场景试点团队反馈效果很好，但试点依赖人工兜底与专人维护，规模化后这些投入无法按同样比例扩张。

• 试点有人工兜底投入
• 试点阶段由专人维护
• 规模化无法同比例加人