实战案例客服知识库与回答辅助
业务价值与数据条件Gate 02 of 06 · 决策推演
建立价值与数据条件
PM 核心决策题
怎样证明解决的是找到并使用正确知识,而不是只让回答更像人?
项目材料逐步形成各关决策沉淀为 PRD 章节
- 01AI 适用性与不可自动化边界卡
- 02客服知识机会评估表
- 03RAG 诊断与方案选择表
- 04坐席权限、升级与恢复图
- 05RAG 评测、成本与上线护栏表
- 06完整客服知识产品评审档案
Decision BriefGate 02 决策工作台
怎样证明解决的是找到并使用正确知识,而不是只让回答更像人?
业务场景背景与约束:
这是一个教学案例。某数字产品客服团队维护帮助中心、产品政策、故障处置手册和内部操作说明,希望为坐席提供可回到当前有效原文的回答草稿。
团队推荐基准先记录查找、核对、升级、纠正和错误版本基线,再定义有证据且经坐席确认的任务结果。默认基线路径,可根据实际约束探索并采纳其他方案
- 建议E2
回答流畅度不能单独证明业务价值,案例必须观察坐席能否完成真实回答任务并处理异常。
产品方法基线 - 事实E3
生成系统可能自信地产生错误内容或虚假引用,风险需要结合具体使用情境和影响评估。
外部来源支持
- 未知项E0
文档质量、问题分布、当前查找耗时、重复联系、升级结果和各类错误成本仍待真实数据验证。
尚无外部证据
Artifact delta
本关如何改变项目材料
新增材料
客服知识机会评估表
记录目标角色、当前任务、知识条件、权限、真实基线、错误成本、无答案和升级链路。
- 无答案时仍然作答
- 信号
- 检索为空或证据不足时仍给出确定回答
- 影响
- 模型编造可能直接影响客户处理和业务责任
- 恢复
- 强制拒答并进入人工队列,检查充分性和生成护栏
- 责任
- 产品和客服主管
- 有效知识来源冲突
- 信号
- 多份当前有效文档对同一条件给出不同规则
- 影响
- 系统可能任意选边并形成错误对客承诺
- 恢复
- 不自动裁决,展示冲突并转交知识负责人确认唯一有效规则
- 责任
- 知识负责人
- business · increase有证据回答任务完成率
有充分有效证据且经授权坐席确认完成的回答任务,占进入目标范围问题的比例。
阈值:待真实基线 - business · decrease有效证据查找时间
从坐席开始查找,到定位当前有效且适用于该问题的原文证据所需时间。
阈值:待真实基线 - quality · range合理拒答率
在无证据、知识冲突、权限不足或高风险问题上正确拒答或升级,同时不过度拒绝可回答问题的表现。
阈值:待真实基线 - human · decrease坐席复核时间
坐席核对证据、修改、驳回或确认一条回答草稿所投入的人工时间。
阈值:待真实基线
Project directory
六个 Gate,共同形成一份项目档案
这是固定顺序的项目阶段目录,不代表个人进度,也不会保存选择。
- 01是否使用 AI判断 AI 边界已核验
这个场景需要生成式回答,还是搜索与固定话术已经足够?
- 02业务价值与数据条件建立价值与数据条件已核验
怎样证明解决的是找到并使用正确知识,而不是只让回答更像人?
- 03任务拆解与方案选择拆解检索与回答工作流已核验
如何区分知识未入索引、召回失败、重排丢证据和生成未遵循证据?
- 04人机协作与失败恢复设计坐席控制与失败恢复已核验
坐席怎样看见证据、识别不确定性、纠正回答并完成升级?
- 05评测、成本与上线治理定义评测、成本与上线护栏已核验
怎样同时评测检索、回答、引用、拒答、延迟和人工负担?
- 06完整项目与持续迭代治理发布与持续更新已核验
什么时候能扩大自动化,知识更新或质量回退时如何停止?