设计坐席控制与失败恢复
坐席怎样看见证据、识别不确定性、纠正回答并完成升级?
- 01AI 适用性与不可自动化边界卡
- 02客服知识机会评估表
- 03RAG 诊断与方案选择表
- 04坐席权限、升级与恢复图
- 05RAG 评测、成本与上线护栏表
- 06完整客服知识产品评审档案
坐席怎样看见证据、识别不确定性、纠正回答并完成升级?
这是一个教学案例。某数字产品客服团队维护帮助中心、产品政策、故障处置手册和内部操作说明,希望为坐席提供可回到当前有效原文的回答草稿。
- 建议E2
人工确认必须携带足够证据和真实权限,不能只在界面上增加一个形式化确认按钮。
产品方法基线 - 事实E3
RAG 不能完全缓解提示注入,外部文档中的内容可能通过间接注入改变模型行为或导致越权。
外部来源支持
- 未知项E0
坐席复核时间、主管升级容量、高风险主题、响应时限和事件责任人仍待真实组织确认。
尚无外部证据
Artifact delta
本关如何改变项目材料
坐席权限、升级与恢复图
标明证据检查、修改、驳回、转交、超时、事件响应和最终发送的人员与系统权限。
- 引用不支持回答主张
- 信号
- 引用可打开但原文与回答结论不一致
- 影响
- 坐席可能因看见引用而错误信任无依据回答
- 恢复
- 阻止发送,删除或重写不受支持主张,并把失败加入固定集
- 责任
- 坐席和评测负责人
- 有效知识来源冲突
- 信号
- 多份当前有效文档对同一条件给出不同规则
- 影响
- 系统可能任意选边并形成错误对客承诺
- 恢复
- 不自动裁决,展示冲突并转交知识负责人确认唯一有效规则
- 责任
- 知识负责人
- 无答案时仍然作答
- 信号
- 检索为空或证据不足时仍给出确定回答
- 影响
- 模型编造可能直接影响客户处理和业务责任
- 恢复
- 强制拒答并进入人工队列,检查充分性和生成护栏
- 责任
- 产品和客服主管
- 间接提示注入
- 信号
- 检索文档试图改变指令、请求敏感数据或调用工具
- 影响
- 模型行为可能被外部内容操纵并导致越权或错误输出
- 恢复
- 将文档按不可信数据隔离,阻止动作并启动安全审查和攻击回放
- 责任
- 安全和工程
- 人工升级队列过载
- 信号
- 队龄、积压、超时和未处理高风险问题持续上升
- 影响
- 形式上的人在回路无法在业务时限内提供真实保护
- 恢复
- 收紧自动化范围、按风险排序并调整责任人与容量
- 责任
- 客服主管
- 权限过滤失败
- 信号
- 返回其他租户、客户或未授权内部资料
- 影响
- 造成敏感信息暴露、合规风险和客户信任损害
- 恢复
- 阻断输出、停用相关索引、保全日志并启动安全事件响应
- 责任
- 安全和工程
- quality · increase引用支持率
回答关键主张中,其引用真实存在、版本有效且原文确实支持该主张的比例。
阈值:待真实基线 - quality · range合理拒答率
在无证据、知识冲突、权限不足或高风险问题上正确拒答或升级,同时不过度拒绝可回答问题的表现。
阈值:待真实基线 - human · decrease坐席复核时间
坐席核对证据、修改、驳回或确认一条回答草稿所投入的人工时间。
阈值:待真实基线 - human · decrease升级队列时长
无答案、高风险或冲突问题从进入人工升级队列到由责任人接手的等待时间。
阈值:待真实基线 - operation · guardrail权限违规输出数
检索或回答向当前坐席、客户或租户暴露无权访问知识的事件数量。
任何权限违规均阻止晋级并触发事件响应
- 权威文献NIST AI 600-1 Generative AI Profile
支持生成内容可能错误、引用可能虚假以及风险需按使用情境和生命周期治理。
- 权威文献OWASP LLM01 2025 Prompt Injection
支持 RAG 不能完全缓解提示注入和检索文档可能成为间接注入来源。
- 核心概念引用生成
区分引用存在、位置正确和引用真正支持主张。
- 核心概念人工升级
明确拒答、升级、责任、必要上下文和接管权限。
- 核心概念提示注入
解释外部内容改变模型行为和越权的安全风险。
- 核心概念人机协作
解释人工判断和系统自动化如何按风险分工。
- 核心概念AI 护栏
在对客生成回答前后设立输入脱敏与违规内容拦截护栏。
- 核心概念依据一致性
严格检验回答中的主张是否完全由召回片段支撑,无额外虚构。
Project directory
六个 Gate,共同形成一份项目档案
这是固定顺序的项目阶段目录,不代表个人进度,也不会保存选择。
- 01是否使用 AI判断 AI 边界已核验
这个场景需要生成式回答,还是搜索与固定话术已经足够?
- 02业务价值与数据条件建立价值与数据条件已核验
怎样证明解决的是找到并使用正确知识,而不是只让回答更像人?
- 03任务拆解与方案选择拆解检索与回答工作流已核验
如何区分知识未入索引、召回失败、重排丢证据和生成未遵循证据?
- 04人机协作与失败恢复设计坐席控制与失败恢复已核验
坐席怎样看见证据、识别不确定性、纠正回答并完成升级?
- 05评测、成本与上线治理定义评测、成本与上线护栏已核验
怎样同时评测检索、回答、引用、拒答、延迟和人工负担?
- 06完整项目与持续迭代治理发布与持续更新已核验
什么时候能扩大自动化,知识更新或质量回退时如何停止?