RAG 项目为什么要记录没有答上的问题

先说结论。

RAG 项目最有价值的运营数据之一，不是成功回答数量，而是没有答上的问题。它们能暴露知识缺口、检索失败、权限错误和范围误判，是知识库下一轮更新最直接的入口。

但只保存一句用户问题还不够。要连同当时的检索、引用、用户角色、索引版本和人工处理一起记录，失败才可诊断。

“没答上”至少有四种原因

第一种是知识缺口，库里确实没有答案。第二种是有文档但没召回，可能与切片、关键词或过滤有关。第三种是召回了证据却生成失败。第四种是权限或范围规则主动拒绝。

四种情况的修复动作完全不同。全部标成“模型回答不好”，团队只会反复调提示词。

具体场景是员工问新的报销规则。系统没有答案，可能因为制度尚未发布，也可能因为文档已更新但索引任务失败。记录链路才能区分。

记录失败要保留现场

每条未命中记录建议包含：原始问题、时间、用户角色、识别的问题类型、召回片段、分数或顺序、过滤条件、回答状态、引用、索引版本和最终人工处理。

敏感信息应按既有规则脱敏，访问权限不能因为进入运营队列而放宽。

还要保存用户是否改写后再次提问。连续改写可以提示系统对口语、缩写或上下文理解不足。

先分类，再决定谁处理

知识缺口交给内容所有者；过期或冲突交给知识管理员；召回问题交给技术团队；权限拒绝交给系统和业务负责人共同确认；范围外问题由产品负责人决定是否扩展。

一个问题可以有主类型和次类型，但必须有唯一负责人。否则跨团队队列会变成长期积压。

处理完成还要写验证方法：补文档后重新问，改切片后跑问题集，修权限后用对应角色复测。

失败问题会自然形成评估集

真实失败比临时编写的问题更接近上线分布。经过脱敏、去重和业务确认后，可以把它们加入回归集，并标注期望证据、可接受回答和拒答条件。

但不能把所有失败原样加入。偶发输入错误、无意义文本和超出产品定位的问题应单独保留，不必强迫系统回答。

评估集也要版本化。文档政策变化后，期望答案可能改变，旧标注不能永久有效。

用频率与风险共同排优先级

高频但低风险的问题适合批量改善；低频但影响付款、权限或合规的问题也应优先。单看出现次数，会忽略严重错误。

可以按业务影响、重复频率、是否已有权威来源、修复成本四个维度排序。先处理有明确来源且影响大的问题，通常最容易形成可验证改进。

常见失败是只放一个“不满意”按钮

用户点踩没有说明原因，技术团队看不到证据链。另一个误区是要求用户填写长反馈，导致真实一线很少提交。

更合适的是快捷分类加可选备注，同时后台自动附带运行现场。还要避免只记录完全拒答，错误但流畅的答案同样需要进入队列。

边界：不是所有未知都要补进知识库

有些问题涉及个案裁决、实时业务数据或超出授权范围，正确处理就是转人工或调用业务系统。把每个问题都变成文档，会让知识库膨胀且责任模糊。

记录的目的不是追求百分之百回答，而是判断哪些未知应补知识、哪些应改流程、哪些应继续拒绝。

建立一个最小未命中队列

先定义四类失败和对应负责人，自动保存问题、角色、召回、版本与最终处理。每周选一批高风险或高频项修复，并在同一环境复测。

知识库不是因为成功回答而自动变好，而是因为团队能看见失败、解释失败，并把值得修的失败变成下一轮可验证任务。

队列本身也要防止失真

相似问题需要聚类，但不能过早合并。两个问法看起来接近，可能分别受地区、产品版本或用户权限影响。合并时应保留原始问题和上下文，只在运营层建立主题关联。

同时要避免只收主动反馈。用户看到错误后直接离开、重复改写或转去人工渠道，也可能是失败信号。可以在保护隐私的前提下观察这些行为，并由业务人员抽样判断。

修复完成要有关闭标准

补一份文档不等于问题关闭。需要重新索引，在原用户角色和同类问法下复测，确认引用、版本和回答都符合预期，再加入回归集。

若问题被决定为范围外，也要记录拒答文案和转接路径。这样“没有答上”不再是一个模糊缺陷，而是有诊断、有决定、有验证的运营事件。

每月还可以回看已经关闭的问题，检查同类问法是否再次出现。若持续复发，说明修复只覆盖了一个表达，或新版文档、索引和缓存没有同步。这个复查能区分一次性补丁与真正消除根因。

队列规模较大时，可以自动做脱敏、去重建议和上下文附加，但不要自动决定业务答案。最终分类与关闭仍应由有责任边界的人确认。

发生了什么、真正变化与后续观察信号

发生了什么：用户点踩和未命中问题开始进入可分派队列。真正变化是团队第一次能看到知识缺口、检索缺陷和合理拒答各占什么位置。后续观察信号有三项：

1. 信号一：相同根因的问题是否持续增长。
2. 信号二：关闭后的样本是否进入固定回归。
3. 信号三：范围外问题是否显示一致的拒答与转接路径。

并非每个低频问题都值得补文档，维护成本高于业务价值时可以保留拒答，这是反例。下一步从本周队列选一个高风险问题和一个高频问题，分别确认修复责任与关闭标准，避免只按数量排序。

我的判断是，未命中率下降不是唯一目标；合理拒答稳定、错误能被归因、修复能进入回归，同样代表系统在变好。