AI 项目从 Demo 到生产，通常会多出哪些模块

先说结论。

AI Demo 到生产，不是把页面做得更完整，而是把一次成功回答改造成一条可授权、可追踪、可评估、可恢复的业务流程。

下面用“内部制度问答”做贯穿案例：Demo 能根据几份文档回答问题；生产版本要面对不同部门权限、旧制度冲突、模型超时、引用核验和持续更新。

Demo 先证明检索与生成能连起来

最小 Demo 可以上传文档、切分文本、检索片段并生成带引用的回答。它适合验证资料能否被解析、常见问题是否能命中，以及回答形式是否便于阅读。

这个阶段可以使用脱敏样本和单一账号，但要把结论写准确：它只证明技术链路可行，不证明所有员工都能安全使用。

权限必须先于检索生效

生产版本的第一个依赖是身份与文档权限。系统要先知道提问者属于哪个部门、拥有哪些角色，再决定哪些文档能够进入候选集。

如果先检索全部文档，再在回答页面隐藏敏感内容，日志、缓存或模型上下文仍可能留下越权信息。权限层因此依赖统一身份和文档元数据，也会反过来限制检索设计。

文档治理决定回答引用什么

同一制度可能同时存在草案、现行版和历史版。生产系统要给文档补所有者、生效时间、状态、适用范围与替代关系，检索时优先使用当前有效版本。

这一步位于模型之前。没有版本治理，评估发现的“答错”可能不是模型问题，而是知识源本身互相冲突。

日志把一次回答变成可调查事件

每次请求至少关联用户身份、问题、检索候选、最终引用、提示版本、模型版本、耗时、结果状态和反馈。敏感字段是否落日志，要由数据策略单独决定。

日志依赖稳定的请求 ID，并为评估、成本和故障恢复提供共同底座。没有这层，团队只能看到用户说“答错了”，却无法重放当时发生了什么。

失败状态要告诉用户下一步

生产系统需要区分无权限、无可信资料、文档解析失败、模型超时、输出格式错误和服务不可用。不同失败不能都显示“请重试”。

无可信资料时应明确拒答并提供反馈入口；超时时可以保留问题并重试；权限不足时只说明访问范围，不泄露文档存在。失败设计依赖日志，也决定人工接管是否顺畅。

评估先验收检索，再验收回答

用真实工作问题建立版本化评估集，分别检查目标文档是否被召回、引用是否支持结论、回答是否遗漏关键条件、拒答是否合理。

一个总分会掩盖问题来源。检索没找到资料时不应继续调提示词；资料正确但回答越界时，才需要检查生成约束和人工审核。

成本与容量控制放在真实链路上

成本不只来自一次模型调用，还包括文档解析、向量化、重排、重试和日志存储。生产版本应按任务记录调用路径，而不是只看月底账单。

容量控制至少包含单用户频率、超长输入、批量上传、模型降级和重试上限。没有这些保护，一个异常文档或循环重试就可能拖慢所有用户。

运营入口负责知识持续有效

文档管理员需要看到解析失败、即将过期的制度、高频未回答问题、低质量反馈和待复审内容。技术人员则需要查看服务告警、版本变化与评估回归。

运营后台不是“以后再做”的装饰。知识一旦更新，谁重新索引、谁确认旧版本下线、谁复跑评估，都要有可执行入口。

模块之间有明确依赖顺序

建议按下面顺序推进：

1. 身份、权限与文档元数据；
2. 请求 ID、日志与失败状态；
3. 真实问题集与分层评估；
4. 成本、容量和模型降级；
5. 反馈、运营与更新流程。

人工兜底贯穿所有阶段。涉及人事、财务、合同等高风险问题时，系统应提供来源并提示咨询责任部门，而不是自动替代正式解释。

常见失败来自把模块逐个贴上去

如果权限在检索之后补，通常要重做索引和过滤；如果没有日志就做评估，失败样本无法重放；如果先开放全员再设计容量，异常使用会直接影响体验。

另一个失败是模块都有，却没有共同状态。权限拒绝、检索无结果和模型超时散落在不同服务里，用户和运营者仍不知道请求停在哪里。

边界与上线检查

一次性内部演示可以不建设完整运营后台，但不能接入未授权资料，也不能暗示它已达到生产标准。低风险草稿工具可以简化审批，高风险制度解释则必须保留来源和责任部门。

上线前检查：权限是否在检索前生效；每次回答能否重放；失败是否有下一步；评估集是否来自真实问题；成本是否能定位到任务；文档是否有所有者；人工是否能接管。

这些问题没有答案时，应该继续收口，而不是继续增加功能。

最后一项验收是故障演练

发生了什么，是系统从固定样本进入真实账号、真实权限和持续更新；真正变化，是责任从一位演示者扩展到安全、业务运营和系统维护者。本文的判断是：上线检查不要再追加一轮功能演示，而应选择一次文档过期、一次权限撤销和一次模型超时，完整记录发现、定位、接管与恢复。

演练的后续观察信号有三项：信号一，权限变化后旧索引是否及时失效；信号二，失败回答能否定位到资料、检索、生成或接口；信号三，业务人员能否不依赖开发者完成内容下线与问题关闭。再让一名未参与开发的人按文档完成一次处置，验证知识没有只留在原型作者脑中。

如果系统只能在固定样本和固定账号下运行，所谓生产化仍是扩大版 Demo。只有生产责任能被不同角色稳定承担，这些模块才形成系统能力。