企业内部文档接入大模型前，需要先清洗什么

先说结论。

企业内部文档接入大模型前，最先要清洗的不是标点和空行，而是重复、过期、权限、格式和敏感信息。模型能读懂文本，不代表系统知道哪份有效、谁能看、出了错找谁修。

清洗的产物不应只有一批纯文本，还要有一份可追踪的文档清单和明确的接入规则。

先建立文档身份

每份文档至少需要标题、来源系统、所有者、适用范围、版本、生效时间、权限级别和复审时间。没有这些信息，后续无法处理冲突和失效。

同名文件不一定重复，不同文件名也可能是同一内容。应结合内容指纹、业务标识和版本关系判断，而不是只按路径去重。

具体场景是某制度在邮件、共享盘和知识平台各有副本。若三份一起索引，回答可能混合不同修订状态。

重复内容要决定主副关系

重复清理不是简单删除。要确定权威来源、镜像副本和引用关系。主文档更新时，索引应从主来源同步，避免多个副本各自漂移。

模板中的通用页眉页脚、免责声明和导航文字也会大量重复。它们可能占据检索结果，需要在解析阶段识别并移除或降权。

判断标准是：重复内容是否会让同一问题召回多份无差别片段，挤掉真正相关证据。

过期文档必须有退出机制

标记“历史”但仍参与默认检索，风险依然存在。有效性应成为检索过滤条件，旧版本只在审计或特定查询中可见。

如果无法确认是否过期，不要默认为有效。可以放入待审核队列，由业务所有者确认。技术团队不应替业务判断制度效力。

还要记录替代关系，让用户从旧链接跳到当前版本。

权限清洗要在索引前完成

先全量向量化、回答后再遮挡，可能让敏感片段进入上下文、缓存和日志。权限应与文档和片段绑定，并在检索阶段过滤。

需要检查继承权限、临时项目权限、离职账号、共享链接和导出副本。原系统的“可访问”规则不一定能直接映射到新知识库。

上线前用不同角色抽查同一问题，验证召回集合，而不只验证页面是否隐藏链接。

格式清洗重点是结构还原

PDF 可能有双栏顺序、页眉页脚和扫描图片；表格可能丢失列名；演示文稿的信息依赖标题和布局；邮件线程包含大量重复引用。

清洗要保留标题层级、列表、表格关系和页码定位。只追求转成纯文本，会让可读结构消失，后续切片和引用都受影响。

可以抽取代表性文件人工检查：阅读顺序是否正确，表格是否能解释，引用能否回到原页。

敏感信息要分级处理

个人信息、密钥、客户数据、财务信息和内部决策不能只靠关键词替换。需要按用途决定删除、脱敏、隔离索引或限制模型处理范围。

脱敏后仍要检查上下文是否可反推身份。日志和评估集也可能复制敏感片段，应纳入同一策略。

常见误区是清洗一次就结束

文档每天变化，一次性清洗很快失效。另一个误区是把解析成功率当作内容有效率，文件能打开不代表内容可信。

还要避免由技术团队独自审核全部文档。格式问题归技术，业务有效性和权限归对应负责人。

最小清洗清单

先选一个部门完成八项检查：是否有所有者、是否为当前版本、是否重复、权限是否明确、解析是否保留结构、是否含敏感信息、能否定位原文、何时复审。

只有通过的文档进入试点索引，待确认内容进入隔离区。文档接入大模型不是搬家，而是把原来隐含的知识规则变成系统可执行的规则。

清洗过程要留下审计记录

每次接入应记录原文件标识、解析器版本、清洗规则、处理时间和结果状态。自动删除的页眉、脱敏字段和被判定重复的文件都要能追溯，避免业务发现内容缺失时无从检查。

清洗失败不应静默跳过。扫描件无法识别、表格结构破坏、文件加密或权限映射失败，都应进入隔离队列，并通知对应所有者。

用抽样验收替代“全部转换成功”

从不同格式、部门和权限等级中抽样，逐份比较原文与解析结果。再用真实问题检查检索片段，确认标题、条件、数字和表格关系没有丢失。

最后统计的不是单一文件成功率，而是有效、待审核、隔离、过期和重复五种状态。只有团队知道每份文档为什么处在当前位置，清洗流程才真正可运营。

正式运行后，新文档必须走同一入口，不能临时直接塞进索引。规则变更时先在抽样集验证，再重建版本并保留回滚点。长期无人确认的隔离文档，应由业务负责人决定删除、归档或继续等待。

清洗责任也要拆开：技术团队负责解析和记录，安全或法务确认敏感信息规则，业务所有者确认有效性。三类责任混在一起，会让任何异常都停在“待确认”。

发生了什么、真正变化与后续观察信号

发生了什么：重复、过期、越权和格式破损文档开始进入同一个检索入口。真正变化是文档从共享盘文件变成有身份、权限和生命周期的知识对象。后续观察信号有三项：

1. 信号一：新文档是否绕过统一入口直接进入索引。
2. 信号二：同一制度的冲突版本是否再次同时被召回。
3. 信号三：隔离与待审核队列是否有明确所有者和停留原因。

反例是一次性、公开且来源单一的资料问答，可以简化审批，但仍要保留来源版本。下一步抽查一次最近新增、一次已过期和一次权限变更的文档，确认它们在源系统、处理记录和索引中的状态一致。

我的判断是，清洗完成的标准不是所有文件都能解析，而是每份知识都有可解释状态和责任人。

只有一字之差的制度版本尤其需要人工判断，文件哈希和相似度不能决定哪份有效。系统可以标记候选重复，业务所有者仍要确认主版本、适用日期和旧版退出方式。