[占位] 政企知识库 RAG 的数据清洗与分段

先确定资料边界

知识库建设应先明确允许进入系统的资料范围、更新责任和访问权限。未经授权的客户资料、涉密信息和个人敏感信息不得进入演示或通用训练集。

建立可追溯的数据处理链

从原始文件、文本抽取、清洗、分段到索引，每一步都应保留版本和来源信息，使错误答案能够回到具体资料和处理步骤。

# 示例命令仅表示代码块样式
java --version
# 正式发布时补充依赖版本、运行结果与回退步骤

分段不是越短越好

分段策略需要结合文档结构、问答粒度和检索方式。应使用代表性问题集验证召回、上下文完整性和答案引用，而不是只依赖通用参数。

用人工纠错形成闭环

把错误问题、错误原因、修正资料和复测结果形成“错题本”，持续改进数据、检索策略、提示词和模型选择。