长文档为什么需要分块?
整篇报告可能包含多个主题。若只为整篇生成一个索引表示,用户询问某个局部事实时,相关内容可能被其他章节稀释;若片段切得太小,又可能失去主语、时间或表头。分块要让每个单元既足够聚焦,也能独立说明其含义。它是检索增强生成中的基础处理步骤,但并无适用于所有材料的固定长度。
按长度、结构和语义切分有何差异?
固定长度切分实现简单,可设置相邻片段重叠来减少边界信息丢失;按标题、段落或句子切分,更贴近文档结构;语义切分则尝试在主题转换处断开。表格、代码、合同条款和问答文档往往需要专门规则,例如把表头与表格行一同保留,或避免把定义与例外条件分到不同片段。每块应保存文档标题、章节、页码、版本和权限等元数据,方便筛选及回溯。
例如,制度文档写着“报销上限为 500 元”,下一段写着“差旅住宿不适用此上限”。若两段被分开检索,答案可能遗漏例外。可通过结构化切分、适度重叠或检索后扩展相邻片段保留必要背景。对企业知识库,文档版本更新后也应重新分块和索引。
怎样检查片段是否保留了完整证据?
分块越大,每块包含更多背景,但索引表示可能不够聚焦,送入模型的成本也更高;分块越小,定位更精确,却可能需要拼接多个片段才能回答。应依据真实问题测试检索命中、证据完整性和回答质量,并专门检查跨段落条件、表格与长列表。必要时可以同时索引小片段和父级章节,兼顾定位与背景。
关于检索结果如何衔接分析,可继续阅读多模态检索与分析实践(英文)。
常见问题
分块必须重叠吗?
不必须。结构完整的段落可以不重叠;跨边界信息多时,可测试适度重叠。
一个片段应该有多少 token?
没有通用数值。取决于资料结构、嵌入模型、检索方式和回答所需证据。
切分后能丢掉原文吗?
不宜。保留原文有助于核对引用、更新索引与处理争议。