倒排索引的核心是建立“词项到文档”的映射关系。与按文档查找其包含词项的正向索引不同,倒排索引从词项出发,直接找到包含该词项的文档,减少查询时逐篇扫描内容的开销。
例如,有三个文档:
- Doc1:quick brown fox
- Doc2:lazy dog
- Doc3:quick brown dog
建立倒排索引后,部分映射关系为:
- quick:Doc1、Doc3
- brown:Doc1、Doc3
- dog:Doc2、Doc3
当用户搜索“quick”时,系统可以直接定位 Doc1 和 Doc3;当用户要求同时包含“quick”和“dog”时,可以对两个文档列表求交集,得到 Doc3。
倒排索引通常包含两个核心组成部分:
- 词项词典:保存可检索的词项,供查询时查找。
- 倒排列表:记录每个词项对应的文档标识,也可以包含词频、词项位置等信息,用于相关性评分和短语查询。
构建倒排索引通常需要先对文本进行解析、分词和规范化,再生成词项与文档之间的映射。分词规则会影响检索结果,因此索引构建与查询处理通常需要采用相匹配的文本分析规则。
倒排索引的典型应用包括:
- 全文搜索:根据关键词检索网页、文章和知识库文档。
- 日志分析:定位包含特定错误信息、标识符或关键词的日志记录。
- 内容筛选:根据标签、类别或其他属性值查找匹配记录。
- 混合检索:与向量检索配合,为智能问答和检索增强生成提供候选内容。
需要区分文本倒排索引与向量索引。文本倒排索引主要基于词项匹配;向量索引主要支持向量相似性检索。将文本转换为向量并不等于建立文本倒排索引。混合检索通常结合两种检索方式,再对结果进行融合或重排序。
倒排索引通过额外的存储空间和索引维护开销换取查询效率。实际效果取决于数据规模、词项分布、查询条件、索引配置和更新频率,不能仅凭使用倒排索引就保证固定的响应时间。
常见问题
倒排索引与正向索引有什么区别?
正向索引侧重“文档包含哪些词项”,倒排索引侧重“哪些文档包含某个词项”。后者更适合根据关键词查找文档。
倒排索引能支持短语搜索吗?
可以,但通常需要在倒排列表中记录词项位置,并在查询时检查词项的顺序和间隔。仅记录文档标识不足以准确判断短语是否出现。
倒排索引可以直接理解语义吗?
传统文本倒排索引主要依赖词项匹配,本身不等同于语义理解。可以结合查询扩展、向量检索和重排序等方法,改善同义表达或语义相关内容的检索效果。