为什么精确术语需要词项信号?
在传统搜索中,文档可表示为词项及其权重:未出现的词对应零,出现的词带有非零权重,因此表示很稀疏。查询和文档共享的重要词越多,通常越可能相关。BM25 是常见排序方法,会综合词频、文档长度与词的区分度;新一些的稀疏模型还能学习扩展词或更复杂的词项权重。
稀疏表示和倒排索引如何检索?
系统为文档建立倒排索引,将词语关联到包含它们的文档。查询到来时,对候选文档计算匹配分数并返回排序结果。实现时需要考虑中文分词、同义词、停用词、字段权重和拼写变体。比如用户查询“TS-999 故障”,精确标识符通常比“常见登录问题”这类语义相近描述更重要,稀疏检索可以直接利用该词项信号。
稀疏检索并非只能逐字匹配。通过同义词词典或学习型扩展,它也能覆盖部分改写;但扩展不当会把不同业务术语混为一谈。企业知识库应保留产品版本、语言、权限等元数据过滤,防止高分旧文档误导回答。
它与稠密检索怎样互补?
稠密检索擅长发现措辞不同但含义接近的内容,稀疏检索对精确编号、产品名和专业术语通常更直接。两者不存在固定赢家:不同语料和问题类型会改变效果。混合搜索将两种召回结果融合,是常见组合;是否值得采用,应通过真实查询的召回率、误匹配率和响应成本判断。
有关不同检索方式如何进入分析链路,可继续阅读多模态检索与分析实践(英文)。
常见问题
BM25 就是全部稀疏检索吗?
不是。BM25 是典型方法,还有基于学习的稀疏表示与排序模型。
中文稀疏检索为什么要注意分词?
中文词语通常没有空格边界,分词方式会直接影响索引词项与匹配结果。
适合用在 RAG 吗?
适合,尤其是资料中有代码、编号或专有名词时;仍可与向量检索配合。