稠密向量如何连接不同表达?
用户和文档可能用不同词表达同一概念。稠密检索通过训练得到的向量表示,将相关内容放到相近的位置,再用最近邻搜索找候选。它与向量搜索高度相关:稠密检索强调“用稠密向量表达和召回文本”的方法;向量搜索是更宽泛的技术,也可处理图像等其他向量化对象。
编码器与近邻索引怎样完成召回?
系统先用文档编码器为标题、段落或分块生成向量,并建立索引。查询时用兼容的查询编码器产生向量,寻找最相近的文档。两种编码器可能共享参数,也可能分开训练。向量维度、距离函数、分块长度、近似索引参数,以及候选数量,都会影响召回和延迟。候选可以再通过重排序模型细排,或与关键词结果融合。
例如,用户搜索“怎样取消自动续费”,知识库里写的是“关闭订阅周期性扣费”。稠密检索可能找到对应说明,即使没有完全相同的词。但若用户输入具体订单号或错误码,模型未必能保留这些字符的精确信号,此时关键词路径更重要。
稠密检索与稀疏检索如何取舍?
稀疏检索通常让向量的大量维度为零,并强调词项、扩展词或可解释的特征;稠密检索把含义压缩到连续数值维度中。前者常在精确术语上更稳,后者常在语义改写上有优势,但效果取决于模型和语料。真实应用常把两者合并,再按业务问题评估。对 RAG 来说,召回“看似相关”的片段还不够,还要检查原文能否支持最终答案。
有关语义检索接入分析流程的场景,可继续阅读多模态检索与分析实践(英文)。
常见问题
稠密检索等于语义搜索吗?
它是实现语义搜索的常见方法之一,但语义搜索还可使用其他方法。
需要训练自己的编码器吗?
不一定。可先测试现成模型;内部术语多或语言特殊时,再评估领域适配。
如何发现漏检?
用包含同义改写、专有词和无答案问题的测试集,观察正确文档是否进入候选集。