初次召回为什么还要细排?
大规模搜索先要快速找到一批可能相关的文档,初次排序难以充分理解查询与每个片段之间的细节。重排序在候选范围缩小后投入更多计算,判断哪条结果真正适合当前问题。例如,检索“退款截止日期”时,许多文档都含“退款”,但只有特定版本的政策明确说明截止条件。
重排序模型怎样评估候选?
系统先通过关键词、向量或混合搜索取得前若干候选,再让重排序模型逐一评估查询与候选的相关性。常见模型会联合读取问题和文档内容,与只比较预先生成的向量不同,因此能识别较细的语义差别。完成排序后,应用选取少量结果进入生成模型的上下文。候选的原始来源、版本和权限信息仍需保留,重排序分数不能替代这些检查。
如果初次召回根本没有正确文档,重排序无法凭空找回来。候选数量过少会限制上限,过多则增加延迟和费用。实际系统需要在召回覆盖与细排成本之间调整;对长文档,还要决定给重排序模型看标题、片段还是更多上下文。
重排序能弥补召回遗漏吗?
向量检索和关键词检索解决“先找哪些候选”,重排序解决“候选中谁更相关”。混合搜索可以先融合两路候选,再统一重排序。对于 RAG,最终还要检查高排名片段是否足以支持答案;最相关的片段也可能只包含部分信息,或与别的来源冲突。
关于候选内容被用于后续分析的场景,可参看多模态检索与分析实践(英文)。
常见问题
重排序越复杂越好吗?
不一定。复杂模型可能提高相关性,也会增加响应时间,应按任务收益衡量。
能直接把所有文档交给重排序模型吗?
通常不合适。大规模语料需要先用高效召回缩小范围。
如何评估?
比较正确文档在前几名中的比例、最终回答质量、延迟及成本,并观察初次召回是否遗漏答案。