回答出错是检索还是生成的问题?
RAG 回答出错时,问题可能在检索,也可能在生成。若正确文档从未进入候选集,再好的生成模型也无法引用它;若正确文档已排在前面,错误可能来自模型理解或引用。检索评估把这两类问题分开,帮助团队定位改进点。
怎样建立可信的检索测试集?
先收集用户真实问题,覆盖常见问法、同义词、编号、跨文档问题和无答案情况。对每个问题标注可支持答案的文档或片段,并记录适用版本、时间和权限。若一个问题需要多段证据,评估集应标出全部必要来源。标注最好由熟悉业务的人复核,避免把“主题相关”误当作“足以支持答案”。
召回、排序和证据覆盖怎样衡量?
召回率关注正确资料是否进入前若干个候选,命中率关注前列是否至少有一个正确结果,MRR 等排序指标强调正确结果出现得是否靠前。还要看误召回、无答案问题中的误命中、权限违规和文档新鲜度。对于需要多段证据的问答,仅命中其中一段并不够,应检查证据覆盖。在线环境还需关注响应时间、失败率和成本。
例如,制度问答的检索系统找到了去年政策并排在第一,虽与问题高度相关,却可能给出错误答案。评估时应要求当前有效版本,并检查引用是否支持具体结论。改变分块、索引、混合搜索或重排序后,要用同一批问题做回归比较;最终回答测试则补充检查语言表达和推理。
检索如何与后续分析衔接,可参看多模态检索与分析实践(英文)。
常见问题
只看最终回答正确率够吗?
不够。它无法说明错误来自召回、排序还是生成,也可能掩盖偶然答对。
评估集需要多大?
没有统一数量。应先覆盖关键场景和失败类型,再随真实流量与新问题持续扩展。
人工标注与自动评估如何结合?
自动指标适合频繁回归;边界案例和高风险结论仍需要人工核查依据。