嵌入如何表示内容相似性?

计算机不能直接比较两段文字的业务含义。嵌入模型把输入转换为固定长度或特定结构的数值表示,使系统能够计算相似性。例如,“退货申请”与“商品退款流程”字面不同,但可能有相近向量。这里的“相近”由模型训练目标决定,不等于两者在法律或企业规则中可以互换。

从生成向量到检索如何使用?

在文档检索中,系统先将文档按段落或主题分块,对每块生成嵌入并存储。用户提问时,系统用相容模型生成查询向量,通过向量搜索找邻近分块。其他应用可把用户或商品表示成嵌入,用于推荐与聚类。不同模型的向量维度、语言覆盖、训练数据和距离度量不同;更换模型后,原有文档向量通常需要重新生成,不能默认与新模型的查询向量混用。

例如,客服知识库若包含“续约”“自动扣费”和“取消订阅”等内容,嵌入有助于找出语义相关资料。但如果问题包含具体合同编号,仍需要关键词或元数据过滤。镜舟的向量索引与 LLM 记忆文章(英文)讨论了嵌入在检索链路中的作用。

高相似度为什么不等于事实一致?

嵌入是有损表示。它可能弱化数字、否定词、罕见名称或精确标识符,也不会自动包含文档版本和访问权限。应用应保留原文、来源及元数据,在召回后核对证据;如需精确匹配,可结合全文检索。评估时要看目标查询能否找到正确片段,而不只看向量分数。

常见问题

嵌入与向量数据库相同吗?

不相同。嵌入是表示对象的数字;数据库负责存储、索引与检索这些数字。

相似度高就表示事实一致吗?

不表示。两段文字可能主题接近,却在日期、金额或结论上相反。

可以把所有文档拼成一个嵌入吗?

通常不宜。长文档主题多,单个向量可能丢失局部信息;应按任务测试分块方式。