向量检索(也叫向量搜索)先把查询和数据都转换成数值向量,再按向量之间的距离找出最接近的若干条结果。它解决的是“意思相近但用词不同”的查找问题,常用在知识库问答、RAG、商品推荐和以图搜图等场景。

向量检索和关键词检索有什么区别?

关键词检索看词语是否出现。用户搜“客户退款流程”,标题写成“退费操作规范”的文档就可能漏掉。向量检索先用模型把内容映射到数值空间,含义相近的内容在空间里距离更近,所以这类文档也能被找到。

两种方式各有用处:


关键词检索

向量检索

匹配依据

词项是否出现

向量距离或相似度

适合的问题

错误码、合同编号、产品型号

措辞多变、跨语言、图片和音频

典型索引

倒排索引

HNSW、IVFPQ 等近似最近邻索引

主要风险

同义词漏召回

字面完全一致的结果可能排不到前面

业务里两类问题经常同时出现,所以很多系统会把两者合并成混合搜索。关键词部分的原理见倒排索引。

向量检索如何运行?

整个过程分两个阶段:

  1. 离线建索引:把文档切成段落,用 embedding 模型为每段生成向量,写入支持向量索引的表。
  2. 在线查询:用同一个模型把用户问题转成向量,计算它和库里向量的距离,取最接近的前 N 条,再按元数据过滤或重排序。

数据量大时,逐条计算距离太慢,系统会改用近似最近邻(ANN)索引,用少量召回率换取查询速度。评估时最常看的指标是召回率,也就是在给定条件下真正相关的结果被找回了多少。

HNSW 和 IVFPQ 有什么区别?

这两类是最常见的近似最近邻索引。以下特性来自 StarRocks 向量索引文档:


HNSW

IVFPQ

原理

分层的图结构,上层做全局快速跳转,下层做局部精细查找

先把向量聚成若干簇,只搜索相近的簇,再用乘积量化压缩向量

存储

压缩比约 1:0.8,占用较多

压缩比约 1:0.15,占用较少

查询

延迟低,结果可直接精确排序

先粗排,需要额外精排,同等召回率下计算成本更高

适合

对延迟敏感、存储充足

向量量大、存储成本敏感

在 StarRocks 中如何建向量索引和查询?

StarRocks 从 3.4 版本起支持向量索引,目前仅支持存算一体集群,使用前需要把 FE 配置 enable_experimental_vector 设为 true(StarRocks 文档)。

建一张带 HNSW 索引的表:

sql
CREATE TABLE doc_chunks (
  id BIGINT NOT NULL,
  embedding ARRAY<FLOAT> NOT NULL,
  INDEX idx_embedding (embedding) USING VECTOR (
    "index_type" = "hnsw",
    "dim" = "768",
    "metric_type" = "cosine_similarity",
    "is_vector_normed" = "false",
    "M" = "16",
    "efconstruction" = "40"
  )
) ENGINE=OLAP
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id);

查询与问题向量最接近的 10 条:

sql
SELECT id, approx_cosine_similarity([0.12, 0.08, ...], embedding) AS score
FROM doc_chunks
ORDER BY approx_cosine_similarity([0.12, 0.08, ...], embedding) DESC
LIMIT 10;

几条使用规则:

  • 每张表只能建一个向量索引。
  • 用 cosine_similarity 时按 DESC 排序,用 l2_distance 时按 ASC 排序。
  • 查询必须带 LIMIT,ORDER BY 里只能放距离函数。
  • 查询向量的维度要和建索引时的 dim 一致。

镜舟博客《StarRocks 向量索引:让大模型记性更好》介绍了这项能力的设计背景。

向量检索有哪些局限?

  • 向量距离近,不代表内容正确。资料是否过期、用户有没有权限看,仍然要由应用层判断。
  • 指定版本、地区或客户时,需要先按字段过滤,否则语义相近的旧文档可能排在前面。
  • 召回效果取决于切分方式、embedding 模型和索引参数,换一个业务场景通常要重新调参。

常见问题

向量检索和向量搜索是一回事吗?

是。两个词指同一种检索方式,中文资料里两种说法都常见。

一定要用专门的向量数据库吗?

不一定。部分分析数据库和搜索引擎也提供向量索引,StarRocks 从 3.4 版本起支持在表上建向量索引,结构化数据和向量可以放在同一个系统里查询。

相似度阈值怎么定?

在自己的数据和真实问题上测试误召回和漏召回,不宜照搬其他项目的数值。