为什么同一个指标会出现不同的数字?

同样叫"销售额",可能指订单原价、优惠后金额、实际支付金额,也可能指确认收入。两张表之间也可能存在几种看起来都合理的关联方式。哪些测试账号要排除、指标按什么粒度聚合,这些规则通常不会写在数据库表结构里,只靠表名和字段名也推断不出来。

各团队各自写 SQL 时,会分别做出自己的选择。底层数据相同,报表结果却对不上。语义层把这些规则集中定义一次,使用者不必在每个工具里重新解释字段和公式。

语义层管理哪些内容?

语义层管理内容表-v01

这张表整理自镜舟语义视图系列第二篇。

一个完整示例:从语义定义到 SQL

下面用镜舟 Semantic View 的写法演示语义层的工作过程。示例有意做了简化:一张购买记录事实表 t_item,加上分类维表 t_item_type 和品牌维表 t_item_brand。


第一步:定义语义

CREATE OR REPLACE SEMANTIC VIEW sv_fishing_item_spend

  TABLES (

    items      AS t_item       PRIMARY KEY (id)

      COMMENT = 'one row = one purchase',

    item_types AS t_item_type  PRIMARY KEY (id),

    brands     AS t_item_brand PRIMARY KEY (id)

  )

  RELATIONSHIPS (

    item_to_type  AS items (item_type) REFERENCES item_types (id),

    item_to_brand AS items (brand)     REFERENCES brands (id)

  )

  DIMENSIONS (

    items.buy_year AS YEAR(items.buy_date)

      WITH SYNONYMS = ('purchase year', 'year'),

    brands.item_brand_name AS brands.item_brand

      WITH SYNONYMS = ('brand', 'make')

      SAMPLE_VALUES = ['Woding', 'Handing', 'Liuzhiqiang']

  )

  METRICS (

    items.total_real_spend AS SUM(items.real_amount)

      WITH SYNONYMS = ('total amount paid'),

    items.purchase_count   AS COUNT(items.id)

  );

这份定义写清了四件事:一行数据代表一次购买;购买记录通过 item_type 和 brand 两个字段关联到维表;"实际花费"使用 real_amount 字段求和,不用 amount;用户说"brand"或"make"时,指的都是品牌维度。


第二步:按语义查询

问题:"2024 年在每个品牌上实际花了多少钱,买了多少次?"

SELECT * FROM SEMANTIC_VIEW(

  sv_fishing_item_spend

  DIMENSIONS brands.item_brand_name

  METRICS    items.total_real_spend, items.purchase_count

  WHERE      items.buy_year = 2024

  ORDER BY   items.total_real_spend DESC

) AS sv;

查询只写维度、指标、过滤和排序,不写 Join,也不写聚合函数。


第三步:检查展开后的 SQL

用 EXPLAIN INLINE 可以看到系统实际执行的语句:

SELECT `brands`.`item_brand`      AS `item_brand_name`,

       SUM(`items`.`real_amount`) AS `total_real_spend`

FROM `test`.`t_item` AS `items`

LEFT JOIN `test`.`t_item_type`  AS `item_types` ON `items`.`item_type` = `item_types`.`id`

LEFT JOIN `test`.`t_item_brand` AS `brands`     ON `items`.`brand` = `brands`.`id`

WHERE YEAR(`items`.`buy_date`) = 2024

GROUP BY 1;

审核人可以逐行确认用了哪个字段、按什么关系关联、怎样过滤和聚合。BI 工具也可以把这个语义视图当成一张宽表直接读取,和 AI Agent 共用同一套指标定义。

完整的设计说明见语义视图系列第一篇。

AI Agent 查询数据时,语义层起什么作用?

大模型已经能写出语法正确的 SQL,但写对语法和算对业务是两回事。字段名叫 brand,存的可能是品牌 ID;amount 和 real_amount 看起来相近,可能分别是标价和实付金额。缺少业务定义时,模型只能根据字段名推测,推测出来的 SQL 能执行,结果却可能不符合业务口径。

语义层把这些判断从"查询时推测"提前到"定义时确认"。Agent 仍然负责理解用户在问什么、选哪些维度和过滤条件;字段怎么选、表怎么关联,按语义定义执行。展开后的 SQL 可以检查,出了问题能追溯到具体是哪一条定义。

Prompt 也能临时补充部分业务规则,但很难长期维护,也无法保证规则真正进入最终执行的 SQL。语义定义放在查询执行路径上,查询必须遵循。

语义层和指标层、语义模型、AI 上下文层有什么区别?

  • 概念:语义模型;管什么:实体、度量、维度、粒度、关联关系的结构化定义;和语义层的关系:语义层的基础,语义层把语义模型提供给多个使用者
  • 概念:指标层;管什么:指标公式、过滤条件、时间口径和可用维度;和语义层的关系:范围更窄,只管指标;语义层还包括实体和表间关系
  • 概念:指标存储;管什么:登记指标名称、公式、口径说明、所有者与版本;和语义层的关系:偏管理和登记,具体范围因产品而异
  • 概念:AI 上下文层;管什么:为 AI 组织业务术语、指标、数据关系、来源、权限和任务信息;和语义层的关系:范围更广,语义层是它的一类可信数据来源

语义层不替代数据质量治理,也不替代底层查询引擎。计算仍然由数据库完成。

以镜舟 MIP 为例,MirrorMind 作为企业级语义层,包括两部分:语义视图负责可计算、可约束的定义,例如指标、维度和表间关系;上下文知识负责解释性信息,例如某个指标为什么这样定义。详见 MIP 平台架构解读。

建语义层从哪里开始?

不必一次建完所有指标。比较稳妥的起点是争议最多、使用最频繁的几个指标,例如各部门口径不一致的收入或活跃用户。先把它们的字段、关联关系、粒度和过滤规则写清楚,在一两个报表和一个问数场景里验证结果一致,再逐步扩展到更多业务域。

尚未确认口径的新业务域、需要多步推理的问题,仍然需要人工审核。语义层只对已经定义的范围负责。

常见问题

语义层会替代数据库吗?

不会。计算仍然由底层数据库或查询引擎完成,语义层提供可复用的业务定义。

语义层和 BI 工具里的数据模型有什么不同?

BI 工具里的模型通常只在这个工具内生效。语义层独立于单个工具,报表、应用和 AI Agent 可以共用同一份定义。

有了语义层,还需要写 Prompt 吗?

仍然需要描述任务,但字段选择、表关联和指标口径这类规则写进语义定义更稳定,也能复用。

怎样判断语义层是否有效?

看同一个指标在不同工具中是否一致、查询能否解释、权限是否生效,以及新增一个分析需求需要多少工作量。

语义层适合用在哪些场景?

多个团队共用核心指标、报表口径经常对不上,以及计划让业务人员或 AI Agent 用自然语言问数的场景。