在数据分析中,同一组关联或聚合逻辑可能被报表、看板和业务应用反复执行。物化视图将这些查询的结果提前保存下来,使后续查询可以直接读取或进一步加工预计算结果,减少对原始数据的重复扫描与计算。
例如,销售看板需要频繁展示“各地区每天的商品销售额”。系统可以建立按日期、地区和商品汇总的物化视图,避免每次访问看板时都重新扫描全部订单明细。
物化视图与普通视图的区别
普通视图主要保存查询定义,本身不独立存储查询结果;查询时,数据库根据视图定义访问底层数据。物化视图则实际存储查询结果,因此会占用额外存储空间,并产生创建和刷新成本。
普通视图读取的数据遵循底层查询的事务可见性规则;物化视图的数据新鲜度则取决于刷新方式及刷新进度。因此,查询响应快不等于数据更新及时。
核心工作机制
物化视图通常涉及以下机制:
- 预计算:提前执行过滤、关联、聚合等操作,生成可复用的结果。
- 物理存储:将结果作为数据库对象保存,供后续查询使用。
- 数据刷新:根据源数据变化更新结果,在查询性能、数据新鲜度和维护成本之间取得平衡。
- 查询使用:用户直接查询物化视图,或由支持查询重写的优化器自动选择物化视图。
自动查询重写并非所有数据库都支持,也不是物化视图成立的必要条件。能否重写,还取决于查询结构、聚合方式、数据新鲜度及具体实现的限制。
常见刷新方式
按更新的数据范围,可以分为:
- 全量刷新:重新执行定义查询并更新完整结果,逻辑较直接,但数据量大时开销可能较高。
- 增量刷新:根据源数据变化,仅更新受影响的结果,通常能够减少重复计算,但支持范围取决于数据库能力和查询逻辑。
按刷新时机,可以分为:
- 手动或按需刷新:由用户或外部任务发起。
- 定时刷新:按设定周期执行。
- 变更触发或同步维护:由源数据变更触发更新,具体时机与一致性保障因系统而异。
增量刷新不等于实时刷新;定时刷新也不一定是全量刷新。这两个分类分别描述“更新多少数据”和“何时更新”。
典型应用场景
物化视图常用于:
- 报表与经营看板:预先计算销售额、订单数等高频指标。
- 多表关联分析:复用订单、用户和商品等数据的关联结果。
- 时间序列分析:按小时、天或月预聚合监控与业务数据。
- 高频聚合与去重:保存可复用的聚合结果或中间状态,但需注意聚合规则是否支持正确复用。
- 数仓分层加工:将常用加工逻辑保存为可查询的数据层,减少重复处理。
使用时的关键权衡
物化视图的价值取决于查询收益能否覆盖存储与维护成本。设计时应重点评估:
- 查询复用率:相同或相似的计算是否被频繁执行。
- 数据新鲜度:业务能够接受多大的更新延迟。
- 刷新开销:源数据变更是否会引发大量重计算。
- 存储与资源:额外结果、刷新任务是否影响其他业务。
- 正确性与可维护性:如何处理更新、删除、关联表变化和指标口径调整。
物化视图并非越多越好。对于低频、变化快或难以复用的探索性查询,直接查询原始数据可能更合适。
常见问题
物化视图会自动保持最新吗?
不一定。数据新鲜度由刷新机制决定,需要结合最后成功刷新时间、刷新延迟和失败情况判断,不能仅依据查询速度判断。
物化视图一定支持自动查询重写吗?
不一定。有些数据库要求用户直接查询物化视图;支持自动重写的系统,也通常有适用条件和限制。
物化视图与普通汇总表有什么区别?
两者都可以保存预计算结果。物化视图通常由数据库记录其查询定义,并提供相应的依赖管理、刷新或查询优化能力;普通汇总表的加工与维护逻辑通常由任务或应用另行管理。具体边界因系统而异。