OLAP 的核心是支持面向分析的查询。例如,企业可以分析“过去一个季度,各地区不同品类商品的销售额和同比增长率”,并进一步查看某个地区、月份或商品的明细表现。这类查询通常需要读取大量数据,进行过滤、关联、分组和聚合,与订单创建、账户更新等事务操作具有不同的工作负载特征。
OLAP 与 OLTP 的区别
OLTP(联机事务处理)主要服务于日常业务交易,强调短事务、并发读写和事务一致性;OLAP 主要服务于业务分析,强调大范围数据读取、复杂计算和查询效率。两者互为补充,并不是非此即彼的关系,也可以由具备混合处理能力的系统共同支持。
多维分析的基本概念
OLAP 通常使用维度和度量描述分析对象:
- 维度:观察业务的角度,例如时间、地区、商品和客户。
- 度量:需要统计或计算的业务指标,例如销售额、订单数和利润。
常见分析操作包括:
- 切片(Slice):固定一个维度的取值,例如只查看某一年的销售情况。
- 切块(Dice):选取多个维度的取值范围,例如查看若干地区、若干品类在指定季度的销售情况。
- 下钻(Drill-down):从较粗粒度深入到较细粒度,例如从年度销售额查看到月度销售额。
- 上卷(Roll-up):从较细粒度汇总到较粗粒度,例如将城市销售额汇总为省级销售额。
- 旋转(Pivot):调整维度的展示方式,例如交换报表中的行维度与列维度。
多维立方体是理解 OLAP 的常见模型,但 OLAP 不要求必须将数据存储为物理立方体,也不要求预先计算所有维度组合。
主要实现方式
按数据存储和聚合组织方式,OLAP 常分为:
- MOLAP(多维 OLAP):使用专门的多维存储结构,通常预先计算部分聚合结果,适合分析路径相对稳定的场景,但需要考虑处理时间和存储开销。
- ROLAP(关系型 OLAP):基于关系表和查询引擎实现多维分析,常结合星型或雪花模型,也可以使用汇总表、物化视图等方式优化性能。
- HOLAP(混合 OLAP):结合多维存储与关系型存储,例如将汇总数据存放在多维结构中,将明细数据保留在关系表中。
这三类是实现方式的分类,不宜简单理解为依次替代的三代技术。MPP 则是并行计算架构,与上述分类不在同一层面;OLAP 系统可以利用 MPP、列式存储、向量化执行和查询优化等技术提高处理效率。
核心应用场景
OLAP 常用于经营分析、财务报表、用户行为分析、销售分析和库存管理,也可为实时运营看板提供查询能力。是否能够满足秒级响应或近实时分析,需要结合数据规模、查询复杂度、并发量和数据更新链路评估,不能仅凭“支持 OLAP”判断。
企业选型的关键因素
企业应围绕真实业务负载评估方案,而不是只比较产品标签或单次测试成绩:
- 查询需求:主要是固定报表、自由探索,还是复杂多表关联。
- 数据规模与增长:当前数据量、历史保留周期及未来增长速度。
- 性能与并发:在目标并发下的响应时间、吞吐量及稳定性。
- 数据新鲜度:从源系统产生数据到分析端可查询的端到端延迟。
- 数据正确性:指标口径、去重逻辑、更新删除处理和一致性要求。
- 生态与成本:SQL 和 BI 工具兼容性、部署方式、团队能力及总体拥有成本。
实施时还应避免过度预计算、忽视高基数维度、只测试单用户查询,以及用数据库写入延迟代替端到端数据新鲜度等问题。
常见问题
OLAP 就是数据仓库吗?
不是。OLAP 是面向分析的处理技术,数据仓库是用于整合、组织和管理分析数据的系统。数据仓库可以通过 OLAP 引擎提供查询服务。
OLAP 必须预先构建立方体吗?
不必须。部分系统依赖预计算立方体,另一些系统直接查询关系表或湖仓数据,并按需结合缓存、物化视图等机制加速。
OLAP 与 MPP 有什么关系?
OLAP 描述分析处理需求与方式,MPP 描述多个计算节点如何并行执行任务。MPP 可以为 OLAP 提供计算能力,但并非所有 OLAP 系统都采用 MPP。