MPP 的核心思想是“分而治之”:将单个节点难以高效完成的数据处理任务,拆分后分配给多个节点并行执行。它常用于分析型数据库和数据仓库,支持大规模扫描、聚合、多表关联等工作负载。

例如,计算一张大型订单表的销售总额时,各节点可以并行扫描部分数据、计算局部汇总值,再由系统合并得到最终结果。对于关联或分组操作,系统还可能根据关联键或分组键在节点之间重新分发数据。

MPP 系统通常包含以下核心机制:

  1. 查询协调与优化:解析查询,选择执行策略,将任务拆分为可并行执行的计划片段,并协调节点工作。
  2. 并行执行:多个计算节点同时执行扫描、过滤、关联和聚合等操作。
  3. 数据分布与交换:通过分片分配数据,并在必要时通过广播、重分布等方式交换中间结果。
  4. 结果汇总:合并各节点的处理结果,返回最终查询结果。

传统 MPP 数据库常采用无共享架构,即各节点拥有独立的计算、内存和本地存储资源。现代 MPP 系统也可以采用存算分离架构,由计算节点访问共享的远程存储。因此,MPP 描述的是大规模并行处理方式,并不意味着必须采用某一种存储架构。

MPP 的主要优势包括:

  • 提高分析吞吐量:利用多个节点共同处理大规模数据。
  • 支持水平扩展:通过增加计算节点提升整体处理能力。
  • 支持复杂分析:并行执行聚合、多表关联和其他分析操作。
  • 提供资源配置灵活性:部分系统支持计算与存储独立扩展,以及不同工作负载之间的资源隔离。

这些优势并非无条件成立。实际性能会受到数据倾斜、网络传输、任务调度、查询并行度和资源竞争等因素影响。增加节点不一定带来线性加速;高可用、弹性伸缩和故障恢复也需要具体产品提供相应机制,并非 MPP 本身自动具备的能力。

比较 MPP 与其他技术时,需要区分不同概念:

  • MPP 与 SMP:MPP 通过多个独立节点协同处理任务;SMP(对称多处理)通常指单个系统内多个处理器共享内存的架构。
  • MPP 与关系数据库:两者并不互斥,关系数据库也可以采用 MPP 架构。
  • MPP 与流处理:前者强调大规模并行执行,后者强调持续处理事件流,企业可以结合使用。
  • MPP 与湖仓一体:前者是计算架构,后者是数据平台设计思路,湖仓平台同样可以使用 MPP 查询引擎。

MPP 适用于交互式分析、BI 报表、大规模聚合和复杂关联查询。选型时应结合数据规模、查询模式、并发需求、数据更新频率以及运维成本进行评估,而不是仅依据节点数量或单次查询延迟判断。

常见问题

MPP 就是把数据平均分给多个节点吗?

不完全是。MPP 还涉及查询拆分、执行调度、节点间数据交换和结果合并。数据分布是否均衡会影响执行效率,但不是其全部内容。

MPP 的节点越多,查询就一定越快吗?

不一定。节点增加可能提升并行处理能力,但也会增加通信与协调开销。如果存在数据倾斜、串行执行环节或资源瓶颈,性能提升可能有限。

MPP 必须采用列式存储或存算分离吗?

不是。列式存储和存算分离可以与 MPP 配合使用,但它们分别属于数据存储方式和资源组织方式,不是 MPP 的定义条件。