背景与挑战
跨越速运大数据中心负责集团数据平台组件的建设与维护。按原文发布时口径,平台支撑 20 余条核心业务线,已建设超过 1 万个数据查询接口,每日接口调用超过 1 千万次。
原有架构将业务数据库中的数据汇集至 Hadoop ETL 集群,使用 Hive、Spark、Presto 等进行数仓分层处理,再将 DW 层和 ADS 层数据分发到不同查询引擎。上层通过统一查询 API 网关,为自助分析工具和 ERP 等业务系统提供服务。
随着数据量增长和查询逻辑复杂化,原有架构面临查询性能不足、多引擎维护困难以及分析模型不够灵活等问题。
从多引擎探索到通用查询引擎
2019 年,团队使用 Presto 作为通用查询引擎,利用其直接查询 Hive 的能力快速构建数据 API,并通过独立集群隔离查询与 ETL 资源。但随着业务复杂度和数据量上升,查询性能逐渐难以满足要求。
2020 年,团队尝试使用 ClickHouse,通过构建大宽表加速原先需要多层关联的查询。该方案改善了性能,但也带来了宽表数量增长、运维繁琐以及适应业务变化能力不足的问题。
2021 年,团队开始引入 StarRocks,看重其单表与多表关联查询性能、MySQL 协议支持、数据更新能力及多种导入方式,并逐步将其作为通用查询引擎。
在线数据服务:减少节点并加速复杂查询
在典型在线场景中,原有 Presto 查询涉及约 200 个字段的宽表聚合,SQL 超过 600 行,难以通过调整业务逻辑简化。
团队以 10 个同配置 StarRocks 节点替换原有 15 个 Presto 节点,使用明细模型承载数据。在没有明显改变业务逻辑的情况下,查询延迟由 5.7 秒降至 1 秒。
按原文发布时的进展,StarRocks 已替换 Presto 和 Impala + Kudu 承载的相关场景;Elasticsearch、MySQL 和 ClickHouse 是否替换,仍需依据后续业务情况决定,并非已经完成全部引擎统一。
离线多维分析:提升自助 BI 使用体验
跨越速运自研 BI 平台允许用户通过拖拽选择字段、指标及关联条件,生成表格和图表。原有 Presto 后端查询体验不佳,限制了平台推广。
切换至 StarRocks 后,团队将客户主题域数据经过 ETL 加工,通过 Broker Load 按天导入,并使用明细模型建立主表和维表,构建星型模型。
在业务逻辑未明显调整的情况下,客户离线分析 TP99 从 4.5 秒降至 1.7 秒。查询体验改善,也为平台向全集团推广创造了条件。
实时运单分析:从定时预计算转向秒级更新
原有运单分析依赖 Hive 每两小时进行一次批处理,按固定维度预计算后写入 Presto 提供查询,数据时效与分析自由度均受到限制。
引入 StarRocks 后,团队通过监听 Binlog 获取业务数据变更,经 Kafka 和 Routine Load 实时写入,以运单 ID 标识并更新运单主表,再围绕主表建立星型模型。
改造后,运单主题域实现秒级数据更新,同时支持更灵活的多维分析,不再局限于原先固定维度的预计算结果。
后续规划
原文提出的后续方向包括:按业务场景部署多套 StarRocks 集群以实现物理资源隔离;迁移原有 Presto 查询 Hive 的场景;探索在 StarRocks 上进行 5 分钟级、10 分钟级轻量 ETL;开启 CBO 优化器进一步提升查询性能。