项目背景
多点 DMALL 为零售企业提供全渠道数字化解决方案,其大数据部门面向内部研发团队、数据分析师、外部用户及合作伙伴,提供数据平台、分析产品和数据服务。
随着业务发展,多点陆续引入多种分析存储引擎,以满足离线分析、实时监控、固定维度分析及高并发查询等需求。多套引擎虽然覆盖了不同场景,但也带来了技术栈复杂、开发链路冗长及部署维护成本高等问题。
核心挑战
在离线分析场景中,部分查询依赖大宽表,需要提前完成事实表与维度表关联,增加开发和数据重跑成本。
在实时分析场景中,原有方案基于 Lambda 架构,通过 Flink 进行窗口预计算、多流关联,再与离线计算结果合并。业务需求或上游数据结构变动时,需要同步升级流处理程序与离线 ETL 任务。
在固定维度分析场景中,Cube 预计算面临维度组合膨胀、存储重复及模型设计复杂等问题。此外,不同客户的 SaaS、私有云和本地化部署需求,也增加了多引擎交付与运维难度。
建设方案
多点于 2021 年上半年开始调研并引入 StarRocks,逐步形成以 StarRocks 为主、其他 OLAP 引擎为辅的分析存储架构。
针对多表分析,多点利用分布式 Join 能力,以星型、星座模型替代部分大宽表,减少提前关联。针对实时指标计算,通过聚合模型将部分预聚合下沉到 StarRocks,简化上游处理。针对明细与汇总并存的查询需求,利用物化视图进行加速,并由优化器自动选择适用的查询路径。
部署方面,多点按数据更新频率区分离线分析集群与实时分析集群,并结合业务域和客户 SLA 进一步隔离负载。数据接入方面,通过封装导入接口实现配置化同步,同时接入统一监控告警体系。
性能验证
多点选取实际报表业务,在相同机器配置、数据量和 SQL 条件下进行对比测试:
- 单品销售分析: 单表单天数据达到亿级,包含上百个维度和分析指标。单表聚合查询中,StarRocks 与 ClickHouse 的响应时长接近。
- 门店销售分析: 事实表单天数据达到亿级,维表数据达到十万级。多表关联聚合查询中,StarRocks 的表现优于 ClickHouse。
- 实时销售分析: 订单数据持续更新,单天数据达到亿级。边写边读的聚合查询中,StarRocks 的表现优于 Impala on Kudu。
以上结论仅对应文中测试条件,不代表所有业务场景下的通用性能结论。所提供文字未包含图表中的具体数值,因此不提取绝对查询耗时、并发数或性能提升倍数。
应用成果
截至案例发布时,多点已有 4 个 StarRocks 集群稳定提供线上服务,覆盖高维业务指标报表、Ad hoc 分析和实时全链路监控。
通过逐步替代部分原有分析引擎,多点实现了分析存储架构的收敛,简化了实时数据处理链路,同时满足较高查询并发与较低响应延迟的业务要求。
后续规划
文章发布时,多点计划在更多业务中尝试使用 StarRocks,并在资源允许的情况下参与社区共建。上述内容属于当时的后续规划,不计入已落地成果。