随着业务规模增长，杭银消费金融对风控策略、经营分析、业务对账及监管报送的数据时效性和准确性提出了更高要求。原有 GreenPlum 集群性能逐渐下降，传统批量处理方式也难以应对数据回溯、变更记录保留和跨系统数据一致性需求。团队以镜舟数据库 MirrorShip 为核心，构建 GLH 湖仓一体平台，推动数据处理从 T+1 批量模式向分钟级同步与实时查询演进。
数据回溯困难：数据传输异常可能造成数据缺失，问题发现不及时，补数与历史回溯成本较高。 变更明细缺失：生产系统未保存客户信息的每次变更，每日批量采集只能获取日终状态，无法满足监管报送对完整变更记录的要求。 时点数据不准确：受资源和任务执行时间影响，跨表抽取存在时间差，同一业务在不同表中的状态可能不一致。 跨系统日切不一致：交易系统与账务系统处理同一交易的时间不同，导致日切数据不准确，影响还款等场景的业务对账。 原有架构扩展成本高：26 台生产环境 GreenPlum 集群随着业务增长出现性能下降，授权和扩容投入较高，传统 T+1 模式也难以满足实时业务需求。
替换核心数仓引擎：选择镜舟数据库 MirrorShip 替代 GreenPlum，利用其实时写入和查询能力，建设统一的数据存储与计算平台。 采用存算分离架构：底层使用 HDFS 存储，通过计算与存储资源独立配置应对数据规模增长，并规划后续迁移至 S3 对象存储。 设计多模型表结构：结合明细表和宽表能力，设计支持时间序列与数据回溯的自定义表结构，满足不同业务场景的数据使用需求。 统一采集、加工与分发：采用“一次采集、多次加工”的处理方式，减少重复开发，通过 Kafka 向其他系统分发数据，支持后续数据处理与业务应用。 优化同步与资源配置：根据业务需求设置 5 秒或数分钟的同步批次，调整分区分桶策略以减少小文件合并开销，并优化计算节点与存储节点资源配比。
提升业务响应速度：以分钟级数据同步替代传统 T+1 模式，为风控策略、经营分析和日间对账提供更及时的数据。 强化数据管理能力：围绕历史回溯、变更明细和时点数据需求建设统一平台，为审计、监管报送及跨系统对账提供支撑。 降低重复建设成本：统一数据采集与加工流程，减少各系统独立开发和维护数据链路的工作量。 改善资源使用效率：通过存算分离、分区分桶调整和资源配比优化，在满足业务需求的同时控制基础设施投入。 拓展业务数据服务：开放实时查询接口，突破原有仅支持批量查询的限制，使业务系统能够直接获取实时数据。
带上一个指标、流程或数据难题，和我们一起评估 MIP 如何在真实业务环境中提供支持。