实时分析是指数据产生后,秒级到分钟级内就能查询和计算,业务人员和系统看到的是最新状态,不必等第二天的 T+1 报表。它常用于交易风控、营销投放、物流调度、生产质量监控等需要及时反应的场景。

实时分析和批处理、流计算有什么区别?


批处理(T+1)

流计算

实时分析

数据新鲜度

小时到天

秒级

秒级到分钟级

计算方式

定时跑批

数据到达时按预先写好的逻辑持续计算

数据写入后,可以随时用 SQL 提出新问题

适合的问题

固定报表、历史对账

固定规则告警、实时指标流

即席查询、多维下钻、明细追查

典型组件

Hive、Spark

Flink

实时分析数据库,例如 StarRocks

流计算适合问题提前确定的场景。业务临时想换个维度看数据时,需要一个能直接查询最新明细的分析数据库,实时分析解决的就是这一段。很多架构把两者组合使用:Flink 做清洗和预处理,结果写入分析数据库供查询。

实时分析的架构由哪几部分组成?

  1. 数据源:业务数据库的变更日志(Binlog)、埋点日志、IoT 设备数据。
  2. 采集与传输:Flink CDC 同步数据库变更,Kafka 承接日志和消息。
  3. 实时写入:分析数据库持续导入数据,并支持更新和删除。
  4. 查询与加速:列存、向量化执行、索引和物化视图保证查询速度。
  5. 应用:BI 看板、业务系统接口、AI Agent。

哪些场景需要实时分析?

  • 交易与风控:交易发生后立刻核对异常模式,不能等第二天。在交易和发卡业务中,可根据当日交易与发卡状态及时发现异常。
  • 营销投放:根据当天的点击和转化调整预算与人群,可持续观察营销活动效果。
  • 物流与供应链:跟踪订单、库存和运力的当前状态。
  • 生产质量:监控良率和设备指标,问题出现时尽快定位批次;高端制造的良率分析就是一类应用。
  • AI Agent 问数:Agent 回答“今天的销售额是多少”,查到的必须是今天的数据。

实现实时分析要解决哪些问题?

数据怎样持续写进来?

以 StarRocks 为例,Routine Load 可以从 Kafka 持续导入数据,Flink Connector 可以把 Flink 处理后的结果实时写入(StarRocks 导入文档)。

数据更新了怎么办?

订单状态、库存数量会反复变化,分析库需要支持按主键更新。StarRocks 的主键表在写入相同主键的数据时用新数据替换旧数据,一次导入里可以同时包含插入、更新和删除,也支持只更新部分列。它采用 Delete+Insert 机制:旧行标记删除,新行写入新文件,查询时直接过滤已删除的行,不需要读时合并(StarRocks 主键表文档)。

几种更新方案的原理对比,见《StarRocks 技术内幕:实时更新与极速查询如何兼得》。

查询怎样保持快?

数据一边写入一边查询,引擎要同时扛住写入压力和复杂查询。常用做法包括列式存储、向量化执行、合理的分区分桶,以及对高频查询建物化视图。

湖上的数据能不能实时分析?

可以。数据放在 Iceberg、Paimon 等开放表格式里时,分析引擎可以通过外部目录直接查询,参见湖仓一体。数据新鲜度取决于湖上表的提交频率。

镜舟的做法

镜舟 MirrorData 融合实时分析引擎 MirrorBase 与开放湖仓存储层 MirrorLake,用一份数据支撑实时分析与 Agent 工作负载(MirrorData 产品页)。在镜舟 MIP 中,Agent 通过语义层理解指标口径,再查询 MirrorData 里的最新数据。

常见问题

实时分析一定要做到毫秒级吗?

不一定。大多数业务场景里,秒级到分钟级的新鲜度就够用。先按业务决策的节奏确定需要多新的数据,再选技术方案。

有了 Flink,还需要实时分析数据库吗?

看业务问题是否固定。指标和规则提前确定时,Flink 可以直接算出结果;需要临时下钻、查明细或者让 AI 自由提问时,还需要一个能直接查询最新数据的分析数据库。

实时数仓和实时分析是什么关系?

实时数仓是一种建设实时分析能力的架构,强调分层建模和持续更新。实时分析说的是能力本身,可以用实时数仓实现,也可以直接在湖仓上实现。