数据智能

实时关键业务场景快速增长,我们需要什么样的数据平台来支持?

实时关键业务场景快速增长,新一代实时数据集成解决方案应运而生

2024年06月19日
  • 数据智能

 

引言

经过多年的数据基础设施建设,企业已经完成从“有数”到“用数”的过渡,数据驱动成为常态。进一步,面对激烈的市场竞争和快速变化的客户需求,如何提高“用数”效率,以实时或准实时的数据处理速度进行决策、开展服务以及优化运营,正成为企业获取竞争优势的关键,催生实时数据业务场景快速增长。
面对日益增长的实时数据业务场景,传统的实时数据集成解决方案如点到点实时同步、ESB企业总线、Kafka消息队列等均存在各种局限性,促使新一代实时数据集成解决方案应运而生。

本文将重点阐述实时数据业务场景的定义、增长驱动因素,并通过多种实时数据集成解决方案的对比,阐释新一代实时数据集成解决方案为什么代表着未来发展趋势。

01  实时数据业务场景的定义

实时数据业务场景指企业在经营过程中,对新数据进行实时传输、处理、分析、查询和响应的业务场景,支持实时决策和实时操作。其中实时指的是从数据产生端到消费端跨系统传输或处理过程实现毫秒或秒级延迟。

图1:实时数据业务场景分类示意图

按照消费端的数据处理模式,实时数据业务场景包含TP场景下的实时交互型业务场景和AP场景下的实时运营分析场景。

TP场景下的实时交互型业务场景

实时交互型业务场景指消费端的应用程序需要跨系统实时查询生产端系统信息的场景,如统一订单中心、实时风控、CDP平台等。这些场景是企业的关键任务,对于保障企业正常经营有决定性影响,一旦出现延迟或数据错误将导致严重的经营事故,因此对数据时效性和数据准确性要求极高。

需要强调的是,与传统基于Oracle数据库实现的TP场景不同,实时交互型业务场景往往涉及异构的数据源,需要解决源系统和目标系统之间跨系统的数据一致性,数据传输处理和集成等问题。而传统的OLTP场景虽然也强调实时响应,但在单一Oracle数据库中实现数据集成、完成业务的事务性操作以及保障数据一致性,其技术实现的路径和复杂度与实时交互型业务场景截然不同。

AP场景下的实时运营分析场景

实时运营分析场景需指融合业务最新数据和历史数据进行实时复杂分析的场景,如实时BI、实时数据分析、实时决策等,在客户体验改善、生产效率提升、个性化产品和服务推荐等方面发挥着重要作用。