一种基于Flink&Doris构建实时数仓系统的方法技术方案

本发明专利技术提供了一种基于Flink&Doris构建实时数仓系统的方法，包括以下步骤：S1，抽取不同业务数据库获取日志文件的变更数据，并基于FlinkCDC组件将日志文件的增量变化实时同步至Kafka消息队列，并根据FlinkCDC组件同步增量变化的业务场景，创建所需的Kafka Topic，并将业务数据库中原始的操作日志报文同步至Kafka Topic中；S2，解析Kafka Topic中的业务数据库的操作日志报文得到数据库源表，并将所述业务数据库的操作日志报文发送至实时数仓ODS层，便于通过FlinkSQL将数据库源表映射成ODS层流式源表；能快速高效的进行实时需求开发，将数据库的OLAP业务与OLTP分离，消除OLAP对OLTP性能影响，极大减轻了数据库的负载，提升了实时数据可用性和业务需求的响应速度。升了实时数据可用性和业务需求的响应速度。升了实时数据可用性和业务需求的响应速度。

【技术实现步骤摘要】
一种基于Flink&Doris构建实时数仓系统的方法


[0001]本专利技术涉及数据库
，更具体地说，涉及一种基于Flink&Doris构建实时数仓系统的方法。

技术介绍

[0002]随着大数据时代的到来,当前各大公司的业务需求和内部决策对于数据实时性的要求越来越迫切，需要实时数据分析的能力来赋能。传统离线数仓的数据时效性是T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性要求不高的场景，对于实效性要求很高的场景还是无法支撑；公司目前部分实时OLAP分析需求都依赖于Oracle/Mysql集群的计算性能，抢占了数据库的OLTP资源，该模式下的数据库性能已出现告警，因此实时数据服务问题必须得到有效解决。
[0003]现阶段实时场景的需求是通过实时计算框架SparkStreaming、Flink进行代码开发提供实时数据服务, 当前模式对开发人员的技术要求较高,且开发周期冗长,对业务的需求响应较慢，效率低下。且实时数据建设没有规范，数据可用性较差，无法形成数仓体系，造成资源大量浪费。因此研发更快速、更简便的实时场景解决方案，实现OLAP和OLTP场景分离，提升实时业务需求的响应速度和效率是数据仓库当前急需解决的问题。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对上述技术方案存在的不足，提供一种解决实时场景开发周期冗长，数据可用性低下，实现OLAP和OLTP场景分离的基于Flink&Doris构建实时数仓系统的方法。
[0005]本专利技术提供一种基于Flink&Doris构建实时数仓系统的方法，所述方法包括以下步骤：S1，抽取不同业务数据库获取日志文件的变更数据，并基于FlinkCDC组件将日志文件的增量变化实时同步至Kafka消息队列，并根据FlinkCDC组件同步增量变化的业务场景，创建所需的Kafka Topic，并将业务数据库中原始的操作日志报文同步至Kafka Topic中；S2，解析Kafka Topic中的业务数据库的操作日志报文得到数据库源表，并将所述业务数据库的操作日志报文发送至实时数仓ODS层，便于通过FlinkSQL将数据库源表映射成ODS层流式源表；S3，通过FlinkSQL对所述实时数仓ODS层中的Kafka数据进行处理,将实时数仓建设为DWD明细层、DIM公共维度层和DM汇总层。
[0006]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，在所述步骤S1中，根据不同业务数据库选取不同的FlinkCDC组件，其中所述FlinkCDC组件支持的业务数据库包括MySQL、Oracle、SQLServer、MongoDB、OceanBase、Postgres与TiDB。
[0007]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，所述原始的操作
日志报文包括所述数据库源表的DDL语句或DML语句。
[0008]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，所述步骤S2还包括以下步骤：S21，根据实时数仓层级建设并按照数据库源表创建ODS层所需的Kafka Topic。
[0009]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，所述步骤S2还包括以下步骤：S22，编写解析所述数据库的操作日志报文的Flink流式程序，并将操作日志报文转换成Json数据，将数据库源表中的UPDATE更新和DELETE删除操作分别转换为INSERT插入，并把解析出来的Json数据发送到ODS层的Kafka Topic中。
[0010]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，所述步骤S3中对所述实时数仓ODS层中的Kafka数据进行处理的方式包括数据转化、维度关联与指标统计。
[0011]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，在所述步骤S3中，所述DWD明细层的数据来源于ODS层的Kafka Topic，通过大数据架构提供的FlinkSQL完成数据转化、维度关联；基于每个具体业务数据库的业务过程特点构建最细粒度的DWD明细层事实表，其中DWD明细层的数据存储在Kafka Topic消息队列中，同时也将DWD明细层的数据实时写入Doris数据库中，供明细数据查询和作为简单汇总数据的加工数据源。
[0012]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，在所述步骤S3中，所述DIM层主要用于存放各个业务主题的维度数据。
[0013]在本专利技术所述的基于Flink&Doris构建实时数仓系统的方法中，在所述步骤S3中，通过FlinkSQL对DWD层的Kafka Topic数据进行多维的主题汇总，其中DM层的数据存放于Doris，所述DWD层可直接对外提供实时数据服务，同时也可通过接口对外提供数据查询。
[0014]根据本专利技术的另一方面，还提供一种计算机设备，所述计算机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任一实施例所述的基于Flink&Doris构建实时数仓系统的方法。
[0015]本专利技术的基于Flink&Doris构建实时数仓系统的方法能快速高效的进行实时需求开发，将数据库的OLAP业务与OLTP分离，消除OLAP对OLTP性能影响，极大减轻了数据库的负载，提升了实时数据可用性和业务需求的响应速度。
附图说明
[0016]图1是本专利技术一种基于Flink&Doris构建实时数仓系统的方法的流程示意图。
具体实施方式
[0017]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0018]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0019]如图1所示，提供一种基于Flink&Doris构建实时数仓系统的方法，该方法包括以下步骤：S1，抽取不同业务数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink&Doris构建实时数仓系统的方法，其特征在于，所述方法包括以下步骤：S1，抽取不同业务数据库获取日志文件的变更数据，并基于FlinkCDC组件将日志文件的增量变化实时同步至Kafka消息队列，并根据FlinkCDC组件同步增量变化的业务场景，创建所需的Kafka Topic，并将业务数据库中原始的操作日志报文同步至Kafka Topic中；S2，解析Kafka Topic中业务数据库的操作日志报文得到数据库源表，并将所述业务数据库的操作日志报文发送至实时数仓ODS层，便于通过FlinkSQL将数据库源表映射成ODS层流式源表；S3，通过FlinkSQL对所述实时数仓ODS层中的Kafka数据进行处理，将实时数仓建设为DWD明细层、DIM公共维度层和DM汇总层。2.根据权利要求1所述的基于Flink&Doris构建实时数仓系统的方法，其特征在于，在所述步骤S1中，根据不同业务数据库选取不同的FlinkCDC组件，其中所述FlinkCDC组件支持的业务数据库包括MySQL、Oracle、SQLServer、MongoDB、OceanBase、Postgres与TiDB。3.根据权利要求2所述的基于Flink&Doris构建实时数仓系统的方法，其特征在于，所述原始的操作日志报文包括所述数据库源表的DDL语句或DML语句。4.根据权利要求1所述的基于Flink&Doris构建实时数仓系统的方法，其特征在于，所述步骤S2还包括以下步骤：S21，根据实时数仓层级建设并按照数据库源表创建ODS层所需的Kafka Topic。5.根据权利要求4所述的基于Flink&Doris构建实时数仓系统的方法，其特征在于，所述步骤S2还包括以下步骤；S22，编写解析所述业务数据库的操作日志报文的Flink流式程序，并将操作日志报...

【专利技术属性】
技术研发人员：蔡霖霖，
申请(专利权)人：深圳联友科技有限公司，
类型：发明
国别省市：