一种实时数仓框架的搭建方法以及实时数仓框架技术

本发明专利技术适用于计算机技术领域，提供了一种实时数仓框架的搭建方法以及实时数仓框架，将结构化查询语言语句通过页面配置进行保存，以通过第一引擎读取所述页面配置执行对应的所述SQL语句；通过预设连接器，建立所述第一引擎与第二引擎之间的连接；配置解析模块，其中，所述解析模块用于实时将第一数据库中的业务消息解析为自定义格式，并将解析后的业务消息写入流处理平台中；对所述第一引擎添加格式化程序，以使所述第一引擎支持所述自定义格式；配置统一数仓查询框架，以通过所述统一数仓查询框架对所述业务消息进行实时统计。有助于提升系统开发效率。系统开发效率。系统开发效率。

【技术实现步骤摘要】
一种实时数仓框架的搭建方法以及实时数仓框架


[0001]本专利技术属于计算机
，尤其涉及一种实时数仓框架的搭建方法以及实时数仓框架。

技术介绍

[0002]Phoenix是基于HBase的大数据框架，可以很好的跟HBase融合，同时update等操作支持非常好。Flink Sql是Flink新框架，支持基于类似SQL语句格式实现数据的流式处理，但Flink Sql目前不支持Phoenix。Canal可以将Mysql的数据同步到Kafka，但该组件受限于数据格式的要求不能完全满足复杂的业务需求，Flink Sql支持Canal数据格式，但同样受限于组件的数据格式，难以支持复杂的业务需求。
[0003]对于复杂业务，目前并没有任何一个实时数仓框架能够同时支持下面特性：1、数据update支持性非常好，能够达到毫秒级别，最好是基于HBase，或者基于目前已经在使用的Phoenix；2、基于大数据，满足海量数据实时统计；3、可执行类SQL语句，最好是基于Flink Sql；4、解决Canal数据格式受限问题，满足复杂的业务需求。

技术实现思路

[0004]本专利技术实施例提供一种实时数仓框架的搭建方法，旨在解决提供支持update操作、能够满足业务需求、可执行类SQL语句的实时数仓框架的问题。
[0005]本专利技术实施例是这样实现的，将结构化查询语言语句通过页面配置进行保存，以通过第一引擎读取所述页面配置执行对应的所述SQL语句；通过预设连接器，建立所述第一引擎与第二引擎之间的连接；配置解析模块，其中，所述解析模块用于实时将第一数据库中的业务消息解析为自定义格式，并将解析后的业务消息写入流处理平台中；对所述第一引擎添加格式化程序，以使所述第一引擎支持所述自定义格式；配置统一数仓查询框架，以通过所述统一数仓查询框架对所述业务消息进行实时统计。
[0006]更进一步地，所述配置解析模块，包括：配置消息中间件，将所述消息中间件的数据格式改写为所述自定义格式，以通过所述消息中间件将所述第一数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。
[0007]本专利技术实施例还提供一种实时数仓框架，通过上述的实时数仓框架的搭建方法而搭建。
[0008]本专利技术实施例还提供一种基于实时数仓框架的业务消息处理方法，应用于上述的实时数仓框架中，包括：获取第一数据库中的业务消息，并将所述业务消息解析为自定义格式；将解析后所述自定义格式的业务消息发送至流处理平台中；第一引擎通过执行结构化查询语言语句查询所述流处理平台中的业务消息，对所述业务消息进行流式处理后写入所述流处理平台中；通过第二引擎将所述流处理平台中的业务消息采集到统一数仓查询框架中进行实时统计。
[0009]更进一步地，所述获取第一数据库中的业务消息，包括：通过消息中间件将数据库
中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。
[0010]更进一步地，基于第二数据库，所述第二引擎通过结构化查询语言语句执行更新操作。
[0011]本专利技术实施例还提供一种基于实时数仓框架的业务消息处理装置，应用于上述的实时数仓框架中，包括：
[0012]消息获取模块，用于获取第一数据库中的业务消息，并将所述业务消息解析为自定义格式；
[0013]发送模块，用于将解析后所述自定义格式的业务消息发送至流处理平台中；
[0014]写入模块，用于第一引擎通过执行结构化查询语言语句查询所述流处理平台中的业务消息，对所述业务消息进行流式处理后写入所述流处理平台中；
[0015]处理模块，用于通过第二引擎将所述流处理平台中的业务消息采集到统一数仓查询框架中进行实时统计。
[0016]更进一步地，所述消息获取模块，还用于：通过消息中间件将数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。
[0017]更进一步地，所述装置还包括：更新模块，用于基于第二数据库，所述第二引擎通过结构化查询语言语句执行更新操作。
[0018]本专利技术实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于实时数仓框架的业务消息处理方法。
[0019]本专利技术实施例还提供一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于实时数仓框架的业务消息处理方法。
[0020]由于现有技术中的实时数仓框架存在Flink Sql不支持Phoenix、Flnk Sql不支持的数据格式导致使用不方便、开发效率低的问题，所以通过配置化Flink sql、自定义Flink sql与Phoenix查询引擎的连接器、设置自定义格式、对Flink sql添加自定义format，解决了现有技术中Flink Sql不支持Phoenix的问题、解决Flnk Sql不支持的数据格式问题，以及有助于提升系统开发效率。通过该方法配置的实时数仓框架，数据update支持性非常好，能够达到毫秒级别、满足海量数据实时统计、可执行类SQL语句、通过解决Canal数据格式受限问题，满足了复杂的业务需求。
附图说明
[0021]图1是本专利技术实施例提供的一种实时数仓框架的搭建方法的流程示意图；
[0022]图2是本专利技术实施例提供的一种实时数仓框架的示意图；
[0023]图3是本专利技术实施例提供的一种基于实时数仓框架的业务消息处理方法的流程示意图；
[0024]图4是本专利技术实施例提供的一种基于实时数仓框架的业务消息处理装置的结构示意图。
具体实施方式
[0025]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0026]本专利技术实施例通过配置化Flink sql、自定义Flink sql与Phoenix查询引擎的连接器、设置业务对应的自定义格式、对Flink sql添加自定义format等技术手段，旨在解决现有技术中实时数仓框架存在的Flink Sql不支持Phoenix、Flnk Sql不支持的数据格式导致使用不方便、开发效率低的问题，提供一种支持update操作、能够满足业务需求、可执行类SQL语句的实时数仓框架。
[0027]实施例一
[0028]在本实施例中提供了一种实时数仓框架的搭建方法，如图1所示，该方法包括：
[0029]步骤101，将结构化查询语言语句通过页面配置进行保存，以通过第一引擎读取所述页面配置执行对应的所述SQL语句；
[0030]步骤102，通过预设连接器，建立所述第一引擎与第二引擎之间的连接；
[0031]步骤103，配置解析模块，其中，所述解析模块用于实时将第一数据库中的业务消息解析为自定义格式，并将解析后的业务消息写入流处理平台中；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时数仓框架的搭建方法，其特征在于，包括：将结构化查询语言语句通过页面配置进行保存，以通过第一引擎读取所述页面配置执行对应的所述SQL语句；通过预设连接器，建立所述第一引擎与第二引擎之间的连接；配置解析模块，其中，所述解析模块用于实时将第一数据库中的业务消息解析为自定义格式，并将解析后的业务消息写入流处理平台中；对所述第一引擎添加格式化程序，以使所述第一引擎支持所述自定义格式；配置统一数仓查询框架，以通过所述统一数仓查询框架对所述业务消息进行实时统计。2.根据权利要求1所述的方法，其特征在于，所述配置解析模块，包括：配置消息中间件，将所述消息中间件的数据格式改写为所述自定义格式，以通过所述消息中间件将所述第一数据库中的业务消息解析为所述自定义格式后，同步到所述流处理平台中。3.一种实时数仓框架，其特征在于，通过如权利要求1或2的实时数仓框架的搭建方法而搭建。4.一种基于实时数仓框架的业务消息处理方法，其特征在于，应用于如权利要求3所述的实时数仓框架中，包括：获取第一数据库中的业务消息，并将所述业务消息解析为自定义格式；将解析后所述自定义格式的业务消息发送至流处理平台中；第一引擎通过执行结构化查询语言语句查询所述流处理平台中的业务消息，对所述业务消息进行流式处理后写入所述流处理平台中；通过第二引擎将所述流处理平台中的业务消息采集到统一数仓查询框架中进行实时统计。5.根据权利要求4所述的方法，其特征在于，所述获...

【专利技术属性】
技术研发人员：张星亮，黄育源，
申请(专利权)人：深圳市六度人和科技有限公司，
类型：发明
国别省市：