一种OLTP领域多表join查询的方法技术

本发明专利技术公开了一种OLTP领域多表join查询的方法，属于数据查询技术领域，包括在业务系统中发布宽表生成的配置规则并保存；对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；加载配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算并生成宽表数据；将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。本发明专利技术设计科学合理，使用方便，在业务系统进行数据库的增改查的过程中，无需关注宽表的逻辑，仅需宽表生成的配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算，借助服务器的海量存储能力，形成业务数据以供查询。形成业务数据以供查询。形成业务数据以供查询。

【技术实现步骤摘要】
一种OLTP领域多表join查询的方法


[0001]本专利技术属于数据查询
，具体涉及一种OLTP领域多表join查询的方法。

技术介绍

[0002]在传统的OLTP领域，即关系型数据库中，系统需要实现大的列表查询，在需要列表查询时，运行驱动表 join连接多个被驱动表，然后在内存中生成所需的列表数据。如果关联的数据表少、列表的字段少、表中的数据体量不大、QPS（每秒查询率）不高的场景下，这种处理方式还可以支撑。但是在关联的数据表多、表中的数据体量较大的情况下，以此种这种方式支撑的系统查询对于硬件资源要求及系统运维人员的要求就会很高。
[0003]虽然在业界，也有很多基于Elasticsearch分布式搜索工具来存储大宽表，但是在OLTP领域里面，对于Elasticsearch的document构建来说，还是基于传统业务代码的硬编码处理。如此，导致宽表生成代码和真正的业务逻辑代码耦合，系统维护成本非常高，并且在难以维系超大数据量，成为所属
技术人员亟待解决的技术问题。
[0004]因此，本专利技术提供了一种OLTP领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种OLTP领域多表join查询的方法，其特征在于，包括以下步骤：步骤S1、在业务系统中发布宽表生成的配置规则并保存；步骤S2、对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；步骤S3、加载配置规则，从kafka处理平台中获取Binlog数据，由flink流处理引擎实时计算并生成宽表数据；步骤S4、将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。2.根据权利要求1所述的一种OLTP领域多表join查询的方法，其特征在于，所述步骤S2中，将抓取的binlog数据转化为json格式并写入kafka处理平台中。3.根据权利要求1所述的一种OLTP领域多表join查询的方法，其特征在于，所述步骤S1中，配置规则包括驱动表的存储结构和被驱动表的存储结构，驱动表的存储结构包括宽表名称、宽表中各驱动表、驱动表对应的关联键、驱动表需要查询的字段以及join引起的数据延迟时间，被驱动表的存储结构包括宽表名称、宽表中各被驱动表、被驱动表对应的关联键以及被驱动表需要查询的字段。4.根据权利要求3所述的一种OLTP领域多表join查询的方法，其特征在于，所述步骤S2中，一个Mysql数据库的数据表对应kafka处理平台的一个数据流集合，并建立Mysql数据库的数据表和数据流集合的映射关系。5.根据权利要求4所述的一种OLTP领域多表join查询的方法，其特征在于，所述步骤S3具体包括：步骤S31、由配置规则解析出Binlog数据对应的驱动表...

【专利技术属性】
技术研发人员：韩雷，马洋，
申请(专利权)人：中建电子商务有限责任公司，
类型：发明
国别省市：