【技术实现步骤摘要】
本专利技术涉及数据处理领域，尤其涉及一种基于实时宽表的业务请求处理方法、设备及存储介质。
技术介绍
1、传统的业务系统中，系统获取数据的方式是通过联表查询来获取的，而在像类似金融行业中，业务流程是非常复杂的，比如一个列表展示的数据可能就需要将大量表进行关联，然后经过复杂的计算得出。
2、而对于存库、跨域关联的表，很难通过简单的联表查询获取。对于联表查询，应用层会让用户体验不好，数据迟迟加载不出来，另一方面，对于运维来说，这样的查询方式会对mysql数据库带来很大的压力，带来mysql数据库崩溃的风险；联表查询需要编写成大量的sql代码，可维护性变得很差。
技术实现思路
1、本专利技术的主要目的在于解决联表查询需要编写成大量的sql代码，可维护性变得很差的技术问题。
2、本专利技术第一方面提供了一种基于实时宽表的业务请求处理方法，所述基于实时宽表的业务请求处理方法包括：
3、获取数据源表，并将所述数据源表加载到hive数据仓库；
4、使用所述hive数据仓库中的sql语句创建宽表；
5、将所述数据源表加载到所述宽表中，得到目标宽表；
6、检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表；
7、接收到所述数据源表对应的查询请求时，对所述实时宽表执行逻辑处理，以响应所述查询请求。
8、可选的，在本专利技术第一方面的第一种实现方
9、同时检测到所述数据源表对应的多条binlog时，执行并行度增加操作，得到多个并行处理单元；
10、利用多个所述并行处理单元，根据多条所述binlog对应的事件信息，对所述目标宽表进行并行逻辑处理，得到实时宽表。
11、可选的，在本专利技术第一方面的第二种实现方式中，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
12、检测到所述数据源表对应的binlog时，判断所述binlog中事件信息的事件类型；
13、在所述事件类型为更新时，判断所述binlog的复杂度；
14、在所述复杂度小于阈值时，从所述binlog中获取待更新数据；
15、根据所述待更新数据，对所述目标宽表执行更新操作，得到实时宽表。
16、可选的，在本专利技术第一方面的第三种实现方式中，所述在所述事件类型未更新事件时，判断所述binlog的复杂度的步骤之后，所述方法还包括：
17、在所述复杂度大于等于阈值时，从所述binlog中获取关联键值；
18、根据所述关联键值在所述数据源表获取待更新数据；
19、根据所述待更新数据，对所述目标宽表执行更新操作，得到实时宽表。
20、可选的，在本专利技术第一方面的第四种实现方式中，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
21、检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，利用impala对所述目标宽表执行逻辑处理，得到实时宽表。
22、可选的，在本专利技术第一方面的第五种实现方式中，所述接收到所述数据源表对应的查询请求时，对所述实时宽表执行逻辑处理，以响应所述查询请求的步骤包括：
23、接收到所述数据源表对应的查询请求时，利用impala对所述实时宽表执行逻辑处理，以响应所述查询请求。
24、可选的，在本专利技术第一方面的第六种实现方式中，所述将所述数据源表加载到所述宽表中，得到目标宽表的步骤之后，实时方法还包括：
25、使用datax将所述目标宽表同步到impala中。
26、可选的，在本专利技术第一方面的第七种实现方式中，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤之后，所述方法还包括：
27、周期性备份所述实时宽表。
28、本专利技术第二方面提供了一种基于实时宽表的业务请求处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于实时宽表的业务请求处理设备执行上述的基于实时宽表的业务请求处理方法。
29、本专利技术的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于实时宽表的业务请求处理方法。
30、在本专利技术实施例中，获取数据源表，并将所述数据源表加载到hive数据仓库；使用所述hive数据仓库中的sql语句创建宽表；将所述数据源表加载到所述宽表中，得到目标宽表；检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表；接收到所述数据源表对应的查询请求时，对所述实时宽表执行逻辑处理，以响应所述查询请求。基于实时宽表的业务请求处理设备通过实时监测和处理数据源表的变化，并实时更新目标宽表，可使得基于宽表的数据模型具有较高的灵活性和扩展性，能够适应业务需求和数据变化。通过对实时宽表进行逻辑处理，还可以实现对数据的实时加工和处理，满足不同业务场景下的需求。同时，实时宽表的处理也可以帮助优化数据存储和查询性能，提高资源利用效率。在面对复杂的业务场景和多维度的数据分析需求时，基于实时宽表的处理方法能够更好地支持复杂的数据关联和计算，提供更全面的数据视图和分析结果。通过对数据变化的实时监测和处理，可以增强数据的一致性和可追溯性。业务用户可以更可靠地追溯数据的来源和变化，增强数据治理和合规性。通过实时宽表响应业务请求，可使得用户体验得到极大提升，数据库查询压力大幅降低，后端开发压力得到极大释放，提高了可维护性。
本文档来自技高网...【技术保护点】
1.一种基于实时宽表的业务请求处理方法，其特征在于，所述基于实时宽表的业务请求处理方法包括：
2.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
3.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
4.根据权利要求3所述的基于实时宽表的业务请求处理方法，其特征在于，所述在所述事件类型未更新事件时，判断所述binlog的复杂度的步骤之后，所述方法还包括：
5.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
6.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述接收
7.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述将所述数据源表加载到所述宽表中，得到目标宽表的步骤之后，实时方法还包括：
8.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤之后，所述方法还包括：
9.一种基于实时宽表的业务请求处理设备，其特征在于，所述基于实时宽表的业务请求处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的基于实时宽表的业务请求处理方法。
...【技术特征摘要】
1.一种基于实时宽表的业务请求处理方法，其特征在于，所述基于实时宽表的业务请求处理方法包括：
2.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
3.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
4.根据权利要求3所述的基于实时宽表的业务请求处理方法，其特征在于，所述在所述事件类型未更新事件时，判断所述binlog的复杂度的步骤之后，所述方法还包括：
5.根据权利要求1所述的基于实时宽表的业务请求处理方法，其特征在于，所述检测到所述数据源表对应的binlog时，根据所述binlog对应的事件信息，对所述目标宽表执行逻辑处理，得到实时宽表的步骤包括：
6.根据权利要...
【专利技术属性】
技术研发人员：谢国斌，徐约可，马明，李环良，
申请(专利权)人：深圳大道云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。