针对数据库操作语言的数据处理方法、装置、设备、介质和程序产品制造方法及图纸

技术编号:42073477 阅读:11 留言:0更新日期:2024-07-19 16:54
本公开提供了一种针对数据库操作语言的数据处理方法,可以应用于大数据技术领域、金融科技技术领域。该针对数据库操作语言的数据处理方法包括:解析待处理数据库操作语言,以确定与待处理数据库操作语言关联的至少一个目标数据表;确定利用待处理数据库操作语言对目标数据表进行操作所涉及的目标数据量;根据待处理数据库操作语言中的预定关键字,计算待处理数据库操作语言的复杂度;调用预定预测模型,基于目标数据量和复杂度,输出执行待处理数据库操作语言拟消耗的计算资源量。本公开还提供了一种针对数据库操作语言的数据处理装置、设备、存储介质和程序产品。

【技术实现步骤摘要】

本公开涉及计算机,具体涉及大数据、金融科技,更具体地涉及一种针对数据库操作语言的数据处理方法、装置、设备、介质和程序产品


技术介绍

1、在大数据环境中,利用数据库操作语言进行数据处理是一种常见的数据分析和数据处理方法。然而,考虑到大数据集群的规模和复杂性,在执行数据库操作语言时会消耗大量计算资源量。准确预测数据库操作语言拟消耗的计算资源量可以帮助提前预估大数据集群设备资源投入。

2、在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题,现有的大数据集群中获得数据库操作语言的计算资源量的方式是,要求将数据库操作语言在生产集群上执行至少一次,或者是将特征非常相近的数据库操作语言在生产集群上执行过至少一次,这种在执行后才能获取已消耗资源量的方法浪费了数据库操作语言的计算资源;且对于未在生产集群上执行过的数据库操作语言,无法及时预测其拟消耗的计算资源量。另一方面,现有技术中对影响计算资源量的维度考虑单一,影响预测结果的准确性。


技术实现思路

1、鉴于上述问题,本公开提供了一种针对数据库操作本文档来自技高网...

【技术保护点】

1.一种针对数据库操作语言的数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述调用预定预测模型,基于所述目标数据量和所述复杂度,输出执行所述待处理数据库操作语言拟消耗的计算资源量,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述目标数据量和所述复杂度,计算所述待处理数据库操作语言的目标特征值,包括:

4.根据权利要求1所述的方法,其特征在于,所述预定关键字至少包括:连接关键字、分组查询关键字、排序查询关键字、去重关键字、窗口函数关键字中任意一个或多个的组合。

5.根据权利要求1所述的方法,其特...

【技术特征摘要】

1.一种针对数据库操作语言的数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述调用预定预测模型,基于所述目标数据量和所述复杂度,输出执行所述待处理数据库操作语言拟消耗的计算资源量,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述目标数据量和所述复杂度,计算所述待处理数据库操作语言的目标特征值,包括:

4.根据权利要求1所述的方法,其特征在于,所述预定关键字至少包括:连接关键字、分组查询关键字、排序查询关键字、去重关键字、窗口函数关键字中任意一个或多个的组合。

5.根据权利要求1所述的方法,其特征在于,根据所述待处理数据库操作语言中的预定关键字,计算所述待处理数据库...

【专利技术属性】
技术研发人员:翁晓俊
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1