数据处理方法、装置及计算设备制造方法及图纸

技术编号:30681465 阅读:50 留言:0更新日期:2021-11-06 09:11
本申请实施例提供一种数据处理方法、装置及计算设备。其中,接收事务语句;若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量;根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句;分别执行所述多个目标事务语句,以对所述待处理数据进行处理。本申请实施例提供的技术方案通过对大事务语句进行分割,进一步对分割后的多个目标事务语句进行执行,从而提高了事务语句的执行效率。从而提高了事务语句的执行效率。从而提高了事务语句的执行效率。

【技术实现步骤摘要】
数据处理方法、装置及计算设备


[0001]本申请实施例涉及数据库
,尤其涉及一种数据处理方法、装置及计算设备。

技术介绍

[0002]一般情况下,每个公司都有自己的结构化查询语言(Structured Query Language,简称SQL)数据库,用户可以在客户端基于SQL输入事务语句对数据库中的数据进行增删改查等访问操作,如果一条事务语句操作的数据较多或者运行的时间较长,该条查询语句称为大事务语句,由于客户端的处理器的处理能力有限,因此,如果直接处理大事务语句会造成事务语句执行缓慢。

技术实现思路

[0003]本申请实施例提供一种数据处理方法、装置及计算设备,用以解决现有技术中事务语句执行缓慢的问题。
[0004]第一方面,本申请实施例中提供了一种数据处理方法,包括:
[0005]接收事务语句;
[0006]若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量;
[0007]根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句;
[0008]分别执行所述多个目标事务语句,以对所述待处理数据进行处理。
[0009]第二方面,本申请实施例提供了一种数据处理装置,包括:
[0010]接收模块,用于接收事务语句;
[0011]确定模块,用于若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量;
[0012]分割模块,用于根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句;
[0013]处理模块,用于分别执行所述多个目标事务语句,以对所述待处理数据进行处理。
[0014]第三方面,本申请实施例提供一种计算设备,包括处理组件以及存储组件;所述存储组件存储一条或多条计算机指令;所述一条或多条计算机指令用以被所述处理组件调用执行;所述处理组件用于:接收事务语句;若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量;根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句;分别执行所述多个目标事务语句,以对所述待处理数据进行处理。
[0015]第四方面,本申请实施例提供一种计算机存储介质,计算机存储介质存储有计算程序,当所述计算程序被计算设备执行时,使处理器至少可以实现如第一方面所述的数据
处理方法。
[0016]本申请实施例中,通过在客户端接收事务语句;若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量;根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句;分别执行所述多个目标事务语句,以对所述待处理数据进行处理。本申请实施例提供的技术方案通过对大事务语句进行分割,进一步对分割后的多个目标事务语句进行执行,从而提高了事务语句的执行效率。
[0017]本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0019]图1示出了本申请提供的数据处理方法一个实施例的流程图;
[0020]图2示出了本申请提供的数据处理装置一个实施例的结构示意图;
[0021]图3示出了与本申请提供的与图2对应的计算设备的结构示意图。
具体实施方式
[0022]为了使本
的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
[0023]在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
[0024]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0025]图1示出了本申请提供的数据处理方法一个实施例的流程图,其中,本实施例的技术方案由客户端执行,其中,本申请实施例中,客户端可以与SQL数据库连接且能够对SQL数据库中的数据进行操作。如图1所示,该方法包括:
[0026]101、接收事务语句。
[0027]一般情况下,每个SQL数据库都有相应的接口信息,通过接收用户输入的接口信息以及登录信息,客户端可以连接到SQL数据库,以及通过接收用户输入的事务语句,对SQL数据库中的数据进行相应的操作。为了表示方便,以下用数据库表示SQL数据库。
[0028]102、若事务语句为大事务语句,则基于大事务语句确定数据库中对应的待处理数据的数据量。
[0029]可选地,针对每条事务语句,客户端会为其分配处理资源,该处理资源决定了事务语句可以处理的最大处理量,且每条事务语句分配的处理资源都是一致的。为了表示方便,用事务数据最大处理量表示每条事务语句可以处理的最大数据量。当一条事务语句所表示的需要进行处理的待处理数据的数据量大于该事务数据最大处理量或者达到该事务数据最大处理量的预设比例时,该条事务语句为大事务语句。
[0030]其中,该事务数据最大处理量可以根据处理资源确定,且该事务数据最大处理量可以为最大数据行数或者最大数据存储量。比如,处理资源可以表示为处理器的带宽,假设带宽每秒为2兆比特,事务数据最大处理量可以为1000条数据,或者1兆比特的数据存储量。
[0031]该事务数据最大处理量还可以基于接收研发人员输入的数据最大处理量来决定。
[0032]对应的,事务数据最大处理量可以由每条事务语句可以处理的数据的最多行数决定,或者可以由每条事务语句处理的每条数据的大小和读取位置决定。
[0033]在一个可选的实施例中,在若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量之前还包括:基于执行时间查询函数,构建执行时间查询语句;基于事务语句,利用所述执行时间查询语句确定执行所述事务语句的消耗时间;若所述消耗时间超过预设时间,则将所述事务语句确定为大事务语句。
[0034]可选地,上述执行时间查询语句例如可以为:本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:接收事务语句;若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量;根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句;分别执行所述多个目标事务语句,以对所述待处理数据进行处理。2.根据权利要求1所述的方法,其特征在于,所述若所述事务语句为大事务语句,则基于所述大事务语句确定数据库中对应的待处理数据的数据量,包括:获取所述大事务语句对应的数据查询信息;基于执行计划查询函数,构建执行计划查询语句;基于所述数据查询信息,利用所述执行计划查询语句确定所述大事务语句对应的数据库中待处理数据的数据量。3.根据权利要求1所述的方法,其特征在于,在根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句之前,还包括:获取事务数据最大处理量;所述根据所述待处理数据的数据量对所述大事务语句进行分割,得到多个目标事务语句包括:利用所述事务数据最大处理量乘以预设比例,得到目标事务实际处理量;利用所述待处理数据的数据量除以所述目标事务实际处理量,得到目标事务的分割数量;基于所述目标事务实际处理量以及所述分割数量,得到多个目标事务语句。4.根据权利要求3所述的方法,其特征在于,所述基于所述目标事务实际处理量以及所述分割数量,得到多个目标事务语句包括:确定所述大事务语句所涉及的数据库表以及所述数据库表对应的数据取值范围;按照所述待处理数据的数据量以及所述分割数量,对所述数据库表对应的数据取值范围进行分割,得到多个子查询信息;将所述多个子查询信息分别替换所述大事务语句中数据查询信息对应的字段信息,获得多个目标事务语句。5.根据权...

【专利技术属性】
技术研发人员:邓志航
申请(专利权)人:天津五八到家货运服务有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1