一种数据处理方法、装置、设备及存储介质制造方法及图纸

本文提供了一种数据处理方法、装置、设备及存储介质，所述方法包括：获取数据处理指令，确定指令类型和待处理数据；确定所述待处理数据所在初始数据表的分区规则；当所述分区规则为范围分区时，确定所述待处理数据所在的待处理分区；根据所述指令类型，对所述待处理分区进行处理，本文通过对分区的直接处理，可以提高数据处理过程中的处理效率，同时还能提升数据的空间使用率。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质
本文属于数据处理
，具体涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
在很多领域的应用系统数据库中，每日都会新增大量数据，数据库的存量数据呈现持续增长的状态。随着数据量的上升对数据库的负荷也越来越大，比如数据库(比如Oracle)的高水位线越来越高，在进行查询数据的时候数据库只会扫描高水位线以下的空间，因此在数据量增加的前提下，水位线越高，查询越缓慢。另外，目前基于数据库的历史数据迁移清理方案，是基于简单配置日期的方案，对于超过保留期限的数据进行删除或者迁移到历史表后删除，但是数据删除操作执行过程中会产生大量Undo(数据修改前的值)日志，占用Undo表空间，且删除语句执行耗时较长，语句执行后会产生较多的数据碎片，造成高水位线，影响后续使用效率，为了降低高水位线，通常会人工定期进行降水位线处理，这种方式效率低，不能对高水位线的情况进行及时处理。因此如何提高数据处理的执行效率，提升数据的空间使用率是目前急需解决的技术问题。
技术实现思路
针对现有技术的上述问题，本文的目的在于，提供一种数据处理方法、装置、设备及存储介质，能够提高数据处理的执行效率，提升数据的空间使用率。为了解决上述技术问题，本文的具体技术方案如下：一方面，本文提供一种数据处理方法，所述方法包括：获取数据处理指令，确定指令类型和待处理数据；确定所述待处理数据所在初始数据表的分区规则；当所述分区规则为范围分区时，确定所述待处理数据所在的待处理分区；根据所述指令类型，对所述待处理分区进行处理。作为可选地，所述指令类型包括数据迁移指令，所述根据所述指令类型，对所述待处理分区进行处理，包括：确定待处理数据的目标数据表；判断所述待处理分区中的数据是否全部为所述待处理数据；当所述待处理分区中的数据全部为所述待处理数据时，根据预设转换规则，将所述待处理分区转换至所述目标数据表中，以使所述待处理分区从属于所述目标数据表。进一步地，所述根据预设转换规则，将所述待处理分区转换至所述目标数据表中，包括：确定所述待处理分区和初始数据表的索引关系；重写所述索引关系，以将所述待处理分区和所述目标数据表建立从属关系，从而将所述待处理分区转换至所述目标数据表中。作为可选地，所述指令类型还包括数据清理指令，所述根据所述指令类型，对所述待处理分区进行处理，包括：判断所述待处理分区中的数据是否全部为所述待处理数据；当所述待处理分区中的数据全部为所述待处理数据时，删除所述待处理分区。进一步地，所述确定所述待处理数据所在初始数据表的分区规则，之后还包括：当所述分区规则为范围分区时，判断所述初始数据表中所有分区中是否都有数据；当所述初始数据表中所有分区中都有数据时，按照所述范围分区的规则在所述初始数据表中增加分区。进一步地，当所述分区规则不是所述范围分区时，包括：当所述指令类型为数据迁移指令时，根据所述数据迁移指令，确定待处理数据的目标数据表；将所述待处理数据插入所述目标数据表中；删除所述初始数据表中的待处理数据；当所述指令类型为数据清理指令时，删除所述初始数据表中的待处理数据。进一步地，所述方法还包括：获取碎片整理指令；根据所述碎片整理指令，对所述初始数据表进行降水位线处理。另一方面，本文还提供一种数据处理装置，所述装置包括：指令获取模块，用于获取数据处理指令，确定指令类型和待处理数据；分区规则确定模块，用于确定所述待处理数据所在初始数据表的分区规则；待处理分区确定模块，用于当所述分区规则为范围分区时，确定所述待处理数据所在的待处理分区；处理模块，用于根据所述指令类型，对所述待处理分区进行处理。另一方面，本文还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的方法步骤。最后，本文还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的方法步骤。采用上述技术方案，本文所述的数据处理方法、装置、设备及存储介质，通过对数据处理指令的判断，确定出指令类型和待处理数据，然后确定待处理数据所在的初始数据表的分区规则，当所述初始数据表的分区规则为范围分区时，则就确定所述待处理数据所在的待处理分区，从而根据获得的指令类型对所述待处理分区进行处理，本文通过对分区的直接处理，可以提高数据处理过程中的处理效率，同时还能提升数据的空间使用率。为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。附图说明为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本文实施例提供的一种数据处理方法步骤示意图；图2示出了本文实施例中对数据迁移指令的数据处理步骤示意图；图3示出了本文实施例中对数据清理指令的数据处理步骤示意图；图4示出了本文实施例中扩展分区的步骤示意图；图5示出了本文实施例中降水位线处理的步骤示意图；图6示出了本文实施例中数据处理具体步骤示意图；图7示出了本文实施例提供的数据处理装置结构示意图；图8示出了本文实施例提供的一种计算机设备的结构示意图。附图符号说明：100、指令获取模块；200、分区规则确定模块；300、待处理分区确定模块；400、处理模块；802、计算机设备；804、处理器；806、存储器；808、驱动机构；810、输入/输出模块；812、输入设备；814、输出设备；816、呈现设备；818、图形用户接口；820、网络接口；822、通信链路；824、通信总线。具体实施方式下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取数据处理指令，确定指令类型和待处理数据；/n确定所述待处理数据所在初始数据表的分区规则；/n当所述分区规则为范围分区时，确定所述待处理数据所在的待处理分区；/n根据所述指令类型，对所述待处理分区进行处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取数据处理指令，确定指令类型和待处理数据；
确定所述待处理数据所在初始数据表的分区规则；
当所述分区规则为范围分区时，确定所述待处理数据所在的待处理分区；
根据所述指令类型，对所述待处理分区进行处理。


2.根据权利要求1所述的方法，其特征在于，所述指令类型包括数据迁移指令，所述根据所述指令类型，对所述待处理分区进行处理，包括：
确定待处理数据的目标数据表；
判断所述待处理分区中的数据是否全部为所述待处理数据；
当所述待处理分区中的数据全部为所述待处理数据时，根据预设转换规则，将所述待处理分区转换至所述目标数据表中，以使所述待处理分区从属于所述目标数据表。


3.根据权利要求2所述的方法，其特征在于，所述根据预设转换规则，将所述待处理分区转换至所述目标数据表中，包括：
确定所述待处理分区和初始数据表的索引关系；
重写所述索引关系，以将所述待处理分区和所述目标数据表建立从属关系，从而将所述待处理分区转换至所述目标数据表中。


4.根据权利要求1所述的方法，其特征在于，所述指令类型还包括数据清理指令，所述根据所述指令类型，对所述待处理分区进行处理，包括：
判断所述待处理分区中的数据是否全部为所述待处理数据；
当所述待处理分区中的数据全部为所述待处理数据时，删除所述待处理分区。


5.根据权利要求1所述的方法，其特征在于，所述确定所述待处理数据所在初始数据表的分区规则，之后还包括：
当所述分区规则为范...

【专利技术属性】
技术研发人员：倪文隽，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11