一种数据处理的方法和装置制造方法及图纸

本发明专利技术实施例涉及一种数据处理的方法和装置，该方法应用于数据库系统，该数据库系统包含数据表，该数据表包含至少一个区域，所述方法包括：当任一区域满足预定义条件，将满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，该数据存储文件包含时间元数据，时间元数据为满足预定义条件的区域中的数据的区域写入时间。满足合并操作触发条件时，获取最近一次执行备份操作的时间；选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；合并所选择的所述至少两个第一数据存储文件，以此解决现有技术中的合并方法导致备份耗时长的问题。

【技术实现步骤摘要】
一种数据处理的方法和装置
本专利技术涉及数据库领域，尤其涉及一种数据处理的方法和装置。
技术介绍
随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大，使得数据库系统得到越来越广泛的应用。现有技术中，数据是先写入到数据表中某区域对应的内存中，当某区域满足一定条件就会将该区域的数据保存到存储设备中形成一个数据存储文件，如可以是1个Hfile，随着数据持续不断地写入所述数据库，所述存储设备中会存在大量的数据存储文件。为提高读数据的性能，会将同一个数据表的全部数据存储文件合并为一个数据存储文件。但是，在备份场景中，尤其是在增量备份的场景下，这样的合并操作会带来如下问题：当在此合并操作之后执行增量备份操作时，需要读取整个数据表的所有数据以确认所需执行所述增量备份的数据，由此导致网络资源的浪费以及备份耗时较长的问题。
技术实现思路
本专利技术提供了一种数据处理的方法和装置，能够解决现有技术中备份过程耗时长，消耗大量网络资源的问题。为了达到上述目的，本专利技术采用如下技术方案：第一方面，提供了一种数据处理的方法，该方法应用在数据库系统中，所述数据库系统包含数据表，所述数据表包含至少一个区域，该方法包括：当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；合并所选择的所述至少两个第一数据存储文件。具体地，所述备份操作时间中记录的是最近一次执行备份操作的时间。值得说明的是，所述数据库系统记录的所述备份操作时间可以保存在存储设备中的预置文件、预置数据库中的数据表或分布式锁中，其中，分布式锁可以为Zookeeper。可选地，本专利技术实施例中数据库系统也可以将每次备份操作的时间记录在所述存储设备中的所述预置文件、预置数据库中的数据表或分布式锁中。则每次执行合并操作前，从所述预置文件、预置数据库中的数据表或分布式锁中读取所记录的最近一次备份操作的时间。此外，在具体实施过程中，可以根据数据存储文件的个数、大小等因素灵活配置选择和合并策略。可以一次选择全部所述数据存储文件执行合并操作；也可以分多次选择，每次选择部分所述数据存储文件执行合并操作。值得说明的是，合并操作所获得数据存储文件的数量可以在具体实施过程中根据预置的每个数据存储文件的最大规格、待合并数据存储文件的个数和大小等因素配置不同预置策略，合并后获得至少一个数据存储文件，本专利技术不作限制。通过上述内容描述的过程，在采用本实施例提供的数据处理的方法，执行合并操作时，通过获取数据库系统记录的备份操作时间，仅合并最近一次备份操作的时间之前的数据存储文件，解决了现有技术中数据读性能问题，而且利用上述合并方法，以最近一次执行备份操作的时间为界，对该时间之前的数据存储文件执行合并操作，与现有技术中将全部数据存储文件合并为一个的合并方法相比，可以解决现有技术中的合并方法导致无法快速查找最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程耗时长，提高了数据库中备份效率，降低了对网络资源的消耗。结合第一方面，在第一方面的第一种可能实现方式中，所述方法还包括：从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；合并所选择的所述至少两个第二数据存储文件。具体地，所述第二数据存储文件仅用于区分不同数据存储文件，并不代数据表存储文件的数量，可以包含1个或多个数据存储文件。通过上述内容的描述，当满足预定义的合并操作触发条件时，通过获取最近一次执行备份操作的时间，以最近一次执行备份操作的时间为界，分别将最近一次执行备份操作的时间之前的数据存储文件合并为至少1个数据存储文件、将最近一次执行备份操作的时间之后的数据存储文件合并为至少1个数据存储文件，解决了数据库系统中读数据性能问题。与现有技术中将存储设备中全部数据存储文件合并为1个数据存储文件相比，可以根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本专利技术实施例提供的数据处理方法解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。另一方面，利用上述合并方法，在备份场景中，尤其是在增量备份场景中，可以快速查找到最近一次执行备份操作的时间之后新增的数据存储文件，完成备份操作，减少了备份的时间，极大地降低了备份所消耗的网络资源。结合第一方面或第一方面第一种可能实现方式，在第一方面的第二种可能实现方式中，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或，预定义的合并操作执行周期；或，接收到合并操作执行命令。通过上述内容的描述，当满足预定义的合并操作触发条件时，通过获取最近一次执行备份操作的时间，以最近一次执行备份操作的时间为界，分别合并最近一次执行备份操作的时间之前的数据存储文件和最近一次执行备份操作的时间之后的数据存储文件。利用上述合并方法，在备份场景中，尤其是在增量备份场景中，可以快速查找到最近一次执行备份操作的时间之后新增的数据存储文件，完成备份操作，减少了备份的时间，极大地降低了备份所消耗的网络资源。可选地,在本专利技术的一个可能的实施例中,数据存储文件所包含的时间元数据信息也可以是将区域中的数据作为数据存储文件保存到存储设备时的时间，即所述数据存储文件的生成时间。当满足合并触发条件时，通过比较最近一次执行备份操作的时间和存储设备中数据存储文件的时间元数据信息，可以确定最近一次执行备份操作的时间之前的数据存储文件和最近一次执行备份操作的时间之后的数据存储文件，再分别合并最近一次执行备份操作时间之前的数据存储文件和最近一次执行备份操作时间之后的数据存储文件，其中，可以一次选择全部数据存储文件执行合并操作；也可以分多次选择，每次选择部分数据存储文件执行合并操作，具体操作过程与上述实施例描述的内容相同，在此不再赘述。在备份场景中，尤其是增量备份场景中，与现有技术的合并方法相比，同样可以快速识别最近一次执行备份操作时间之后的数据存储文件，完成备份操作，减少备份耗时和对系统资源的消耗，提高备份操作的效率。可选地，在本专利技术的另一个可能的实施例中，也可以在数据存储文件中添加合并标志位，基于所述合并标志位来决定是否需要合并该数据存储文件，举例说，如所述合并标志位为0时，表示该数据存储文件未完成备份操作；如所述合并标志位为1时，表示该数据存储文件已完成备份操作。示例地，区域中的数据作为数据存储文件保存到存储设备时，合并标志位的初始值为0；当满足备份操作触发条件时，备份存储设备中的数据存储文件，备份操作可以是全量备份，也可以是增量备份，备份操作完成后，本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，所述方法应用于数据库系统中，所述数据库系统包含数据表，所述数据表包含至少一个区域，所述方法包括：当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；合并所选择的所述至少两个第一数据存储文件，合并得到至少一个目标数据存储文件,合并所得所述目标数据存储文件的数量是根据预置的每个所述目标数据存储文件的最大规格、所述第一数据存储文件的个数和所述第一数据存储文件的大小确定的。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法应用于数据库系统中，所述数据库系统包含数据表，所述数据表包含至少一个区域，所述方法包括：当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；合并所选择的所述至少两个第一数据存储文件，合并得到至少一个目标数据存储文件,合并所得所述目标数据存储文件的数量是根据预置的每个所述目标数据存储文件的最大规格、所述第一数据存储文件的个数和所述第一数据存储文件的大小确定的。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；合并所选择的所述至少两个第二数据存储文件。3.根据权利要求1或2所述方法，其特征在于，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或预定义的合并操作执行周期；或接收到合并操作执行命令。4.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：当满足备份操作触发条件时，所述数据库系统备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；将所述备份操作时间更新为本次备份操作执行时间。5.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：当满足备份操作触发条件时，第三方备份系统备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；将所述备份操作时间更新为本次备份操作执行时间。6.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：当满足备份操作触发条件时，所述数据库系统备份所述存储设备中全部数据存储文件；将所述备份操作时间更新为本次备份操作执行时间。7.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：当满足备份操作触发条件时，第三方备份系统备份所述存储设备中全部数据存储文件；将所述备份操作时间更新为本次备份操作执行时间。8.根据权利要求4至7中任一项所述方法，其特征在于，所述备份操作触发条件为预定义的备份操作执行周期；或接收到备份操作执行命令。9.一种数据处理装置，其特征在于，所述装置包括处理单元、获取单元、选择单元和合并单元：所述处理单元，用于当数据库系统所包含的数据表的至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；所述获取单元，用于在满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；所述选择单元，用于从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；所述合并单元，用于合并所选择的所述至少两个第一数据存储文件，合并得到至少一个目标数据存储文件,合并所得所述目标数据存储文件的数量是根据预置的每个所述目标数据存储文件的最大规格、所述第一数据存储文件的个数和所述第一数据存储文件的大小确定的。10.根据权利...

【专利技术属性】
技术研发人员：房浩，毕杰山，钟超强，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44