数据备份的方法和数据处理系统技术方案

本发明专利技术实施例提供一种数据备份的方法和数据处理系统，该方法包括：备份第一存储文件，并记录备份操作的第一时间点，其中，第一存储文件为在第一时间点之前，存储在第一存储介质上的多个存储文件；当所述第一存储介质上的第二存储文件的数量满足预设阈值时，根据第一时间点，合并第二存储文件，得到至少两个第三存储文件；根据第一时间点，对至少两个第三存储文件进行增量备份，增量备份为备份第一时间点之后的至少一个第三存储文件。因此，本发明专利技术实施例提供数据备份的方法，通过记录数据备份的时间点，确定备份增量数据，避免了增量数据存储读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。

【技术实现步骤摘要】

本专利技术涉及数据库领域，尤其涉及一种数据备份的方法和数据处理系统。
技术介绍
分布式数据库在写数据时，数据会存储到用户表的一个或多个子表中，当满足一定的条件时，将数据进行备份，以保证数据的可靠性。但目前分布式数据库将数据备份消耗的时间长，且备份时对网络和磁盘资源的消耗较大。
技术实现思路
本申请提供一种数据备份的方法和数据处理系统，通过记录数据备份的时间点，确定备份增量数据，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。—方面，本申请提供了一种数据备份的方法，该方法包括:在第一时间点备份存储在第一存储介质上的第一存储文件，并记录第一时间点；当第一存储介质上的第二存储文件数量达到预设阈值时，以记录的第一时间点分界点，将第二存储文件合并为至少两个第三存储文件，其中，第二存储包括第一存储文件和第一时间点之后到当前时间点新生成的存储文件；对第一时间点之后的至少一个第三存储文件进行增量备份。在一个可能的设计中，对第一时间点之后的至少一个第三存储文件进行增量备份，具体包括:获取合并后的至少两个第三存储文件的时间戳范围；根据每个第三存储文件的时间戳范围，以第一时间点为分界点，确定第一时间点之后的第三存储文件，并进行增量备份。在一个可能的设计中，根据预设规则，备份第一存储文件。在另一个可能的设计中，获取至少两个第三存储文件的时间戳范围，包括:从每个第三存储文件的元数据块中获取时间戳范围。在又一个可能的设计中，在所述根据所述第一时间点，对至少两个第三存储文件进行增量备份之后，方法还包括:记录增量备份操作的第二时间点，以用于根据第二时间点合并或备份新生成的存储文件。—方面，本申请提供了一种数据处理系统，该系统包括:备份模块，用于在第一时间点备份存储在第一存储介质上的第一存储文件，并记录备份操作的第一时间点；合并模块，用于当第一存储介质上的第二存储文件的数量满足预设阈值时，以记录的第一时间点分界点，将第二存储文件合并为至少两个第三存储文件，其中，第二存储包括第一存储文件和第一时间点之后到当前时间点新生成的存储文件；备份模块还用于，备份第一时间点之后的至少一个第三存储文件。在一个可能的设计中，数据处理系统还包括:获取模块，用于获取合并后的至少两个第三存储文件的时间戳范围；确定模块，用于每个第三存储文件的时间戳范围，以第一时间点为分界点，确定第一时间点之后的第三存储文件，备份模块对确定模块确定的第一时间点后的第三存储文件进行增量备份。在一个可能的设计中，备份模块具体用于，根据预设条件，备份第一存储文件。在另一个可能的设计中，获取模块具体用于，从每个第三存储文件的元数据块中获取时间戳范围。在又一个可能的设计中，备份模块还用于，记录增量备份操作的第二时间点，以用于根据第二时间点合并或备份新生成的存储文件。—方面，本申请提供了一种数据处理系统，该数据处理系统包括处理器和存储器，处理器用于根据存储器存储的预设规则备份存储在存储器中的第一存储文件，并记录进行备份操作的第一时间点；当存储器中的第二存储文件数量超过预设阈值时，以记录的第一时间点为分界点，将第二存储文件合并为至少两个第三存储文件，其中，第二存储包括第一存储文件和第一时间点之后到当前时间点新生成的存储文件；以记录的第一时间点为分界点，备份第一时间点之后的第三存储文件。在一个可能的设计中，处理器获取合并后的至少两个第三存储文件的时间戳范围；并以第一时间点为分界点，确定第一时间点之后的第三存储文件，并进行增量备份。在另一个可能的设计中，处理器从每个第三存储文件的元数据块中获取时间戳范围。在又一个可能的设计中，处理器记录增量备份操作的第二时间点，以用于根据第二时间点合并或备份新生成的存储文件。本申请提供的数据备份的方法和数据处理系统，通过记录数据备份的时间点，确定备份增量数据，避免了增量数据存储读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。【附图说明】图1为一个用户表中子表的不意图；图2为本专利技术实施例提供的一种分布式数据库数据备份的方法的流程图；图3为本专利技术实施例提供的另一种分布式数据库数据备份的方法的流程图；图4为本专利技术实施例提供的一种数据处理系统的示意图；图5为本专利技术实施例提供的另一数据处理系统的示意图；图6为本专利技术实施例提供的又一数据处理系统的示意图。【具体实施方式】本专利技术实施例适用于以键-值(KeyValue)类型的存储方式进行存储的数据库，即，将用户需要存储的数据存放在Value部分，构建与Value对应的Key，当用户需要查找Value时，通过Key索引查找对应的Value，其中，数据的存储是按照Key的字典顺序自然排序的。当用户需要在分布式数据库中存储数据时，创建相应的用户表(Table)。一个Table中可以存储大量的数据，为了方便管理和维护，可以按照记录的Key值得字典顺序切割生成一个或多个子表(Reg1n)。每个Reg1n是一个Key区间数据的集合，也可以说是连续行数据的集合。每个KeyValue所对应的Key只包括在一个Reg1n区间，也就是说多个Reg1n之间没有交集，如图1所不，图1为一个用户表中子表的不意图，其中，图1中Reg1n-Ι中的Key-A代表着在字典顺序上一个无穷小的值，Reg1n-M中的Key-Υ代表着在字典顺序上一个无穷大的值。当分布式数据库在写数据时，数据可以同时写入WAL和Reg1n的内存中。当Reg1n内存中的数据满足预设的内存阈值时，将Reg1n中的数据固化到磁盘上，同时在磁盘上生成存储文件Hfile，Hfile文件的元数据块中存储有该Reg1n中数据记录的时间戳范围。为避免影响数据库读数据的性能，当磁盘上存储文件Hfile的数量满足预设的数量阈值时，对磁盘上多个存储文件Hfile进行合并(Compact1n)，得到至少一个存储文件Hfile。为防止系统出现操作失误或者系统故障导致的数据丢失，需要将系统中的全部数据或者部分数据集合从应用主机的硬盘或者阵列复制到本地或者其他的安全存储介质中。当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种数据备份的方法，其特征在于，所述方法包括：备份第一存储文件，并记录备份操作的第一时间点，其中，所述第一存储文件为在所述第一时间点之前，存储在第一存储介质上的多个存储文件；当所述第一存储介质上的第二存储文件的数量满足预设阈值时，根据所述第一时间点，合并所述第二存储文件，得到至少两个第三存储文件；根据所述第一时间点，对所述至少两个第三存储文件进行增量备份，所述增量备份为备份所述第一时间点之后的至少一个所述第三存储文件。

【技术特征摘要】

【专利技术属性】
技术研发人员：房浩，毕杰山，钟超强，
申请(专利权)人：杭州华为数字技术有限公司，
类型：发明
国别省市：浙江;33