分布式数据集群的数据恢复方法、装置和电子设备制造方法及图纸

本申请实施例公开了分布式数据集群的数据恢复方法、装置和电子设备，可以提升数据恢复的准确性，同时提高数据恢复的效率。该数据恢复方法包括：将旧数据集群中与回档时刻最接近的备份时间对应的历史冷备文件中的数据恢复至新数据集群中；通过查询旧数据集群的事务提交记录日志，获取回档时刻之前所有的分布式事务；针对新数据集群中每个分片，对回档时刻之前所有的分布式事务进行分类，得到每个分片上需要处理的分布式事务；结合旧数据集群中从备份时间至回档时刻之间的增量日志，重新执行每一个分片需要处理的分布式事务，恢复新数据集群的状态至回档时刻。集群的状态至回档时刻。集群的状态至回档时刻。

【技术实现步骤摘要】
分布式数据集群的数据恢复方法、装置和电子设备


[0001]本申请涉及分布式数据集群
，尤其涉及分布式数据集群的数据恢复方法、装置和电子设备。

技术介绍

[0002]随着大数据时代的到来，数据的使用量成倍增长，使得对数据的存储和恢复有着越来越高的要求。对象存储，也叫做基于对象的存储，是一种非结构化数据的存储方式。分布式存储将不同存储节点如服务器上的空闲磁盘通过网络连接在一起，并对外提供统一的存储接口。分布式对象存储系统可以在一个持久稳固且高度可用的系统中存储任意的对象，用户和应用等可以在对象存储中使用简单的应用程序接口(Application Programming Interface，API)访问数据对象，例如，该数据对象可以为一个数据块等。
[0003]目前，在上述分布式存储中当发生数据损毁时，可以使用数据回档操作调用备份数据进行数据恢复，但是由于备份数据的备份时间是固定的，只在固定时刻对数据进行备份，而发生数据损毁的时刻与备份时间不同，导致使用备份数据恢复只能恢复到备份时间的数据状态并不能恢复至数据损失时刻的数据状态，从而导致数据恢复前后对应的数据之间存在数据偏差，并不准确。

技术实现思路

[0004]基于此，有必要针对上述问题，本申请提出了分布式数据集群的数据恢复方法、装置和电子设备，可以提升数据恢复的准确性，同时提高数据恢复的效率。
[0005]第一方面，本申请提供了一种分布式数据集群的数据恢复方法，包括：
[0006]将旧数据集群中与回档时刻最接近的备份时间对应的历史冷备文件中的数据恢复至新数据集群中；其中，旧数据集群为当前待恢复的分布式数据集群，回档时刻为旧数据集群的任意一个历史时刻，新数据集群为将旧数据集群恢复至回档时刻的数据状态创建的分布式数据集群；
[0007]通过查询旧数据集群的事务提交记录日志，获取回档时刻之前所有的分布式事务；
[0008]针对新数据集群中每个分片，对回档时刻之前所有的分布式事务进行分类，得到每个分片上需要处理的分布式事务；
[0009]结合旧数据集群中从备份时间至回档时刻之间的增量日志，重新执行每一个分片需要处理的分布式事务，恢复新数据集群的状态至回档时刻。
[0010]可选的，在第一方面的一种可能的实现方式中，针对新数据集群中每个分片，对回档时刻之前所有的分布式事务进行分类，得到每个分片需要处理的分布式事务，包括：
[0011]针对新数据集群中每一个计算节点，对回档时刻之前所有的分布式事务进行分类，得到每一个计算节点发起的所有分布式事务；
[0012]针对新数据集群中每个分片，对每一个计算节点发起的所有分布式事务再次分
类，得到每个分片需要处理的分布式事务。
[0013]可选的，在第一方面的一种可能的实现方式中，每个分片需要处理的分布式事务中的每一个分布式事务均是通过预提交时间戳最大的事务标识进行标识。
[0014]可选的，在第一方面的一种可能的实现方式中，结合旧数据集群中从备份时间至回档时刻之间的增量日志，重新执行每一个分片需要处理的分布式事务，包括：
[0015]从备份时间至回档时刻之间的时间段内选取一个起始时刻；
[0016]获取起始时刻至回档时刻之间的增量日志中所有的分布式事务；
[0017]当起始时刻至回档时刻之间的增量日志中所有的分布式事务与每个分片上需要处理的分布式事务相同时，重新执行该相同的分布式事务，并将其事务状态标记为已处理状态。
[0018]可选的，在第一方面的一种可能的实现方式中，起始时刻为备份时间与回档时刻之间的平均时刻。
[0019]可选的，在第一方面的一种可能的实现方式中，在重新执行每一个分片需要处理的分布式事务之前，还包括：
[0020]记录回档时刻之前所有的分布式事务中事务状态为终止的分布式事务；
[0021]当重新执行每一个分片需要处理的分布式事务时，丢弃每一个分片需要处理的分布式事务中事务状态为终止的分布式事务，不重新执行。
[0022]可选的，在第一方面的一种可能的实现方式中，上述方法还包括：
[0023]对于每一个分片需要处理的分布式事务中事务状态为预提交的分布式事务，若预提交时间戳小于或等于回档时刻，对其执行事务提交操作；
[0024]若预提交时间戳小于或等于回档时刻，对其执行事务回滚操作。
[0025]第二方面，本申请提供了一种分布式数据集群的数据恢复装置，包括：
[0026]恢复模块、获取模块、分类模块和执行模块；
[0027]恢复模块用于：将旧数据集群中与回档时刻最接近的备份时间对应的历史冷备文件中的数据恢复至新数据集群中；
[0028]其中，旧数据集群为当前待恢复的分布式数据集群，回档时刻为旧数据集群的任意一个历史时刻，新数据集群为将旧数据集群恢复至回档时刻的数据状态创建的分布式数据集群；
[0029]获取模块用于：通过查询旧数据集群的事务提交记录日志，获取回档时刻之前所有的分布式事务；
[0030]分类模块用于：针对新数据集群中每个分片，对回档时刻之前所有的分布式事务进行分类，得到每个分片上需要处理的分布式事务；
[0031]执行模块用于：结合旧数据集群中从备份时间至回档时刻之间的增量日志，重新执行每一个分片需要处理的分布式事务，恢复新数据集群的状态至回档时刻。
[0032]第三方面，本申请提供了一种电子设备，包括：
[0033]存储器和处理器，存储器上存储有可执行指令；
[0034]当可执行指令被处理器所调用时，使得电子设备执行如第一方面及其实现方式任一项中所述的分布式数据集群的数据恢复方法。
[0035]第四方面，本申请提供了一种计算机可读存储介质，其上存储有可执行指令；当可
执行指令被电子设备的处理器所调用时，使得电子设备执行第一方面及其实现方式任一项中所述的分布式数据集群的数据恢复方法。
[0036]本申请提供的技术方案具有以下有益效果：
[0037]本申请技术方案中，在使用历史冷备文件中的数据进行数据恢复基础上，通过查询事务提交记录日志，获取回档时刻之前所有的分布式事务；并针对每个分片对获取到的分布式事务进行分类，得到每个分片上需要处理的分布式事务，最终，结合旧数据集群中从所述备份时间至所述回档时刻之间的增量日志，进行日志重放即重新执行每一个分片需要处理的分布式事务，恢复新数据集群的状态至回档时刻。通过上述技术方案可以在使用历史冷备文件中的数据进行数据恢复基础上，针对每个分片，结合事务提交记录日志和增量日志，重新恢复执行从备份时间至回档时刻之间的分布式事务，恢复至回档时刻的数据状态，从而准确地将数据状态恢复至回档时刻，并且回档时刻可以是任意时刻，提升数据恢复的数据准确性，同时数据恢复的效率也得到提高。
[0038]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据集群的数据恢复方法，其特征在于，包括：将旧数据集群中与回档时刻最接近的备份时间对应的历史冷备文件中的数据恢复至新数据集群中；其中，所述旧数据集群为当前待恢复的分布式数据集群，所述回档时刻为所述旧数据集群的任意一个历史时刻，所述新数据集群为将所述旧数据集群恢复至所述回档时刻的数据状态创建的分布式数据集群；通过查询所述旧数据集群的事务提交记录日志，获取所述回档时刻之前所有的分布式事务；针对所述新数据集群中每个分片，对所述回档时刻之前所有的分布式事务进行分类，得到每个分片上需要处理的分布式事务；结合所述旧数据集群中从所述备份时间至所述回档时刻之间的增量日志，重新执行所述每一个分片需要处理的分布式事务，恢复所述新数据集群的状态至所述回档时刻。2.根据权利要求1所述的方法，其特征在于，所述针对所述新数据集群中每个分片，对所述回档时刻之前所有的分布式事务进行分类，得到每个分片需要处理的分布式事务，包括：针对所述新数据集群中每一个计算节点，对所述回档时刻之前所有的分布式事务进行分类，得到每一个计算节点发起的所有分布式事务；针对所述新数据集群中每个分片，对所述每一个计算节点发起的所有分布式事务再次分类，得到所述每个分片需要处理的分布式事务。3.根据权利要求1或2所述的方法，其特征在于，所述每个分片需要处理的分布式事务中的每一个分布式事务均是通过预提交时间戳最大的事务标识进行标识。4.根据权利要求1所述的方法，其特征在于，所述结合所述旧数据集群中从所述备份时间至所述回档时刻之间的增量日志，重新执行所述每一个分片需要处理的分布式事务，包括：从所述备份时间至所述回档时刻之间的时间段内选取一个起始时刻；获取所述起始时刻至所述回档时刻之间的增量日志中所有的分布式事务；当所述起始时刻至所述回档时刻之间的增量日志中所有的分布式事务与所述每个分片上需要处理的分布式事务相同时，重新执行该相同的分布式事务，并将其事务状态标记为已处理状态。5.根据权利要求4所述的方法，其特征在于，所述起始时刻为所述备份时间与所述回档时刻之间的平均时刻。6.根据权利要求...

【专利技术属性】
技术研发人员：赵伟，吴夏，张金冬，黄远芳，刘良成，张世伟，盛欢，赖铮，朱阅岸，邓海峰，林晓斌，刘永松，
申请(专利权)人：泽拓科技深圳有限责任公司，
类型：发明
国别省市：