System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于对象存储的恢复历史数据的方法及系统技术方案_技高网

一种基于对象存储的恢复历史数据的方法及系统技术方案

技术编号:41264511 阅读:3 留言:0更新日期:2024-05-11 09:21
本发明专利技术公开了一种基于对象存储的恢复历史数据的方法及系统,所述方法包括如下步骤:步骤S1,在上传文件前记录上传文件的时间点,扫描源备端文件比对确定需上传的文件并将其上传至对象存储,对不支持版本控制的对象存储,给每个上传的文件添加一个副本,同时于文件同步记录中对每个上传的文件添加备份记录;步骤S2,在文件恢复阶段,选择恢复时间点,根据恢复时间点、源端路径、备端路径于所述文件同步记录中查找出相应的备份记录,根据备份记录中的版本信息及源备端路径得到所要恢复文件的真实存储路径,从而获取对应文件。

【技术实现步骤摘要】

本专利技术涉及计算机容灾备份,特别是涉及一种基于对象存储的恢复历史数据的方法及系统


技术介绍

1、随着网络技术的发展目前已进入了数据共享时代,海量的文件进入人们的世界。对象存储是一种比较常见的存储方式。对象存储是一种基于对象的存储方式,其具备智能、自我管理能力,通过web服务协议(如:rest、soap)实现对象的读写和存储资源的访问。对象存储是面向对象/文件的、海量的互联网存储,存放的是已经被封装的文件,因此在对象存储系统里不能够打开文件,但可以像ftp一样上传和下载文件。另外对象存储没有像文件系统那样有一个很多层级的文件结构,只有一个桶的概念,即桶里面存了很多个对象,每个对象都有自己的唯一key,也就是说根据桶名和唯一key就能够确定一个对象。对象存储的优势在于优秀的扩展性、基于策略的自动化管理特性、支持多用户管理技术。

2、虽然对象存储的出现很好的解决了海量文件的存储和共享问题,但是随着技术的发展越来越多的问题也相继出现。人们的需求也越来越多越来越复杂,海量文件中的部分定时修改,而这些已经修改的文件也需要定时备份。一个文件往往有多个版本并且每个版本的文件都是有价值的,这就需要相关存储具备版本控制的功能。但是随着网络技术的发展网络安全问题也随之而来,一旦源端系统崩溃或者硬件损坏就会导致数据的丢失,排除故障后就需要将备份的文件恢复到源端且很多时候需要恢复到某个时间点。

3、目前部分对象存储虽有版本控制的功能,但却无法记录时间点与备份文件版本的关系,需要主观地记录备份时间点和文件版本的关系,但海量文件多次同步需要保存的记录更是海量,一般的数据库技术无法支持亿级记录的存储与访问,因此现有技术中,对于频繁修改的基于对象存储的文件,当本地机器出故障后或者文件丢失后存在无法将某个文件夹下的文件恢复到某个时间点的问题。


技术实现思路

1、为克服上述现有技术存在的不足,本专利技术之目的在于提供一种基于对象存储的恢复历史数据的方法及系统,以实现对基于对象存储的文件,在本地机器出故障后或者文件丢失后可将文件恢复到选择的时间点的目的。

2、为达上述目的,本专利技术提出一种基于对象存储的恢复历史数据的方法,包括如下步骤:

3、步骤s1,记录本次上传文件的时间点,扫描源备端文件比对确定需上传的文件并将其上传至对象存储,对不支持版本控制的对象存储,给每个上传的文件添加一个副本,同时于文件同步记录中对每个上传的文件添加备份记录;

4、步骤s2,在文件恢复阶段,选择恢复时间点,根据恢复时间点、源路径、备端路径于所述文件同步记录中查找出相应的备份记录,根据备份记录中的版本信息及源备端路径得到所要恢复文件的真实存储路径,从而获取对应文件。

5、优选地,步骤s1进一步包括:

6、步骤s100,在批量上传文件之前记录本次上传文件的时间点,以用于恢复文件时选择对应的恢复时间点;

7、步骤s101,扫描源端和备端文件进行对比,确定需上传的文件,并将需上传的文件加入待上传文件列表;

8、步骤s102,循环遍历待上传文件列表,将所述待上传文件列表中的文件一一上传至对象存储,并于所述文件同步记录中添加或修改所上传文件的备份记录,对不支持版本控制的对象存储,根据当前上传文件的唯一key利用预设转换规则映射一个新唯一key,并拷贝该当前上传文件至该新唯一key。

9、优选地,于步骤s101中,通过扫描源端和备端文件进行对比,将备端缺失的文件以及源端已经修改过与源端有异的文件加入所述待上传文件列表。

10、优选地,于步骤s101中,通过扫描源端和备端文件进行对比,对于源端被删除掉的文件,更新该文件于所述文件同步记录中的备份记录。

11、优选地,于步骤s101中,对于源端已经删除的文件,根据备端路径和/或源端路径以及文件名更新所述文件同步记录中该文件对应的备份记录,将其latestflag改为0,以及deletetime改为本次执行的时间。

12、优选地,于步骤s102中,对于第一次同步的文件,于所述文件同步记录添加该文件对应的备份记录,对于已经添加过备份记录的文件则对旧记录进行对应的修改。

13、优选地,于步骤s102中,根据源端路径、备端路径、源端文件名、上传后文件名查询所述文件同步记录中是否有相关记录,若无相关记录则直接插入记录,若有相关记录并且记录中的备份时间点的个数小于预设值,则将该文件的本次版本信息和备份时间点叠加在文件版本号和备份时间点后,并修改备份记录中maxtime为本次执行时间;若有相关记录且记录中的备份时间点个数大于等于100个,则将查到的备份记录的maxtime改为本次执行时间点减1,latestflag改为0,并插入一条新记录.

14、优选地,步骤s2进一步包括:

15、步骤s200,根据备份时间表选择恢复时间点,根据所要恢复的时间点、源端路径id、备端路径id分页查询分页查询备份记录,根据查询结果从备份记录中取出相关版本信息,并将对应的文件加入待传输文件列表;

16、步骤s201,遍历所述待传输文件列表,根据各待传输文件的版本信息及源备端路径得到所要恢复文件的真实存储路径,从而获取对应文件。

17、优选地,于步骤s201中,根据所述待传输文件列表中待恢复文件版本信息的文件修改时间戳以及待恢复文件的源备端路径进行根据预设转换规则映射得到待恢复文件的真实存储路径。

18、为达到上述目的,本专利技术还提供一种基于对象存储的恢复历史数据的系统,包括:

19、上传文件处理模块,用于记录本次上传文件的时间点,扫描源备端文件比对确定需上传的文件并将其上传至对象存储,对不支持版本控制的对象存储,给每个上传的文件添加一个副本,同时于文件同步记录中对每个上传的文件添加备份记录;

20、文件恢复处理模块,用于在文件恢复阶段,选择恢复时间点,根据恢复时间点、源路径、备端路径于所述文件同步记录中查找出相应的备份记录,根据备份记录中的版本信息及源备端路径得到所要恢复文件的真实存储路径,从而获取对应文件。

21、与现有技术相比,本专利技术一种基于对象存储的恢复历史数据的方法及系统通过在文件上传阶段上传文件前记录上传文件的时间点,确定要上传的文件并将其上传至对象存储,同时于文件同步记录中对每个上传的文件添加用于记录文件版本信息、源端文件与备端文件的对比属性以及备份时间点的备份记录,文件恢复阶段,则根据时间点、源路径、备端路径于文件同步记录中查找出所要恢复文件的版本信息,根据版本信息及源路径得到所要恢复文件的真实存储路径,从而获取对应文件恢复历史数据,实现了对基于对象存储的文件,在本地机器出故障后或者文件丢失后可将文件恢复到任意选择时间点的目的。

本文档来自技高网...

【技术保护点】

1.一种基于对象存储的恢复历史数据的方法,包括如下步骤:

2.如权利要求1所述的一种基于对象存储的恢复历史数据的方法,其特征在于,步骤S1进一步包括:

3.如权利要求2所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤S101中,通过扫描源端和备端文件进行对比,将备端缺失的文件以及源端已经修改过的文件加入所述待上传文件列表。

4.如权利要求3所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤S101中,通过扫描源端和备端文件进行对比,对于源端被删除掉的文件,将该文件于所述文件同步记录中的备份记录进行逻辑删除。

5.如权利要求4所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤S101中,对于源端已经删除的文件,根据备端路径和/或源端路径以及文件名更新所述文件同步记录中该文件对应的备份记录,并将其latestFlag改为0,以及deleteTime改为本次执行的时间。

6.如权利要求5所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤S102中,对于第一次同步的文件,于所述文件同步记录添加该文件对应的备份记录,对于已经添加过备份记录的文件则对旧记录进行对应的修改。

7.如权利要求6所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤S102中,根据源端路径、备端路径、源端文件名、上传后文件名查询所述文件同步记录中是否有相关记录,若无相关记录则直接插入记录,若有相关记录并且记录中的备份时间点的个数小于预设值,则将该文件的本次版本信息和备份时间点叠加在文件版本号和备份时间点后,并修改备份记录中maxTime为本次执行时间;若有相关记录且记录中的备份时间点个数大于等于100个,则将查到的备份记录的maxTime改为本次执行时间点减1,latestFlag改为0,并插入一条新记录.面。

8.如权利要求2所述的一种基于对象存储的恢复历史数据的方法,其特征在于, 步骤S2进一步包括:

9.如权利要求8所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤S201中,根据所述待传输文件列表中待恢复文件版本信息的文件修改时间戳以及待恢复文件的源备端路径进行根据预设转换规则映射得到待恢复文件的真实存储路径。

10.一种基于对象存储的恢复历史数据的系统,包括:

...

【技术特征摘要】

1.一种基于对象存储的恢复历史数据的方法,包括如下步骤:

2.如权利要求1所述的一种基于对象存储的恢复历史数据的方法,其特征在于,步骤s1进一步包括:

3.如权利要求2所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤s101中,通过扫描源端和备端文件进行对比,将备端缺失的文件以及源端已经修改过的文件加入所述待上传文件列表。

4.如权利要求3所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤s101中,通过扫描源端和备端文件进行对比,对于源端被删除掉的文件,将该文件于所述文件同步记录中的备份记录进行逻辑删除。

5.如权利要求4所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤s101中,对于源端已经删除的文件,根据备端路径和/或源端路径以及文件名更新所述文件同步记录中该文件对应的备份记录,并将其latestflag改为0,以及deletetime改为本次执行的时间。

6.如权利要求5所述的一种基于对象存储的恢复历史数据的方法,其特征在于:于步骤s102中,对于第一次同步的文件,于所述文件同步记录添加该文件对应的备...

【专利技术属性】
技术研发人员:杨杰张翔陈勇铨胡军擎
申请(专利权)人:上海英方软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1