System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 重构数据的定位方法、装置、设备及计算机可读存储介质制造方法及图纸_技高网

重构数据的定位方法、装置、设备及计算机可读存储介质制造方法及图纸

技术编号:40485863 阅读:9 留言:0更新日期:2024-02-26 19:18
一种重构数据的定位方法、装置、设备及计算机可读存储介质。该方法包括:当待存储数据对象对应的任一存储介质离线时,确定所述待存储数据对象为降级数据对象,确定离线的存储介质为目标存储介质;将所述降级数据对象存储至未离线的存储介质中以及以链表形式存储至内存中;当所述目标存储介质重新上线且所述链表的标记为有效时,确定所述内存存储的降级数据对象中与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象,不需要扫描当前非重新上线的副本上的所有数据对象,通过本发明专利技术,解决了相关技术中当非重新上线的副本数量巨大时,扫描数据对象并且计算重构信息的耗时就会较长,导致无法快速确定需要重构的数据对象的问题。

【技术实现步骤摘要】

本申请涉及分布式存储领域,具体涉及一种重构数据的定位方法、装置、设备及计算机可读存储介质


技术介绍

1、目前,分布式存储系统,通常采用副本的方式来保证用户数据的可靠性和存储系统的可用性。在实际生产中,存储介质不可避免的会因为在线升级、磁盘拔插、网络闪断或者临时掉电等原因出现临时故障。因此,存储介质故障恢复后,如何快速定位需要重构的数据,保证各个副本间数据的一致性,是目前亟待解决的技术问题。

2、相关技术中,存储介质故障恢复并重新接入系统后,通过扫描当前非重新上线的副本上的所有数据对象,无差别的计算每个数据对象是否映射到了该重新接入的存储介质中,从而确定该数据对象是否需要重构信息。但是,当非重新上线的副本数量巨大时,扫描数据对象并且计算重构信息的耗时就会较长,导致无法快速确定需要重构的数据对象。


技术实现思路

1、本申请提供一种重构数据的定位方法、装置、设备及计算机可读存储介质,可以解决现有技术中存在的无法快速确定需要重构的数据对象的技术问题。

2、第一方面,本申请实施例提供一种重构数据的定位方法,所述重构数据的定位方法包括:

3、当待存储数据对象对应的任一存储介质离线时,确定所述待存储数据对象为降级数据对象,确定离线的存储介质为目标存储介质;

4、将所述降级数据对象存储至未离线的存储介质中以及以链表形式存储至内存中;

5、当所述目标存储介质重新上线且所述链表的标记为有效时,确定所述内存存储的降级数据对象中与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象。

6、结合第一方面,在一种实施方式中,所述重构数据的定位方法包括:

7、在所述目标存储介质重新上线时,所述内存中存储的所述降级数据对象的数量小于预设数量,则确定所述链表的标记为有效。

8、结合第一方面,在一种实施方式中,所述重构数据的定位方法包括:

9、在所述目标存储介质重新上线时,确定未离线过的存储介质中是否存在目标降级数据对象,目标降级数据对象的存储时间在第二时刻后,第二时刻与第一时刻的时间差为预设时间差,第一时刻为所述内存中最先存储所述降级数据对象的时刻;

10、若不存在,则确定所述链表的标记为有效。

11、结合第一方面,在一种实施方式中,所述确定所述内存存储的降级数据对象中与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象的步骤,包括:

12、通过路由算法确定所述内存存储的降级数据对象中是否存在与所述目标存储介质之间有对应关系的降级数据对象;

13、若存在,则确定与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象。

14、结合第一方面,在一种实施方式中,所述重构数据的定位方法包括:

15、当数据重构完成后,清除所述内存中的降级数据对象。

16、第二方面,本申请实施例提供了一种重构数据的定位装置,所述重构数据的定位装置包括:

17、第一确定模块,用于当待存储数据对象对应的任一存储介质离线时,确定所述待存储数据对象为降级数据对象,确定离线的存储介质为目标存储介质;

18、存储模块,用于将所述降级数据对象存储至未离线的存储介质中以及以链表形式存储至内存中;

19、第二确定模块,用于当所述目标存储介质重新上线且所述链表的标记为有效时,确定所述内存存储的降级数据对象中与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象。

20、结合第二方面,在一种实施方式中,所述第二确定模块,还用于:

21、在所述目标存储介质重新上线时,所述内存中存储的所述降级数据对象的数量小于预设数量,则确定所述链表的标记为有效。

22、结合第二方面,在一种实施方式中,所述第二确定模块,还用于:

23、在所述目标存储介质重新上线时,确定未离线过的存储介质中是否存在目标降级数据对象,目标降级数据对象的存储时间在第二时刻后,第二时刻与第一时刻的时间差为预设时间差,第一时刻为所述内存中最先存储所述降级数据对象的时刻;

24、若不存在,则确定所述链表的标记为有效。

25、第三方面,本申请实施例提供了一种重构数据的定位设备,所述重构数据的定位设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的重构数据的定位程序,其中所述重构数据的定位程序被所述处理器执行时,实现如上所述的重构数据的定位方法的步骤。

26、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有重构数据的定位程序,其中所述重构数据的定位程序被处理器执行时,实现如上所述的重构数据的定位方法的步骤。

27、本申请实施例提供的技术方案带来的有益效果包括:

28、通过当待存储数据对象对应的任一存储介质离线时,确定所述待存储数据对象为降级数据对象,确定离线的存储介质为目标存储介质;将所述降级数据对象存储至未离线的存储介质中以及以链表形式存储至内存中;当所述目标存储介质重新上线且所述链表的标记为有效时,确定所述内存存储的降级数据对象中与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象,不需要扫描当前非重新上线的副本上的所有数据对象,解决了相关技术中当非重新上线的副本数量巨大时,扫描数据对象并且计算重构信息的耗时就会较长,导致无法快速确定需要重构的数据对象的问题。

本文档来自技高网...

【技术保护点】

1.一种重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

2.如权利要求1所述的重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

3.如权利要求1所述的重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

4.如权利要求1所述的重构数据的定位方法,其特征在于,所述确定所述内存存储的降级数据对象中与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象的步骤,包括:

5.如权利要求1所述的重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

6.一种重构数据的定位装置,其特征在于,所述重构数据的定位装置包括:

7.如权利要求1所述的重构数据的定位方法,其特征在于,所述第二确定模块,还用于:

8.如权利要求1所述的重构数据的定位方法,其特征在于,所述第二确定模块,还用于:

9.一种重构数据的定位设备,其特征在于,所述重构数据的定位设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的重构数据的定位程序,其中所述重构数据的定位程序被所述处理器执行时,实现如权利要求1至5中任一项所述的重构数据的定位方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有重构数据的定位程序,其中所述重构数据的定位程序被处理器执行时,实现如权利要求1至5中任一项所述的重构数据的定位方法的步骤。

...

【技术特征摘要】

1.一种重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

2.如权利要求1所述的重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

3.如权利要求1所述的重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

4.如权利要求1所述的重构数据的定位方法,其特征在于,所述确定所述内存存储的降级数据对象中与所述目标存储介质之间有对应关系的降级数据对象为需要重构的数据对象的步骤,包括:

5.如权利要求1所述的重构数据的定位方法,其特征在于,所述重构数据的定位方法包括:

6.一种重构数据的定位装置,其特征在于,所述重构数据的定位装置包括:

7.如...

【专利技术属性】
技术研发人员:王昭荣
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1