System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于云存储的自适应容错方法、装置、设备以及存储介质制造方法及图纸_技高网

基于云存储的自适应容错方法、装置、设备以及存储介质制造方法及图纸

技术编号:41142081 阅读:5 留言:0更新日期:2024-04-30 18:11
本申请公开了一种基于云存储的自适应容错方法、装置、设备以及存储介质,该基于云存储的自适应容错方法包括:响应于接收到的云存储系统的启动指令,且检测到预设的初始容错策略为启动状态,则获取初始容错策略对应的容错节点所需数量;若云存储系统的当前可用节点数量大于容错节点所需数量,则根据当前可用节点数量更新初始容错策略,得到目标容错策略;将待存储数据按照目标容错策略分别存储至目标容错策略对应的目标容错节点。上述方案,能够提高云存储系统的可靠性。

【技术实现步骤摘要】

本申请涉及云存储,特别是涉及一种基于云存储的自适应容错方法、装置、设备以及存储介质


技术介绍

1、随着数据存储需求的急剧增长,云存储技术能够有效整合存储容量,方便用户管理及维护,云存储方式已成为一种主流的数据存储方式。

2、然而,大规模数据存储的安全问题需要引起广大用户的关注。若机房或服务器出现故障均可能导致大面积数据的丢失。

3、因此,在云存储扩容场景下,构建一套自适应的数据冗余容错机制,是维护云存储系统高可用和高可靠性的必要保障。


技术实现思路

1、本申请至少提供一种基于云存储的自适应容错方法、装置、设备以及计算机可读存储介质。

2、本申请第一方面提供了一种基于云存储的自适应容错方法,包括:响应于接收到的云存储系统的启动指令,且检测到预设的初始容错策略为启动状态,则获取所述初始容错策略对应的容错节点所需数量;若所述云存储系统的当前可用节点数量大于或等于所述容错节点所需数量,则根据所述当前可用节点数量更新所述初始容错策略,得到目标容错策略;将待存储数据按照所述目标容错策略分别存储至所述目标容错策略对应的目标容错节点。

3、在一实施例中,所述初始容错策略包括在进行数据存储过程中,将获取的数据划分为若干数据块,基于所述数据块计算若干校验块,将各数据块和各校验块分别进行存储;所述获取所述初始容错策略对应的容错节点所需数量的步骤,包括:基于所述初始容错策略中设定的数据块数量和校验块数量确定所述获取的数据对应的容错节点所需数量。

>4、在一实施例中,所述目标容错策略以键值对形式将所述待存储数据的数据块数量和校验块数量作为键数据进行存储,以及将所述待存储数据对应的可容错节点数量作为所述键数据对应的值数据进行存储;所述将所述待存储数据的数据块数量和校验块数量作为键数据进行存储的步骤,包括:分别对所述数据块数量和所述校验块数量进行移位操作处理,得到所述键数据。

5、在一实施例中,所述容错节点所需数量包括可容错节点数量,在所述获取所述初始容错策略对应的容错节点所需数量的步骤之后,所述方法还包括:将所述云存储系统的当前可用节点数量和所述容错节点所需数量进行数量比对;若所述云存储系统的当前可用节点数量小于所述容错节点所需数量进行数量,则迭代减少所述可容错节点数量,直至所述云存储系统的当前可用节点数量等于所述容错节点所需数量;根据所述当前可用节点数量更新所述初始容错策略,得到所述目标容错策略。

6、在一实施例中,在所述根据所述当前可用节点数量更新所述初始容错策略,得到目标容错策略的步骤之后,所述方法还包括:检测预设的更新周期内,是否触发预设的更新事件,所述更新事件包括:检测到所述云存储系统中发生节点增加或节点删除,或检测到数据存储过程中的目标节点为离线状态;若触发所述更新事件,则对当前容错策略进行更新处理。

7、在一实施例中,所述将待存储数据按照所述目标容错策略分别存储至所述目标容错节点的步骤,包括:对所述待存储数据按预设的待存储数据粒度进行数据切分处理,得到多个目标子数据;将每个目标子数据按照所述目标容错策略分别存储至所述目标容错节点。

8、在一实施例中,所述方法还包括:获取所述云存储系统中的节点总数量;若所述节点总数量大于预设的数量阈值,则将所述云存储系统中的节点划分为若干存储池;基于各存储池的负载状态在所述各存储池中选取目标存储池进行数据存储。

9、本申请第二方面提供了一种基于云存储的自适应容错装置,包括:获取模块,用于响应于接收到的云存储系统的启动指令,且检测到预设的初始容错策略为启动状态,则获取所述初始容错策略对应的容错节点所需数量;更新模块,用于若所述云存储系统的当前可用节点数量大于或等于所述容错节点所需数量,则根据所述当前可用节点数量更新所述初始容错策略,得到目标容错策略;存储模块,用于将待存储数据按照所述目标容错策略分别存储至所述目标容错策略对应的目标容错节点。

10、本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述基于云存储的自适应容错方法。

11、本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述基于云存储的自适应容错方法。

12、上述方案,通过比对云存储系统的当前可用节点数量和初始容错策略对应的容错节点所需数量之间的数量关系,自适应地调整初始容错策略,得到适合当前系统规模的目标容错策略;将待存储数据按照目标容错策略存储至对应的节点,由此能够尽量避免在云存储系统故障时造成数据丢失的问题,实现云存储系统的自适应容错。

13、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。

本文档来自技高网...

【技术保护点】

1.一种基于云存储的自适应容错方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述初始容错策略包括在进行数据存储过程中,将获取的数据划分为若干数据块,基于所述数据块计算若干校验块,将各数据块和各校验块分别进行存储;

3.根据权利要求2所述的方法,其特征在于,所述目标容错策略以键值对形式将所述待存储数据的数据块数量和校验块数量作为键数据进行存储,以及将所述待存储数据对应的可容错节点数量作为所述键数据对应的值数据进行存储;

4.根据权利要求1所述的方法,其特征在于,所述容错节点所需数量包括可容错节点数量,在所述获取所述初始容错策略对应的容错节点所需数量的步骤之后,所述方法还包括:

5.根据权利要求1或4所述的方法,其特征在于,在所述根据所述当前可用节点数量更新所述初始容错策略,得到目标容错策略的步骤之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述将待存储数据按照所述目标容错策略分别存储至所述目标容错节点的步骤,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种基于云存储的自适应容错装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至7任一项所述的方法。

...

【技术特征摘要】

1.一种基于云存储的自适应容错方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述初始容错策略包括在进行数据存储过程中,将获取的数据划分为若干数据块,基于所述数据块计算若干校验块,将各数据块和各校验块分别进行存储;

3.根据权利要求2所述的方法,其特征在于,所述目标容错策略以键值对形式将所述待存储数据的数据块数量和校验块数量作为键数据进行存储,以及将所述待存储数据对应的可容错节点数量作为所述键数据对应的值数据进行存储;

4.根据权利要求1所述的方法,其特征在于,所述容错节点所需数量包括可容错节点数量,在所述获取所述初始容错策略对应的容错节点所需数量的步骤之后,所述方法还包括:

5.根据权利要求1或...

【专利技术属性】
技术研发人员:江文龙陈鹏徐涛罗心周明伟
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1