System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据保护方法、装置及服务器制造方法及图纸_技高网

一种数据保护方法、装置及服务器制造方法及图纸

技术编号:41269036 阅读:3 留言:0更新日期:2024-05-11 09:24
本申请提供了一种数据保护方法、装置及服务器,可应用于分布式存储技术领域,该方法包括:首先获取待提高存储安全性的存储对象。然后调整存储对象的纠删码EC模式参数至目标EC模式参数。其中,EC模式参数包括数据分片与校验分片的数量比值,每个存储节点用于存储一个数据分片或一个校验分片。最后向相应数量的存储节点发送存储命令,以使相应数量的存储节点按照目标EC模式参数存储所述存储对象。如此,将重要数据与普通数据进行区分,并为重要数据调整EC模式参数,从而提高了数据保护的灵活性和可靠性。

【技术实现步骤摘要】

本申请涉及分布式存储,特别是涉及一种数据保护方法、装置及服务器


技术介绍

1、分布式存储是一种将数据分散存储到多个存储服务器上,并构成一个虚拟的存储设备的技术。它可以提高性能、安全和可扩展性。分布式存储系统可以扩展到数百甚至数千个这样的集群大小,并且系统的整体性能可以线性增长。对于存储用户而言,存储系统的可靠性以及成本等方面都是用户非常关注的问题。

2、纠删码(erasure coding,ec)是一种数据保护方法,它将数据分割成片段,把冗余数据块扩展、编码,并将其存储在不同的位置,比如磁盘、存储节点或者其它地理位置。

3、数据可以称得上是企业生命力的核心,是企业赖以生存的根本。现有分布式存储系统大多是通过多副本和纠删码ec的数据保护模式的设置对全部数据进行统一保护,但实际业务中用户的部分数据相对重要,如影响用户上层业务系统正常运行或需要实时访问的数据等。当系统中的存储节点发生故障后,ec数据保护模式又不能自适应修改,存储的数据可能会因此丢失,从而导致数据保护的灵活性和可靠性较低的问题。

4、因此,如何在保证数据保护可靠性的同时提高数据保护的灵活性,是本领域技术人员急需解决的问题。


技术实现思路

1、基于上述问题,本申请实施例提供了一种数据保护方法、装置及服务器,将重要数据与普通数据进行区分,并为重要数据自适应调整数据保护模式,从而解决了现有技术数据保护的灵活性和可靠性较低的问题。

2、第一方面,本申请实施例提供了一种数据保护方法,包括:获取待提高存储安全性的存储对象;调整存储对象的纠删码ec模式参数至目标ec模式参数,ec模式参数包括数据分片与校验分片的数量比值;其中,每个存储节点用于存储一个数据分片或一个校验分片;向相应数量的存储节点发送存储命令,以使相应数量的存储节点按照目标ec模式参数存储所述存储对象。如此,本申请实施例提供的分布式存储系统数据保护模式的设置装置具有识别数据重要性的能力,然后为重要数据调整ec模式参数。改变了现有技术只能为所有数据设置统一的数据保护模式的问题,从而提高了数据保护的灵活性。

3、在一种可能的实现方式中,调整存储对象的纠删码ec模式参数至目标ec模式参数,包括:获取被选中的ec模式修改方式;修改方式包括:手动设置数据保护模式以及自适应数据保护模式;基于被选中的ec模式修改方式,确定目标ec模式参数。如此,本申请实施例引入手动设置数据保护模式以及自适应数据保护模式两种ec模式的修改方式,从而使目标服务器能够适应用户的不同需求,提高数据保护的灵活性和准确性。

4、在一种可能的实现方式中,调整存储对象的纠删码ec模式参数至目标ec模式参数之前,还包括:获取分布式存储系统中的存储节点和ec模式,并得到分布式存储系统对应的存储故障场景以及存储对象对应的当前ec模式参数;存储故障场景包括:分布式存储系统中存储节点的总数量和每一个存储节点的状态信息;状态信息指示存储节点的状态正常或异常;调整存储对象的纠删码ec模式参数至目标ec模式参数,包括:基于存储故障场景和当前ec模式参数,确定存储故障场景对应的目标ec模式参数;将存储对象的纠删码ec模式参数调整至目标ec模式参数。如此,本申请实施例引入一种监控方式,对分布式存储系统中的存储节点和ec模式进行实时获取,并确定当前ec模式参数和存储故障场景,然后基于此调整存储对象的ec模式参数,从而提高了数据保护的及时性和准确性。

5、在一种可能的实现方式中,基于存储故障场景和当前ec模式参数,确定存储故障场景对应的目标ec模式参数,包括:基于存储故障场景和当前ec模式参数确定分布式存储系统中当前允许故障的存储节点数p;基于当前ec模式参数确定与存储对象对应的校验分片个数n;基于p和n,确定存储故障场景对应的目标ec模式参数。如此,本申请实施例引入了一种确定目标ec模式参数的方式,基于存储故障场景和当前ec模式参数,先计算p,再计算n,从而提高了确定目标ec模式参数的准确性。

6、在一种可能的实现方式中,基于存储故障场景和当前ec模式参数确定分布式存储系统中当前允许故障的存储节点数p,包括:基于存储故障场景确定分布式存储系统中状态信息为正常的存储节点数;基于当前ec模式参数确定存储对象对应的当前数据分片个数m;基于状态信息为正常的存储节点数与m的差值,确定分布式存储系统中当前允许故障的存储节点数p。如此,本申请实施例引入了当前允许故障的存储节点数p的概念,明确了p值与当前ec模式参数间的关系,从而提高了数据处理的效率。

7、在一种可能的实施方式中,基于p和n,确定存储故障场景对应的目标ec模式参数,包括:当0<p<n时,将当前ec模式参数继续作为存储故障场景对应的目标ec模式参数。本申请实施例明确了0<p<n时所对应的目标数据保护模式的确定方式,从而提高了目标服务器的数据处理效率,也提高了数据保护的可靠性。

8、在一种可能的实施方式中,基于p和n,确定存储故障场景对应的目标ec模式参数,包括:当p=0时,配置数据分片的数量为m1;其中m1小于m;将m1和n作为存储故障场景对应的目标ec模式参数;m1为小于m的正整数。本申请实施例明确了p=0时所对应的目标数据保护模式的确定方式,从而提高了目标服务器的数据处理效率,也提高了数据保护的可靠性。

9、在一种可能的实施方式中,基于p和n,确定存储故障场景对应的目标ec模式参数,包括:当p≥n时,保持当前ec模式参数继续作为存储故障场景对应的目标ec模式参数。本申请实施例明确了p≥n时所对应的目标数据保护模式的确定方式,从而提高了目标服务器的数据处理效率,也提高了数据保护的可靠性。

10、在一种可能的实施方式中,调整存储对象的纠删码ec模式参数至目标ec模式参数,包括:获取用户输入的针对当前ec模式参数的修改指令;基于修改指令,确定存储对象的目标ec模式参数;利用目标ec模式参数替换当前ec模式参数。如此,本申请实施例又引入了一种手动设置数据保护模式下目标服务器进行ec模式参数调整的方式,从而提高了数据保护的灵活性。

11、在一种可能的实施方式中,获取待提高存储安全性的存储对象,包括:获取目标文件夹;从目标文件夹中获取待提高存储安全性的存储对象。如此,本申请实施例引入了一种获取存储对象的方式,通过先确认目标文件夹,再确定存储对象的方式,从而提高了存储对象获取的有效性。

12、在一种可能的实施方式中,数据保护方法还包括:当目标文件夹中存在存储对象时,复制存储对象,得到待写入对象;将全部待写入对象基于目标ec模式参数重新写入存储节点中,并删除存储对象。如此,本申请实施例引入了一种基于目标ec模式参数重新写入数据的方式,通过先复制、再写入,最后删除的方式,提高了数据写入的稳定性,同时提高了数据保护有效性。

13、第二方面,本申请实施例提供了一种数据保护装置,包括:

14、获取模块,用于获取待提高存储安全性的存储对象;

<本文档来自技高网...

【技术保护点】

1.一种数据保护方法,其特征在于,用于分布式存储系统中的目标服务器,所述分布式存储系统还包括多个存储节点;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述调整所述存储对象的纠删码EC模式参数至目标EC模式参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述调整所述存储对象的纠删码EC模式参数至目标EC模式参数之前,还包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述存储故障场景和所述当前EC模式参数,确定所述存储故障场景对应的目标EC模式参数,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述存储故障场景和所述当前EC模式参数确定所述分布式存储系统中当前允许故障的存储节点数P,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述P和所述N,确定所述存储故障场景对应的目标EC模式参数,包括:

7.根据权利要求4所述的方法,其特征在于,所述基于所述P和所述N,确定所述存储故障场景对应的目标EC模式参数,包括:

8.根据权利要求3所述的方法,其特征在于,所述调整所述存储对象的纠删码EC模式参数至目标EC模式参数,包括:

9.根据权利要求8所述的方法,其特征在于,所述获取待提高存储安全性的存储对象,包括:

10.一种服务器,其特征在于,包括:

...

【技术特征摘要】

1.一种数据保护方法,其特征在于,用于分布式存储系统中的目标服务器,所述分布式存储系统还包括多个存储节点;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述调整所述存储对象的纠删码ec模式参数至目标ec模式参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述调整所述存储对象的纠删码ec模式参数至目标ec模式参数之前,还包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述存储故障场景和所述当前ec模式参数,确定所述存储故障场景对应的目标ec模式参数,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述存储故障场景和所...

【专利技术属性】
技术研发人员:沈亚兰
申请(专利权)人:超聚变数字技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1