一种分布式存储系统中文件副本数量的确定方法及装置制造方法及图纸

本发明专利技术公开了一种分布式存储系统中文件副本数量的确定方法及装置，该方法包括：存储预先建立的各文件的等级分类以及各等级分类对应的可靠性阈值；当获取到副本存放请求时，根据副本存储请求获取对应的文件的目标等级分类以确定目标等级分类对应的目标可靠性阈值；根据预先建立的可靠性计算规则计算出达到目标可靠性阈值所需的数据节点的数量。本方法是通过文件的等级分类和可靠性阈值两个参数共同决定的，并不是文件的副本数量进行统一的规定。因此，该方法不仅能够保证重要的文件的可靠性较高，且普通的文件的副本不会占用太大的存储空间。此外，本发明专利技术所提供的分布式存储系统中文件副本数量的确定装置同样具有上述有效效果。

【技术实现步骤摘要】
一种分布式存储系统中文件副本数量的确定方法及装置
本专利技术涉及分布式存储
，特别是涉及一种分布式存储系统中文件副本数量的确定方法及装置。
技术介绍
分布式文件系统中，通常对于每个文件来说，都在系统内的其它数据节点存储有其对应的副本。以副本的形式存放，主要有两个优势：首先是提高了系统的可靠性，当某一个数据节点因为不可控因素而失效时，这个数据节点的文件在其他数据节点上都有备份，从而保证系统中的数据从整体来看仍然是可用的；同时也提高了数据读取的响应速度，即在不同的数据节点存放了同一个文件的副本，在读取时可以选择当前访问速度最快的数据节点来获取数据，从而提高系统整体的响应速度。现有技术中通常是按照经验值对各文件的副本数量进行统一的规定。很容易理解的是，从提高系统可靠性的方面来看，副本的数量是越多越好，但是副本数量的增多，也会导致存储空间的浪费及增加数据一致性的维护代价。因此，副本数量较大会带来存储空间上的压力，另外，如果副本数量较小则容易降低系统的可靠性。因此，如何合理设置系统内文件的副本数量，既能满足可靠性的要求，又不会对存储空间造成较大不利影响是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种分布式存储系统中文件副本数量的确定方法及装置，用于合理设置系统内文件的副本数量，既能满足可靠性的要求，又不会对存储空间造成较大不利影响。为解决上述技术问题，本专利技术提供一种分布式存储系统中文件副本数量的确定方法，包括：存储预先建立的各文件的等级分类以及各所述等级分类对应的可靠性阈值；当获取到副本存放请求时，根据所述副本存储请求获取对应的文件的目标等级分类以确定所述目标等级分类对应的目标可靠性阈值；根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量；其中，所述可靠性计算规则的参数包括数据节点的平均无故障时间、数据节点的数量和可靠性时间，所述文件的副本数量为所需的数据节点的数量。优选地，所述根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量具体包括：选取系统中其余的任意一个数据节点存储所述文件的副本；依据所述可靠性计算规则计算所述文件的当前可靠性；判断当前可靠性是否大于所述目标可靠性阈值；如果否，则返回所述选取系统中其余的任意一个数据节点存储所述文件的副本的步骤；如果是，则所需的数据节点的数量为当前系统中存储所述副本的数据节点的数量。优选地，所述根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量具体包括：选取系统中其余的数据节点中可靠性最高的节点存储所述文件的副本；依据所述可靠性计算规则计算所述文件的当前可靠性；判断当前可靠性是否大于所述目标可靠性阈值；如果否，则返回所述选取系统中其余的数据节点中可靠性最高的节点存储所述文件的副本的步骤；如果是，则所需的数据节点的数量为当前系统中存储所述副本的数据节点的数量。优选地，所述根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量具体包括：选取系统中其余的数据节点中负载率最低的节点存储所述文件的副本；依据所述可靠性计算规则计算所述文件的当前可靠性；判断当前可靠性是否大于所述目标可靠性阈值；如果否，则返回所述选取系统中其余的数据节点中负载率最低的节点存储所述文件的副本的步骤；如果是，则所需的数据节点的数量为当前系统中存储所述副本的数据节点的数量。优选地，所述可靠性计算规则具体为：其中，当i＝0时，θ0为所述文件存储在数据节点n0上的平均无故障时间，当i＝1-k时，θ1-θk表示所述文件的副本分别存储在数据节点n1-nk上的平均无故障时间，t表示可靠性时间。优选地，所述等级分类包括三个等级，按照等级的级别对应的可靠性阈值分别为99.99％、99％、95％。优选地，还包括：记录存放所述文件的数据节点以及存放所述文件的副本的数据节点。优选地，还包括：当任意一个数据节点发生故障且发生故障的数据节点在记录的数据节点内时，则更新记录。为解决上述技术问题，本专利技术还提供一种分布式存储系统中文件副本数量的确定装置，包括：存储单元，用于存储预先建立的各文件的等级分类以及各所述等级分类对应的可靠性阈值；确定单元，用于当获取到副本存放请求时，根据所述副本存储请求获取对应的文件的目标等级分类以确定所述目标等级分类对应的目标可靠性阈值；计算单元，用于根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量；其中，所述可靠性计算规则的参数包括数据节点的平均无故障时间、数据节点的数量和可靠性时间，所述文件的副本数量为所需的数据节点的数量。本专利技术所提供的分布式存储系统中文件副本数量的确定方法，包括：存储预先建立的各文件的等级分类以及各所述等级分类对应的可靠性阈值；当获取到副本存放请求时，根据所述副本存储请求获取对应的文件的目标等级分类以确定所述目标等级分类对应的目标可靠性阈值；根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量；其中，所述可靠性计算规则的参数包括数据节点的平均无故障时间、数据节点的数量和可靠性时间，所述文件的副本数量为所需的数据节点的数量。本方法是通过文件的等级分类和可靠性阈值两个参数共同决定的，并不是文件的副本数量进行统一的规定。因此，该方法不仅能够保证重要的文件的可靠性较高，且普通的文件的副本不会占用太大的存储空间，既能满足可靠性的要求，又不会对存储空间造成较大不利影响。此外，本专利技术所提供的分布式存储系统中文件副本数量的确定装置同样具有上述有效效果。附图说明为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种分布式存储系统中文件副本数量的确定方法的流程图；图2为本专利技术实施例提供的一种步骤S12的流程图；图3为本专利技术实施例提供的另一种步骤S12的流程图；图4为本专利技术实施例提供的另一种步骤S12的流程图；图5为本专利技术实施例提供的另一种分布式存储系统中文件副本数量的确定方法的流程图；图6为本专利技术实施例提供的一种分布式存储系统中文件副本数量的确定装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本专利技术保护范围。本专利技术的核心是提供一种分布式存储系统中文件副本数量的确定方法及装置，用于合理设置系统内文件的副本数量，既能满足可靠性的要求，又不会对存储空间造成较大不利影响。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。图1为本专利技术实施例提供的一种分布式存储系统中文件副本数量的确定方法的流程图。如图1所示，分布式存储系统中文件副本数量的确定方法包括：S10：存储预先建立的各文件的等级分类以及各等级分类对应的可靠性阈值。S11：当获取到副本存放请求时，根据副本存储请求获取对应的文件本文档来自技高网...

【技术保护点】
一种分布式存储系统中文件副本数量的确定方法，其特征在于，包括：存储预先建立的各文件的等级分类以及各所述等级分类对应的可靠性阈值；当获取到副本存放请求时，根据所述副本存储请求获取对应的文件的目标等级分类以确定所述目标等级分类对应的目标可靠性阈值；根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量；其中，所述可靠性计算规则的参数包括数据节点的平均无故障时间、数据节点的数量和可靠性时间，所述文件的副本数量为所需的数据节点的数量。

【技术特征摘要】
1.一种分布式存储系统中文件副本数量的确定方法，其特征在于，包括：存储预先建立的各文件的等级分类以及各所述等级分类对应的可靠性阈值；当获取到副本存放请求时，根据所述副本存储请求获取对应的文件的目标等级分类以确定所述目标等级分类对应的目标可靠性阈值；根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量；其中，所述可靠性计算规则的参数包括数据节点的平均无故障时间、数据节点的数量和可靠性时间，所述文件的副本数量为所需的数据节点的数量。2.根据权利要求1所述的分布式存储系统中文件副本数量的确定方法，其特征在于，所述根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量具体包括：选取系统中其余的任意一个数据节点存储所述文件的副本；依据所述可靠性计算规则计算所述文件的当前可靠性；判断当前可靠性是否大于所述目标可靠性阈值；如果否，则返回所述选取系统中其余的任意一个数据节点存储所述文件的副本的步骤；如果是，则所需的数据节点的数量为当前系统中存储所述副本的数据节点的数量。3.根据权利要求1所述的分布式存储系统中文件副本数量的确定方法，其特征在于，所述根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量具体包括：选取系统中其余的数据节点中可靠性最高的节点存储所述文件的副本；依据所述可靠性计算规则计算所述文件的当前可靠性；判断当前可靠性是否大于所述目标可靠性阈值；如果否，则返回所述选取系统中其余的数据节点中可靠性最高的节点存储所述文件的副本的步骤；如果是，则所需的数据节点的数量为当前系统中存储所述副本的数据节点的数量。4.根据权利要求1所述的分布式存储系统中文件副本数量的确定方法，其特征在于，所述根据预先建立的可靠性计算规则计算出达到所述目标可靠性阈值所需的数据节点的数量具体包括：选取系统中其余的数据节点中负载率最低的节点...

【专利技术属性】
技术研发人员：张小博，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41