分布式存储水位调节方法技术

本发明专利技术涉及分布式存储技术领域，公开了一种分布式存储水位调节方法

【技术实现步骤摘要】
分布式存储水位调节方法、装置、计算机设备及介质


[0001]本专利技术涉及分布式存储
，具体涉及一种分布式存储水位调节方法
、
装置
、
计算机设备及介质
。

技术介绍

[0002]分布式存储作为一种数据存储技术，能够将数据分散地存储在集群中的各个设备节点上
。
各个节点包含多个磁盘，各个磁盘的存储性能共同决定了整个集群的存储性能
。
通常进行水位测试来确定集群以及集群中各个磁盘的存储性能，其中水位指的是存储设备中已使用的存储空间容量占总存储空间容量的百分比
。
在进行水位测试时，会在各个磁盘为空的情况下写入一定数据量的数据以调节各个磁盘的水位，当各个磁盘的水位达到理想的范围时，再对集群以及集群中各个磁盘进行性能测试，其中向空盘中写入数据的过程被称作数据预埋
。
一般情况下，操作人员需要反复调整预埋数据量并进行数据预埋才能将各个磁盘的水位调节到理想的范围内，每次预埋数据都要花费几十分钟甚至几个小时
。
手动进行这样的操作耗时耗力，对操作人员来说是很大的负担
。

技术实现思路

[0003]有鉴于此，本专利技术提供了一种分布式存储水位调节方法
、
装置
、
计算机设备及介质，以解决操作人员在水位测试过程中，需要费时费力地手动进行预埋数据量调整和数据预埋等操作的问题
。
[0004]第一方面，本专利技术提供了一种分布式存储水位调节方法，本方法应用于目标集群中的节点，本方法包括：
[0005]根据预设集群信息和预设集群水位得到目标集群的预埋数据量；
[0006]按照预埋数据量对目标集群进行数据预埋；
[0007]获取目标集群中各个磁盘的水位，判断各个磁盘的水位中是否存在预设集群水位偏差范围之外的水位；
[0008]如果各个磁盘的水位中至少一个磁盘的水位在偏差范围之外，根据偏差范围之外的水位与预设集群水位的偏差，调整预埋数据量或者调整偏差范围之外的水位对应的磁盘承载预埋数据的权重，根据预设集群信息搭建新的目标集群，以及对新的目标集群进行数据预埋
。
[0009]通过本专利技术提供的分布式存储水位调节方法，避免了操作人员在水位测试过程中为了使集群中的各个磁盘都达到理想范围而进行费时费力的手动操作，提升了水位测试的整体效率，减轻了操作人员的负担
。
[0010]在一种可选的实施方式中，本专利技术提供的分布式存储水位调节方法还包括：
[0011]如果各个磁盘的水位均在偏差范围之内，结束分布式存储水位调节方法
。
[0012]通过本专利技术，能够在各个磁盘的水位均在偏差范围之内的情况下，直接结束分布式存储水位调节方法
。
避免了只对各个磁盘的水位中至少一个磁盘的水位在偏差范围之外
的情况进行相应的处理，而忽视了对各个磁盘的水位均在偏差范围之内的情况行相应的处理
。
[0013]在一种可选的实施方式中，调整预埋数据量或者调整偏差范围之外的水位对应的磁盘承载预埋数据的权重包括：
[0014]如果各个磁盘中至少一个磁盘的水位在偏差范围之外并且偏差范围之外的水位均高于预设集群水位，将偏差范围之外的水位按照高低排序，得到偏差范围之外的水位中最高的水位，根据最高的水位与偏差范围的差值减少预埋数据量；
[0015]如果各个磁盘中至少一个磁盘的水位在偏差范围之外并且偏差范围之外的水位均低于预设集群水位，将偏差范围之外的水位按照高低排序，得到偏差范围之外的水位中最低的水位，按照最低的水位与偏差范围的差值增加预埋数据量；
[0016]如果各个磁盘中至少两个磁盘的水位在偏差范围之外并且偏差范围之外的水位既包含高于预设集群水位的水位又包含低于预设集群水位的水位，将偏差范围之外的水位按照高低排序，得到偏差范围之外的水位中最高的水位与最低的水位，将最高的水位对应磁盘的承载预埋数据的权重降低，将最低的水位对应磁盘的承载预埋数据的权重提高
。
[0017]通过判断各个磁盘的水位中是否存在预设集群水位的偏差范围之外的水位，根据可能出现的判断结果，自动调整预埋数据量或者调整偏差范围之外的水位对应的磁盘承载预埋数据的权重，避免了人工操作带来的误差，提升了水位测试的整体效率
。
[0018]在一种可选的实施方式中，根据预设集群信息和预设集群水位得到目标集群的预埋数据量之前，包括：
[0019]根据预设集群信息搭建目标集群
。
[0020]在进行水位测试的过程中，需要在目标集群的各个磁盘为空的情况下进行数据预埋
。
已创建的目标集群中部分磁盘可能并不是空盘，在这样的目标集群中进行水位测试，会降低整体水位测试的准确性
。
根据预设集群信息搭建全新的目标集群，全新的目标集群中的各个磁盘都是空盘，保证了整体水位测试的准确性
。
[0021]在一种可选的实施方式中，预设集群信息包括：
[0022]目标集群中磁盘的个数，目标集群中各个磁盘的存储空间容量和目标集群的实际存储空间容量占比
。
[0023]预设集群信息中包括的目标集群中磁盘的个数
、
目标集群中各个磁盘的存储空间容量和目标集群的实际存储空间容量占比是计算目标集群的预埋数据量所必需的信息，这些信息的存在为计算目标集群的预埋数据量提供了依据
。
[0024]在一种可选的实施方式中，根据预设集群信息和预设集群水位得到目标集群的预埋数据量，包括：
[0025]根据磁盘的个数和各个磁盘的存储空间容量得到目标集群的存储空间容量；
[0026]根据目标集群的存储空间容量和实际存储空间容量占比得到目标集群的实际存储空间容量；
[0027]根据目标集群的实际存储空间容量和预设集群水位得到预埋数据量
。
[0028]通过预设集群水位和预设集群信息中包括的目标集群中磁盘的个数
、
目标集群中各个磁盘的存储空间容量和目标集群的实际存储空间容量占比，能够较为准确的计算出目标集群的预埋数据量，保证了整体水位测试的准确性
。
[0029]在一种可选的实施方式中，根据预设集群信息搭建新的目标集群之前还包括：
[0030]清空目标集群中的数据；
[0031]删除目标集群
。
[0032]对目标集群预埋的数据会占用目标集群大量的存储空间，在根据预设集群信息搭建新的目标集群之前，清空旧的目标集群中的数据并删除旧的目标集群，既能为搭建新的目标集群腾出了存储空间，也避免了对后续在新的目标集群上进行数据预埋产生影响
。
[0033]在一种可选的实施方式中，本专利技术提供的分布式存储水位调节方法还包括：
[0034]按照预设集群水位对目标集群进行性能测试，得到性能测试的结果数据；
[0035]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式存储水位调节方法，其特征在于，应用于目标集群中的节点，所述方法包括：根据预设集群信息和预设集群水位得到所述目标集群的预埋数据量；按照所述预埋数据量对所述目标集群进行数据预埋；获取所述目标集群中各个磁盘的水位，判断所述各个磁盘的水位中是否存在所述预设集群水位的偏差范围之外的水位；如果所述各个磁盘的水位中至少一个磁盘的水位在所述偏差范围之外，根据所述偏差范围之外的水位与所述预设集群水位的偏差，调整所述预埋数据量或者调整所述偏差范围之外的水位对应的磁盘承载所述预埋数据的权重，根据所述预设集群信息搭建新的目标集群，以及对所述新的目标集群进行数据预埋
。2.
根据权利要求1所述的分布式存储水位调节方法，其特征在于，所述方法还包括：如果所述各个磁盘的水位均在所述偏差范围之内，结束所述分布式存储水位调节方法
。3.
根据权利要求1或2所述的分布式存储水位调节方法，其特征在于，所述调整所述预埋数据量或者调整所述偏差范围之外的水位对应的磁盘承载所述预埋数据的权重包括：如果所述各个磁盘中至少一个磁盘的水位在所述偏差范围之外并且所述偏差范围之外的水位均高于所述预设集群水位，将所述偏差范围之外的水位按照高低排序，得到所述偏差范围之外的水位中最高的水位，根据所述最高的水位与所述偏差范围的差值减少所述预埋数据量；如果所述各个磁盘中至少一个磁盘的水位在所述偏差范围之外并且所述偏差范围之外的水位均低于所述预设集群水位，将所述偏差范围之外的水位按照高低排序，得到所述偏差范围之外的水位中最低的水位，按照所述最低的水位与所述偏差范围的差值增加所述预埋数据量；如果所述各个磁盘中至少两个磁盘的水位在所述偏差范围之外并且所述偏差范围之外的水位既包含高于所述预设集群水位的水位又包含低于所述预设集群水位的水位，将所述偏差范围之外的水位按照高低排序，得到所述偏差范围之外的水位中最高的水位与最低的水位，将所述最高的水位对应磁盘的承载所述预埋数据的权重降低，将所述最低的水位对应磁盘的承载所述预埋数据的权重提高
。4.
根据权利要求1或2所述的分布式存储水位调节方法，其特征在于，所述根据预设集群信息和预设集群水位得到所述目标集群的预埋数据量之前，包括：根据所述预设集群信息搭建所述目标集群
。5.
根据权利要求1或2所述的分布式存储水位调节方法，其特征在于，所述预设集群信息包括：所述目标集群中磁盘的个数，所述目标集群中各个磁盘的存储空间容量和所述目标集群的实际存储空间容量占比
。6.
根据权利要求5所述的分布式存储水位调...

【专利技术属性】
技术研发人员：乔继辉，李文鹏，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：