超融合环境下分布式文件系统磁盘分配方法、装置及介质制造方法及图纸

本发明专利技术公开了一种超融合环境下分布式文件系统磁盘分配方法，包括：将超融合集群中各主机上满足预设条件的未使用物理磁盘加入集合A；将集合A中所有容量值删除重复值加入集合B；分别基于集合B中的元素对集合A中的物理磁盘划分分区得到与集合B中元素一一对应的未使用物理磁盘分区过滤后的集合Cx；分别以集合B中元素的值作为分布式存储卷单副本的容量，在对应的集合Cx选取元素组建副本组集合直到得到分布式存储容量最大值；将分布式存储容量最大值对应的元素作为分布式存储最优单副本容量，将分布式存储容量最大值对应的副本组集合作为磁盘分配策略。本发明专利技术实现超融合集群组建的分布式存储容量最大化，且同时兼顾数据的高可靠性以及磁盘分配的效率。

【技术实现步骤摘要】
超融合环境下分布式文件系统磁盘分配方法、装置及介质
本专利技术涉及分布式存储容量最优化的方法，尤其涉及一种超融合环境下分布式文件系统磁盘分配方法、装置及介质。
技术介绍
超融合基础架构是基于标准通用的硬件平台(如基于x86的主机、基于arm的主机)，在同一台主机设备中具备计算、网络、存储和虚拟化等资源和技术，多台主机可以通过网络以软件定义的方式实现各主机的计算、存储、网络资源融合，实现以虚拟化为中心的软件定义数据中心的技术架构。超融合基础架构的核心是存储的融合。一般情况下单台主机的存储设备包含多个物理磁盘，其中一部分物理磁盘构成该主机的本地存储，上面安装有主机操作系统和虚拟化软件等，本地存储能够被该主机上运行的应用程序直接访问，其它物理磁盘提供给数据作为存储介质使用，多个主机的物理磁盘组成超融合系统的分布式存储池，分布式存储池可以挂载到超融合集群中的所有主机，由任意主机上应用程序访问。各主机上物理磁盘融合成分布式存储池是由分布式存储软件来实现，如基于开源的glusterfs，如何将各主机上物理磁盘合理组合在一起，形成一套满足一定条件且总容量最大化的方法，关乎超融合集群物理磁盘利用率，及产品竞争力，已成为了各超融合厂家必争之处。分布式存储通过将数据分散存储在多台独立的设备之上，通过多副本机制或其它校验机制确保数据的一致性。常见的多副本机制有三副本等，以三副本为例，一般是在各主机上的每选取3块物理磁盘/分区组成一组，最后形成n组三副本集合，而这种集合往往有非常多组成方法，各方法最终形成的分布式存储容量也各有不同，磁盘利用率与分配效率也参差不齐，单物理磁盘的分区大小划分方式也对混合容量型(存在多种不同容量的物理磁盘)集群提高物理磁盘空间利用率有重大影响。
技术实现思路
本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种超融合环境下分布式文件系统磁盘分配方法，实现超融合集群组建的分布式存储容量最大化，且同时兼顾数据的高可靠性以及磁盘分配的高效率。为解决上述技术问题，本专利技术提出的技术方案为：一种超融合环境下分布式文件系统磁盘分配方法，包括以下步骤：S1)将超融合集群中各主机上满足预设条件的未使用物理磁盘加入集合A；S2)将集合A中所有物理磁盘的容量值加入集合B，删除集合B中重复的容量值；S3)遍历集合B中的元素valx，基于集合B中的元素valx对集合A中的物理磁盘划分分区得到与集合B中元素valx一一对应的未使用物理磁盘分区过滤后的集合Cx；S4)遍历集合B中的元素valx，以集合B中元素valx的值作为分布式存储卷单副本的容量，在对应的集合Cx选取元素组建副本组集合，重复本步骤直到得到分布式存储容量最大值；S5)将分布式存储容量最大值对应的元素作为分布式存储最优单副本容量，将分布式存储容量最大值对应的副本组集合作为磁盘分配策略。进一步的，步骤S1)中预设条件具体包括：容量大于或等于预设阈值。进一步的，步骤S3)的具体步骤包括：选取集合B中元素valx，针对集合A中容量大于或等于valx的数值物理磁盘，基于valx的数值划分分区直到剩余分区小于valx的数值，将各主机上划分分区后的物理磁盘保存在valx对应的集合Cx中。进一步的，所述基于valx的数值划分分区具体包括：A1)若剩余分区大小大于或等于valx的数值，划分分区，使得分区大小等于valx的数值；A2)返回步骤A1)直到剩余分区小于valx的数值。进一步的，步骤S4)中在对应的集合Cx选取元素组建副本组集合具体包括以下步骤：S41)将容量小于valx的值的分区从集合Cx中移除，根据分布式存储多副本机制的副本数量n设置二维数组d[vx][n]；S42)从二维数组d[vx][n]的第一行开始依次选取为空的一行作为当前行；S43)根据集合Cx将各主机按照所含分区数量从多到少进行排序；S44)从排序后的主机N1开始依次选择一个主机作为当前主机，若当前主机没有剩余分区，跳转步骤S46)，否则进入步骤S45)；S45)选取当前主机一个分区，将被选取的分区正序填写在当前行，同时将被选取分区从集合Cx中移除，填充后，若当前行填满，返回步骤S42)，若当前行未填满，返回步骤S44)；S46)移除二维数组d[vx][n]未填满的行得到二维矩阵数组d[ux][n]，将二维矩阵数组d[ux][n]作为副本组集合。本专利技术还提出一种超融合环境下分布式文件系统磁盘分配装置，包括计算机设备，所述计算机设备被编程或配置以执行上述的超融合环境下分布式文件系统磁盘分配方法。本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有被编程或配置以执行上述的超融合环境下分布式文件系统磁盘分配方法的计算机程序。与现有技术相比，本专利技术的优点在于：本专利技术针对超融合集群中各主机物理硬盘的配置，将一个最优容量值作为分布式存储卷单副本的容量，并针对该容量进行其他物理硬盘的分区，使超融合集群中各主机存储介质拆分成大小相同的分区，在组建副本组集合的过程中，每个副本组组建时均根据剩余分区的数量对所有主机进行重新排序，并按照一定顺序分配依次从每一主机选择一个分区组建副本组，使得每个副本组中的副本来自于不同的主机，为数据安全性提供保障，通过该方法组建的副本组集合，解决分布式存储创建过程中遇到的多主机、多磁盘的场景下磁盘分配的低效与空间利用率低下的问题，在保障数据高安全性的同时达到可快速分配且分布式存储容量最大化的目的，可以在保持超融合基础架构横向扩展和低成本优势前提下，提高物理磁盘空间利用率、分配效率、兼顾了存储的读写性能，大大提升产品竞争力。附图说明图1为本专利技术的步骤示意图。图2为集合A的示意图。图3为集合B的示意图。图4为集合Cx的示意图。图5为三副本机制对应的3块磁盘/分区的二维矩阵数组d[4][3]的示意图。图6为本专利技术实施例中超融合云桌面系统服务器上物理磁盘的集合A的示意图。图7为本专利技术实施例中物理磁盘划分分区后的集合C2的示意图。具体实施方式以下结合说明书附图和具体优选的实施例对本专利技术作进一步描述，但并不因此而限制本专利技术的保护范围。如图1至图5所示，本专利技术提出一种超融合环境下分布式文件系统磁盘分配方法，包括以下步骤：S1)将超融合集群中各主机上满足预设条件的未使用物理磁盘加入集合A，如图2所示，超融合集群中主机数量为k，主机数量k需要满足大于副本数量n，否则直接返回失败，各主机含有不同数量的物理磁盘，各物理磁盘的容量可能不尽相同，过滤出各主机上尚未使用且满足预设条件的物理磁盘，形成一个集合A，该集合记录了各主机分别对应的一个未使用的物理磁盘列表；S2)将集合A中所有物理磁盘的容量值加入集合B，删除集合B中重复的容量值，从而集合B中的元素对应了集合A中所有物理磁盘的容量，集合B如图3所示；...

【技术保护点】
1.一种超融合环境下分布式文件系统磁盘分配方法，其特征在于，包括以下步骤：/nS1)将超融合集群中各主机上满足预设条件的未使用物理磁盘加入集合A；/nS2)将集合A中所有物理磁盘的容量值加入集合B，删除集合B中重复的容量值；/nS3)遍历集合B中的元素valx，基于集合B中的元素valx对集合A中的物理磁盘划分分区得到与集合B中元素valx一一对应的未使用物理磁盘分区过滤后的集合Cx；/nS4)遍历集合B中的元素valx，以集合B中元素valx的值作为分布式存储卷单副本的容量，在对应的集合Cx选取元素组建副本组集合，重复本步骤直到得到分布式存储容量最大值；/nS5)将分布式存储容量最大值对应的元素作为分布式存储最优单副本容量，将分布式存储容量最大值对应的副本组集合作为磁盘分配策略。/n

【技术特征摘要】
1.一种超融合环境下分布式文件系统磁盘分配方法，其特征在于，包括以下步骤：
S1)将超融合集群中各主机上满足预设条件的未使用物理磁盘加入集合A；
S2)将集合A中所有物理磁盘的容量值加入集合B，删除集合B中重复的容量值；
S3)遍历集合B中的元素valx，基于集合B中的元素valx对集合A中的物理磁盘划分分区得到与集合B中元素valx一一对应的未使用物理磁盘分区过滤后的集合Cx；
S4)遍历集合B中的元素valx，以集合B中元素valx的值作为分布式存储卷单副本的容量，在对应的集合Cx选取元素组建副本组集合，重复本步骤直到得到分布式存储容量最大值；
S5)将分布式存储容量最大值对应的元素作为分布式存储最优单副本容量，将分布式存储容量最大值对应的副本组集合作为磁盘分配策略。


2.根据权利要求1所述的超融合环境下分布式文件系统磁盘分配方法，其特征在于，步骤S1)中预设条件具体包括：容量大于或等于预设阈值。


3.根据权利要求1所述的超融合环境下分布式文件系统磁盘分配方法，其特征在于，步骤S3)的具体步骤包括：选取集合B中元素valx，针对集合A中容量大于或等于valx的数值物理磁盘，基于valx的数值划分分区直到剩余分区小于valx的数值，将各主机上划分分区后的物理磁盘保存在valx对应的集合Cx中。


4.根据权利要求3所述的超融合环境下分布式文件系统磁盘分配方法，其特征在于，所述基于valx的数值划分分区具体包括：
A1)若剩余分区大小大于或等于valx的数值，划...

【专利技术属性】
技术研发人员：周继峰，孙利杰，卢刚，胡智峰，陈松政，刘文清，杨涛，
申请(专利权)人：湖南麒麟信安科技股份有限公司，
类型：发明
国别省市：湖南;43