一种存储设备的数据均衡方法及装置制造方法及图纸

本发明专利技术公开了一种存储系统的数据均衡方法，包括统计存储系统中的对象存储设备的数量及各个对象存储设备中的最小存储单元的数量；计算各个对象存储设备中最小存储单元数量的总和；计算最小存储单元的分布平均值；依据预设均衡原则判断最小存储单元分布是否均匀，如果不均匀，判断是否完成全部预设权重调整，如果否，依据预设调整原则对对象存储设备进行权重调整，调整后最小存储单元重新分布；重新统计各个对象存储设备中的最小存储单元的数量，返回均衡判断操作。本发明专利技术还提供了一种存储系统的数据均衡装置。本发明专利技术通过调整OSD的权重改善数据分布不均衡的缺陷，保证存储池内的OSD容量基本相同，提高了系统整体的容量利用率。

Data equalization method and device for storage device

The invention discloses a method for balancing data storage system, including the number of minimum number of storage units and each object storage device object storage device in a storage system of statistics in the calculation of the minimum number of storage units; the sum of each object in the storage device; the distribution calculation of the minimum storage unit according to a preset average value; the principle of balance judgment the minimum storage unit distribution is uniform, if not uniform, whether complete the preset weight adjustment, if not, according to a preset adjustment principle of weight adjustment of the object storage device, after adjusting the minimum storage unit re distribution; the number of re statistical minimum storage unit of each object in the storage device, return balanced judgment operation. The invention also provides a data equalizing device for the storage system. By adjusting the weight of OSD to improve the imbalance of data distribution, the OSD capacity in the storage pool is basically the same, and the overall capacity utilization of the system is improved.

【技术实现步骤摘要】
一种存储设备的数据均衡方法及装置
本专利技术涉及计算机集群
，特别是涉及一种存储设备的数据均衡方法，还涉及了一种存储设备的数据均衡装置。
技术介绍
随着互联网业务量的增加、访问量和数据流量的快速增长，存储系统各个核心部分的处理强度也相对增大，使系统工作负载增大。在存储系统中采用一致性Hash(哈希算法)和CRUSH(ControlledReplicationUnderScalableHashing，可扩展哈希受控副本算法)算法用于数据分布的计算，在这个过程中，CRUSH算法将PG(最小存储单元)映射到一组OSD(对象存储设备)中，每个OSD上应分布着若干等量的PG。然而在实际应用环境中，PG只会按照CRUSH算法在OSD上进行伪随机分布，使得实际的PG分布并不能够达到完美的均衡，造成有些OSD上分布的PG数量较多，有些PG数量较少的情况。在数据写入分布式文件系统的时候，直观的现象就是OSD上的数据分布不均，这导致了存储池内的OSD容量相差较大，系统整体的容量利用率较低，均衡性差。因此，如何提供一种存储设备的数据均衡方法及装置来改善对象存储设备中数据分布的不均衡是本领域技术人员目前需要解决的问题。
技术实现思路
本专利技术的目的是提供一种存储设备的数据均衡方法及装置，通过调整OSD的权重改善数据分布不均衡的缺陷，保证存储池内的OSD容量基本相同，提高了系统整体的容量利用率。为解决上述技术问题，本专利技术提供了一种存储设备的数据均衡方法，包括：s1：统计所述存储系统中的对象存储设备的数量及各个所述对象存储设备中的最小存储单元的数量；s2：计算各个所述对象存储设备中所述最小存储单元数量的总和；计算所述最小存储单元数量的总和与所述对象存储设备数量的比值，得到所述最小存储单元的分布平均值；s3：依据预设均衡原则、所述各个所述对象存储设备中的最小存储单元的数量和所述最小存储单元的分布平均值判断所述最小存储单元分布是否均匀，如果不均匀，则进入步骤s4，否则结束操作；s4：判断是否完成全部预设权重调整，如果否，依据预设调整原则对所述对象存储设备进行权重调整，调整后所述最小存储单元重新分布；重新统计各个所述对象存储设备中的最小存储单元的数量，返回步骤s3。优选地，所述预设调整原则包括：将各个所述对象存储设备中的最小存储单元的数量按照由大到小的顺序排序，并根据预设选取原则和所述最小存储单元数量的排序选取若干个所述对象存储设备，并依据所述预设权重降低原则降低选取的所述对象存储设备的权重。优选地，所述预设均衡原则具体为：判断是否满足MAX_PG所述分布平均值*预设阈值，如果不满足，则判断为分布不均匀，进入步骤s4，否则结束操作；其中，所述MAX_PG为所述最小存储单元分布最多的所述对象存储设备上的最小存储单元的数量。优选地，所述预设阈值为102％～110％间的任意值。优选地，所述步骤s4判断是否完成全部预设权重调整的步骤进一步包括：当完成当前预设阈值对应的全部预设权重调整时，在所述当前预设阈值上增加预设变化值，判断所述当前预设阈值是否大于预设极值，如果否，返回步骤s3；否则结束操作。优选地，在所述步骤s3依据所述预设均衡原则判断所述最小存储单元分布为不均匀后，进一步包括：将各个所述对象存储设备的权重均调整为初始值，再进入步骤s4。优选地，包括：统计模块，用于统计所述存储系统中的对象存储设备的数量及各个所述对象存储设备中的最小存储单元的数量；计算模块，用于计算各个所述对象存储设备中所述最小存储单元数量的总和；计算所述最小存储单元数量的总和与所述对象存储设备数量的比值，得到所述最小存储单元的分布平均值；均衡判断模块，用于依据预设均衡原则、所述各个所述对象存储设备中的最小存储单元的数量和所述最小存储单元的分布平均值判断所述最小存储单元分布是否均匀，如果不均匀，触发权重调整模块，否则结束操作；所述权重调整模块，用于判断是否完成全部预设权重调整，如果否，依据预设调整原则对所述对象存储设备进行权重调整，调整后所述最小存储单元重新分布；重新统计各个所述对象存储设备中的最小存储单元的数量，返回所述判断模块。优选地，所述权重调整模块包括：排序单元，用于将各个所述对象存储设备中的最小存储单元的数量按照由大到小的顺序排序；选取单元，用于根据预设选取原则和所述最小存储单元数量的排序选取若干个所述对象存储设备；权重调整单元，用于依据所述预设权重降低原则降低选取的所述对象存储设备的权重。优选地，所述均衡判断模块包括：计算单元，用于计算所述最小存储单元的分布平均值与预设阈值的乘积；判断单元，用于判断所述最小存储单元分布最多的所述对象存储设备上最小存储单元的数量是否小于或等于所述乘积，如果大于，则判断为分布不均匀，触发所述权重调整模块；否则结束操作。优选地，所述权重调整模块还包括：阈值调整单元，用于当完成当前预设阈值对应的全部预设权重调整时，在所述当前预设阈值上增加预设变化值，判断所述当前预设阈值是否大于预设极值，如果否，返回所述均衡判断模块；否则结束操作。本专利技术提供了一种存储设备的数据均衡方法及装置，包括统计PG在OSD上分布的情况并计算PG的分布平均值作为基准，依据PG的分布平均值和预设均衡原则判断PG是否均匀分布，对于PG分布不均匀的OSD组依据预设调整原则对OSD的权重进行调整，使得部分PG重新分布到其余OSD上，减弱了PG根据CRUSH算法在OSD上伪随机分布导致的不均衡，保证存储池内的OSD的容量率基本相同，进而提高了存储系统整体的容量利用率，同时提高了存储系统的性价比。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的存储设备的数据均衡方法的过程的流程图；图2为本专利技术提供的存储设备的数据均衡方法的一种具体实施例的过程流程图；图3为本专利技术提供的存储设备的数据均衡装置的结构示意图。具体实施方式本专利技术的核心是提供一种存储设备的数据均衡方法及装置，通过调整OSD的权重改善数据分布不均衡的缺陷，保证存储池内的OSD容量基本相同，提高了系统整体的容量利用率。本专利技术提供了一种存储设备的数据均衡方法，参照图1，图1为本专利技术提供的存储设备的数据均衡方法的过程的流程图。该方法过程如下：s1：统计存储系统中的对象存储设备的数量及各个对象存储设备中的最小存储单元的数量；其中，存储设备的数据存储过程是一定要以存储系统存储池的建立为基础的，此处不作赘述。s2：计算各个对象存储设备中最小存储单元数量的总和；计算最小存储单元数量的总和与对象存储设备数量的比值，得到最小存储单元的分布平均值；需要说明的是，最小存储单元数量的总和可以根据存储池数据冗余策略以及对象存储设备的个数计算得到的，也可以根据实际分布情况，通过计算各个对象存储设备中的最小存储单元的数量累加得到。本专利技术对最小存储单元数量的总和的方法不做限定。显而易见的，最小存储单元的分布平均值在所在一组对象存储设备中的数目正常情况下是不变的，故后续最小存储单元重分布后，仍可调用此处的最小存储单元的分布平均值本文档来自技高网...

【技术保护点】
一种存储系统的数据均衡方法，其特征在于，包括：s1：统计所述存储系统中的对象存储设备的数量及各个所述对象存储设备中的最小存储单元的数量；s2：计算各个所述对象存储设备中所述最小存储单元数量的总和；计算所述最小存储单元数量的总和与所述对象存储设备数量的比值，得到所述最小存储单元的分布平均值；s3：依据预设均衡原则、所述各个所述对象存储设备中的最小存储单元的数量和所述最小存储单元的分布平均值判断所述最小存储单元分布是否均匀，如果不均匀，则进入步骤s4，否则结束操作；s4：判断是否完成全部预设权重调整，如果否，依据预设调整原则对所述对象存储设备进行权重调整，调整后所述最小存储单元重新分布；重新统计各个所述对象存储设备中的最小存储单元的数量，返回步骤s3。

【技术特征摘要】
1.一种存储系统的数据均衡方法，其特征在于，包括：s1：统计所述存储系统中的对象存储设备的数量及各个所述对象存储设备中的最小存储单元的数量；s2：计算各个所述对象存储设备中所述最小存储单元数量的总和；计算所述最小存储单元数量的总和与所述对象存储设备数量的比值，得到所述最小存储单元的分布平均值；s3：依据预设均衡原则、所述各个所述对象存储设备中的最小存储单元的数量和所述最小存储单元的分布平均值判断所述最小存储单元分布是否均匀，如果不均匀，则进入步骤s4，否则结束操作；s4：判断是否完成全部预设权重调整，如果否，依据预设调整原则对所述对象存储设备进行权重调整，调整后所述最小存储单元重新分布；重新统计各个所述对象存储设备中的最小存储单元的数量，返回步骤s3。2.根据权利要求1所述的方法，其特征在于，所述预设调整原则包括：将各个所述对象存储设备中的最小存储单元的数量按照由大到小的顺序排序，并根据预设选取原则和所述最小存储单元数量的排序选取若干个所述对象存储设备，并依据所述预设权重降低原则降低选取的所述对象存储设备的权重。3.根据权利要求1所述的方法，其特征在于，所述预设均衡原则具体为：判断是否满足MAX_PG≤所述分布平均值*预设阈值，如果不满足，则判断为分布不均匀，进入步骤s4，否则结束操作；其中，所述MAX_PG为所述最小存储单元分布最多的所述对象存储设备上的最小存储单元的数量。4.根据权利要求3所述的方法，其特征在于，所述预设阈值为102％～110％间的任意值。5.根据权利要求3所述的方法，其特征在于，所述步骤s4判断是否完成全部预设权重调整的步骤进一步包括：当完成当前预设阈值对应的全部预设权重调整时，在所述当前预设阈值上增加预设变化值，判断所述当前预设阈值是否大于预设极值，如果否，返回步骤s3；否则结束操作。6.根据权利要求1-5任一项所述的方法，其特征在于，在所述步骤s3依据所述预设均衡原则判断所述最小存储单元分布为...

【专利技术属性】
技术研发人员：李景要，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41