对分布式存储系统的主PG均衡调整的方法、装置及介质制造方法及图纸

本发明专利技术公开了一种对分布式存储系统的主PG均衡调整方法、装置及介质，该方法对每个OSD预先设定期望主PG数、预期偏差和主PG亲和性的权重值的初始值，然后根据各OSD当前的主PG数与期望主PG数的绝对差值与预期偏差的关系从而确定是否要调整OSD的当前主PG亲和性的权重值，通过调整当前主PG亲和性的权重值来调整每个OSD上的主PG数分布，直到每个OSD的当前主PG亲和性的权重值都不需要再调整为止。由此可见，相对于现有技术中，随机将主PG数分布在各OSD上的方法而言，应用于本方法可以将每个OSD上的主PG数都逐渐靠近期望主PG数，最大偏差是预期偏差，从而实现主PG的均衡调整。

【技术实现步骤摘要】
对分布式存储系统的主PG均衡调整的方法、装置及介质
本专利技术涉及分布式存储系统领域，特别是涉及一种对分布式存储系统的主PG均衡调整的方法、装置及介质。
技术介绍
随着分布式存储系统在视频监控、高性能、广电媒资、云计算、大数据、虚拟化等领域得到了广泛应用，客户对分布是存储系统的性能要求也越来越高，提高分布式存储系统的性能显得日益重要。PG(PlacementGroup)是分布式存储系统中非常重要的概念，它可以看成是一致性哈希中的虚拟节点，维护了一部分数据并且是数据迁移和改变的最小单位。它在分布式存储系统中承担着非常重要的角色，在一个分布式存储系统中存在一定数量的PG(可动态增减)，这些PG会被分布在多个OSD(对象存储设备)。通常情况下，当副本数是多个时，一般是包括一个主PG和多个从PG，例如，副本数量是3个时，包括一个主PG和两个从PG，分布在3个OSD中。现有技术中，分布式存储系统通过Crush伪随机算法把主PG和从PG放置到不同的OSD上，这样可以实现存储系统数据的整体基本均衡。由于存储系统中不同OSD上主PG的数目相差可能达到十几个甚至更多，这会导致主PG在OSD上分布不均衡。当主PG不均衡时，会导致各OSD的读命中率差异很大。例如分布式存储系统中的某些OSD的读命中率达到100％时，却存在一些OSD的读命中率只有70％甚至更低；通常读命中率越低的OSD，它的平均延时就越高，从而这些读命中率低的OSD成为整个分布式存储系统的性能瓶颈。由此可见，如何均衡分布式存储系统中各OSD的读命中率从而克服系统中由于某些OSD由于读命中率过低造成的性能瓶颈是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种对分布式存储系统的主PG均衡调整的方法、装置及介质，用于均衡分布式存储系统中各OSD的读命中率从而克服系统中由于某些OSD由于读命中率过低造成的性能瓶颈。为解决上述技术问题，本专利技术提供一种对分布式存储系统的主PG均衡调整的方法，包括：获取各OSD当前的主PG数；判断各所述OSD当前的主PG数与期望主PG数的绝对差值是否均不大于预期偏差；其中，所述期望主PG数和所述预期偏差均为预先设定；如果是，则确定所述分布式存储系统中各OSD的主PG均衡分布；否则，对不满足判断条件的OSD的当前主PG亲和性的权重值进行调整；其中，主PG亲和性的权重值的初始值为预先设定；依据各所述OSD的当前主PG亲和性的权重值更新主PG分布，并返回所述获取各OSD当前的主PG数的步骤。优选地，所述对不满足判断条件的OSD的当前主PG亲和性的权重值进行调整具体包括：若OSD当前的主PG数减去所述期望主PG数的差值大于所述预期偏差，则调低该OSD的主PG亲和性的权重值，若所述期望主PG数减去当前的主PG数的差值小于所述预期偏差的相反数，则调高该OSD的主PG亲和性的权重值。优选地，各所述OSD的所述主PG亲和性的权重值的初始值均相同，各所述OSD的所述期望主PG数均相同，各所述OSD的所述预期偏差均相同。优选地，各所述OSD的所述主PG亲和性的权重值的初始值为0.7，调低步长和调高步长均为0.001。优选地，各所述OSD的所述预期偏差为1。优选地，在返回所述获取各OSD当前的主PG数的步骤之前还包括：判断当前迭代次数是否达到最大迭代次数；如果是，则结束，否则返回所述获取各OSD当前的主PG数的步骤。优选地，所述最大迭代次数具体为1000次。为解决上述技术问题，本专利技术还提供一种对分布式存储系统的主PG均衡调整的装置，包括：获取模块，用于获取各OSD当前的主PG数；判断模块，用于判断各所述OSD当前的主PG数与期望主PG数的绝对差值是否均不大于预期偏差；其中，所述期望主PG数和所述预期偏差均为预先设定；确定模块，用于在所述判断模块的判断结果为是时，确定所述分布式存储系统中各OSD的主PG均衡分布；调整模块，用于在所述判断模块的判断结果为否时，对不满足判断条件的OSD的当前主PG亲和性的权重值进行调整；其中，主PG亲和性的权重值的初始值为预先设定；更新模块，用于依据各所述OSD的当前主PG亲和性的权重值更新主PG分布，并触发所述获取模块。为解决上述技术问题，本专利技术还提供一种对分布式存储系统的主PG均衡调整的装置，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述所述的对分布式存储系统的主PG均衡调整的方法的步骤。为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的对分布式存储系统的主PG均衡调整的方法的步骤。本专利技术所提供的对分布式存储系统的主PG均衡调整方法，对每个OSD预先设定期望主PG数、预期偏差和主PG亲和性的权重值的初始值，然后根据各OSD当前的主PG数与期望主PG数的绝对差值与预期偏差的关系从而确定是否要调整OSD的当前主PG亲和性的权重值，通过调整当前主PG亲和性的权重值来调整每个OSD上的主PG数分布，直到每个OSD的当前主PG亲和性的权重值都不需要再调整为止。由此可见，相对于现有技术中，随机将主PG数分布在各OSD上的方法而言，应用于本方法可以将每个OSD上的主PG数都逐渐靠近期望主PG数，最大偏差是预期偏差，从而实现主PG的均衡调整。此外，本专利技术所提供的对分布式存储系统的主PG均衡调整装置及介质，与上述方法对应，效果同上。附图说明为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种对分布式存储系统的主PG均衡调整的方法的流程图；图2为本专利技术实施例提供的另一种对分布式存储系统的主PG均衡调整方法的流程图；图3为本专利技术实施例提供的另一种对分布式存储系统的主PG均衡调整的方法的流程图；图4为本专利技术实施提供的一种对分布式存储系统的主PG均衡调整的装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本专利技术保护范围。本专利技术的核心是提供一种对分布式存储系统的主PG均衡调整的方法、装置及介质，用于均衡分布式存储系统中各OSD的读命中率从而克服系统中由于某些OSD由于读命中率过低造成的性能瓶颈。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。图1为本专利技术实施例提供的一种对分布式存储系统的主PG均衡调整的方法的流程图。如图1所示，该方法包括：S10：获取各OSD当前的主PG数。需要说明的是，本专利技术中提到的分布式存储系统，不限定其规模，即可以包括任意数量的OSD。OSD的全称是ObjectStorageDevices，译为对象存储设备，提供数据存储服务。另外，每个OSD上除了主PG外，还包括从PG以实现备份，由于在进行读取操作时，通常是对主PG进行读取，因此，从本文档来自技高网...

【技术保护点】
1.一种对分布式存储系统的主PG均衡调整的方法，其特征在于，包括：获取各OSD当前的主PG数；判断各所述OSD当前的主PG数与期望主PG数的绝对差值是否均不大于预期偏差；其中，所述期望主PG数和所述预期偏差均为预先设定；如果是，则确定所述分布式存储系统中各OSD的主PG均衡分布；否则，对不满足判断条件的OSD的当前主PG亲和性的权重值进行调整；其中，主PG亲和性的权重值的初始值为预先设定；依据各所述OSD的当前主PG亲和性的权重值更新主PG分布，并返回所述获取各OSD当前的主PG数的步骤。

【技术特征摘要】
1.一种对分布式存储系统的主PG均衡调整的方法，其特征在于，包括：获取各OSD当前的主PG数；判断各所述OSD当前的主PG数与期望主PG数的绝对差值是否均不大于预期偏差；其中，所述期望主PG数和所述预期偏差均为预先设定；如果是，则确定所述分布式存储系统中各OSD的主PG均衡分布；否则，对不满足判断条件的OSD的当前主PG亲和性的权重值进行调整；其中，主PG亲和性的权重值的初始值为预先设定；依据各所述OSD的当前主PG亲和性的权重值更新主PG分布，并返回所述获取各OSD当前的主PG数的步骤。2.根据权利要求1所述的方法，其特征在于，所述对不满足判断条件的OSD的当前主PG亲和性的权重值进行调整具体包括：若OSD当前的主PG数减去所述期望主PG数的差值大于所述预期偏差，则调低该OSD的主PG亲和性的权重值，若所述期望主PG数减去当前的主PG数的差值小于所述预期偏差的相反数，则调高该OSD的主PG亲和性的权重值。3.根据权利要求2所述的方法，其特征在于，各所述OSD的所述主PG亲和性的权重值的初始值均相同，各所述OSD的所述期望主PG数均相同，各所述OSD的所述预期偏差均相同。4.根据权利要求3所述的方法，其特征在于，各所述OSD的所述主PG亲和性的权重值的初始值为0.7，调低步长和调高步长均为0.001。5.根据权利要求4所述的方法，其特征在于，各所述OSD的所述预期偏差为1。6.根据权利要求1-5任意一项所述的...

【专利技术属性】
技术研发人员：李军站，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41