【技术实现步骤摘要】
分布式系统的存储分配方法、装置及计算机设备
本申请涉及计算机
,尤其是涉及到一种分布式系统的存储分配方法、装置及计算机设备。
技术介绍
对于分布式存储系统(如Ceph),可通过crush算法将所需存储的对象分布到不同的放置组(PlacementGroup,PG)当中存储,而PG也根据相应规则分布至各个对象存储设备(ObjectStorageDevice,OSD)上,一个OSD包含有多个PG,其包含的PG数量与OSD的权重相关。目前,对OSD权重的设置是按照OSD磁盘空间大小来决定。但是实际使用中可以发现,由于crush算法的缺陷,即使所有OSD采用相同大小的磁盘空间,并且设置相同权重时,往往实际每个OSD分配的PG数量也不均匀。若PG数量分配不均,会导致部分OSD空间被提前占用满,产生木桶效应,导致整个分布式存储系统集群不可写入,极大的浪费了剩余磁盘空间。
技术实现思路
有鉴于此,本申请提供了一种分布式系统的存储分配方法、装置及计算机设备,主要目的在于解决目前现有技术中分布式存储系统的每个O ...
【技术保护点】
1.一种分布式系统的存储分配方法,其特征在于,包括:/n根据分布式存储系统中对象存储设备OSD的磁盘空间大小,配置OSD各自对应的初始权重,并按照所述初始权重分配OSD各自对应的初始放置组PG数量;/n依据分配的各个初始PG数量,对配置的OSD各自对应的初始权重进行多次迭代调整,其中,每次迭代中减少当时PG数量最多的OSD权重,同时增加当时PG数量最少的OSD权重,并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量,以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整;/n在满足预设迭代终止条件后,按照多次迭代调整后的OSD各自对应的权重,执行所述分 ...
【技术特征摘要】 【专利技术属性】
1.一种分布式系统的存储分配方法,其特征在于,包括:
根据分布式存储系统中对象存储设备OSD的磁盘空间大小,配置OSD各自对应的初始权重,并按照所述初始权重分配OSD各自对应的初始放置组PG数量;
依据分配的各个初始PG数量,对配置的OSD各自对应的初始权重进行多次迭代调整,其中,每次迭代中减少当时PG数量最多的OSD权重,同时增加当时PG数量最少的OSD权重,并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量,以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整;
在满足预设迭代终止条件后,按照多次迭代调整后的OSD各自对应的权重,执行所述分布式存储系统中OSD权重的最终配置。
2.根据权利要求1所述的方法,其特征在于,所述依据分配的各个初始PG数量,对配置的OSD各自对应的初始权重进行多次迭代调整,具体包括:
在每次迭代中,从预设调整范围内随机生成一个随机数,将当时PG数量最多的OSD权重减去所述随机数,同时将当时PG数量最少的OSD权重加上所述随机数。
3.根据权利要求2所述的方法,其特征在于,所述预设调整范围的确定过程,具体包括:
对所述OSD各自对应的初始权重进行方差计算;
按照计算得到的第一方差值,以及所述初始权重中最大权重和最小权重,查询对应的所述预设调整范围。
4.根据权利要求1所述的方法,其特征在于,所述预设迭代终止条件的确定过程,具体包括:
对分配的各个初始PG数量进行方差计算;
获取与计算得到的第二方差值对应的最大迭代次数,以及获取与所述第二方差值对应的初始温度和温度衰减系数,其中,不同的第二方差值都有各自对应的最大迭代次数,不同的第二方差值都有各自对应的初始温度和温度衰减系数;
根据获取到的所述最大迭代次数,确定所述预设迭代终止条件;或,
根据获取到的所述初始温度和温度衰减系数,确定所述预设迭代终止条件;或,
根据获取到的所述最大迭代次数、所述初始温度和温度衰减系数,确定所述预设迭代终止条件。
5.根据权利要求4所述的方法,其特征在于,所述根据获取到的所述最大迭代次数,确定所述预设迭代终止条件,具体包括:
当迭代次数等于获取到的最大迭代次数时,确定满足预设迭代终止条件;
所述根据获取到的所述初始温度和温度衰减系数,确定所述预设迭代终止条件,具体包括:
利用公式Tn=anT0计算经过n次迭代后的最新温度Tn,其中,T0为所述初始温度,a为所述温度衰减系数;
当所述最新温度Tn小于预设温度阈值时,确定满足预设迭代终止条件。
技术研发人员:陈阳,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。