一种文件均衡分布方法及装置制造方法及图纸

技术编号:24937106 阅读:40 留言:0更新日期:2020-07-17 20:45
本申请公开了一种文件均衡分布方法及装置,该文件均衡方法按照磁盘组剩余空间比对磁盘组进行排序,然后利用正态分布随机算法选取磁盘组,并选取一个条带进行文件写入,并且,在每写完一个磁盘组后,排除已经使用的磁盘组,这样,不仅可以实现将文件尽量保存在更多的磁盘组上,而且,可以将较小的文件尽量在剩余磁盘空间比较大的磁盘组中存储,这样可以减少磁盘组之间的剩余空间比的差距的问题,达到了文件均衡的目的,可以保证所有磁盘都能提供存储和输出功能。

【技术实现步骤摘要】
一种文件均衡分布方法及装置
本申请涉及文件存储
,更具体地说,涉及一种文件均衡分布方法及装置。
技术介绍
在分布式存储系统中,当存储文件的时候,需要将文件的数据块存储在各个磁盘中。目前,在文件存储时,一般按照随机的均衡分布算法来获取条带进行文件存储,并且,所有磁盘组的所有条带均在一个池子中,然后在这个池子中随机选择一个条带进行存储。然而,由于是随机选择一个条带,这样就可能多次获取的条带在同一个磁盘组中,即可能会导致同一个磁盘组中存储了同一个文件的多个片段,而有些磁盘组中却没有存储到这个文件的一个片段。此外,当存储的文件很多的时候,可能会造成有些磁盘组存储的文件比较多,而有些磁盘组存储的文件比较少。这样的存储方式造成存储系统中磁盘存储的不平衡,无法保证所有磁盘都能提供存储和输出功能。
技术实现思路
有鉴于此,本申请提供了一种文件均衡分布方法及装置,用于解决现有的文件存储方式所存在的存储系统中磁盘存储不平衡,无法保证所有磁盘都能提供存储和输出功能的问题。为了实现上述目的,现提出的方案如下:一本文档来自技高网...

【技术保护点】
1.一种文件均衡分布方法,其特征在于,该方法包括:/n将当前所有磁盘组按照磁盘组剩余空间比进行排序,得到排序列表,并将所述排序列表保存到与待写入文件相关联的列表中;/n在所述列表中,通过正态分布随机算法选取第一磁盘组;/n当所述待写入文件的大小在第一阈值范围内时,在所述第一磁盘组中随机选取一个空闲条带作为第一空闲条带,将所述待写入文件写入所述第一空闲条带;其中,所述第一阈值范围表征所述待写入文件的大小不大于所述第一空闲条带的大小;/n当所述待写入文件的大小在第二阈值范围内时,在所述第一磁盘组中随机选取一个空闲条带作为第二空闲条带,将所述待写入文件的第一条带的数据写入所述第二空闲条带;所述第一空...

【技术特征摘要】
1.一种文件均衡分布方法,其特征在于,该方法包括:
将当前所有磁盘组按照磁盘组剩余空间比进行排序,得到排序列表,并将所述排序列表保存到与待写入文件相关联的列表中;
在所述列表中,通过正态分布随机算法选取第一磁盘组;
当所述待写入文件的大小在第一阈值范围内时,在所述第一磁盘组中随机选取一个空闲条带作为第一空闲条带,将所述待写入文件写入所述第一空闲条带;其中,所述第一阈值范围表征所述待写入文件的大小不大于所述第一空闲条带的大小;
当所述待写入文件的大小在第二阈值范围内时,在所述第一磁盘组中随机选取一个空闲条带作为第二空闲条带,将所述待写入文件的第一条带的数据写入所述第二空闲条带;所述第一空闲条带与所述第二空闲条带相同或不同;
通过正态分布随机算法选取所述列表中除第一磁盘组之外的第二磁盘组,在所述第二磁盘组中随机选取一个空闲条带作为第三空闲条带,将所述待写入文件的第二条带的数据写入所述第三空闲条带;
若所述待写入文件的写入没有完成,则继续选取出除所述第一磁盘组和第二磁盘组之外的其它磁盘组的空闲条带进行写入,直至写入完成;
其中,所述第二阈值范围表征所述待写入文件的大小大于所述第一空闲条带的大小,且不大于一轮写入所对应的总空闲条带的大小,所述一轮写入表示依序将所述当前所有磁盘组选取一遍,且每个磁盘组选取一个空闲条带进行写入。


2.根据权利要求1所述的方法,其特征在于,该方法还包括:
当所述待写入文件的大小在第三阈值范围内时,开启下一轮写入,直至写入完成;
其中,所述第三阈值范围表征所述待写入文件的大小大于所述一轮写入所对应的总空闲条带的大小。


3.根据权利要求1或2所述的方法,其特征在于,还包括:
在所述待写入文件的每一条带的数据写入完成后,将写入数据的条带信息记录在所述待写入文件中。


4.根据权利要求1所述的方法,其特征在于,所述通过正态分布随机算法选取第一磁盘组包括:
通过正态分布随机算法得到一个随机数;
根据所述随机数与所述排序列表中计算的伪正态分布到顺序列表的映射关系,选取相应的磁盘组作为所述第一磁盘组。


5.根据权利要求1、2或4任意一项所述的方法,其特征在于,所述正态分布随机算法的公式为:



其中,x表示通过正态分布随机算法得到的随机数;m表示所述当前所有磁盘组的个数;v用于表示获取正态分布的前面一半数据,还是后面一半的数据,若v小于0,表示获取正态分布中的前面一半的数据,若v大于或等于0,表示获取正态分布后面一半的数据。


6.一种文件均衡分布装置,其特征在于,该装置包括:
排序单元,用于将当前所有磁盘组按照磁盘...

【专利技术属性】
技术研发人员:徐佳宏李银刘彬李威青刘勇
申请(专利权)人:深圳市茁壮网络股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1