【技术实现步骤摘要】
本专利技术涉及计算机存储，更具体地说，本专利技术涉及一种在分布式存储系统中数据均衡的优化方法。
技术介绍
1、存储系统中的资源由大量的磁盘构成，其数据管理方式：(1)将数据组成chunk；(2)chunk hash映射到逻辑层pg(placement group)；(3)pg通过选盘固定映射到磁盘；当存储系统运行过程中，必然存在增删磁盘的场景，导致pg分布到磁盘上的数量不均衡，从而导致磁盘的数据量不均衡，会造成大量的存储空间的浪费；
2、现有申请专利公开号为cn114237520a的专利公开了一种ceph集群数据均衡方法以及系统，通过主归置组将要均衡的数据块进行平均划分，生成多个均衡清单，然后主归置组保留一个均衡清单，将其他的均衡清单分别发送到从归置组，最后主归置组以及从归置组根据均衡清单上的数据块名称将自身存储的数据块对应发送到新增加的数据存储装置中实现均衡，单位时间内多个归置组同时相互配合执行均衡操作，大大提高了数据均衡的效率；
3、但上述技术以及现有技术在进行数据均衡时，没有考虑每个pg实际承载的数据量，并未针对pg的数据量作为一个选择目标pg的条件，导致每个磁盘的空间没有得到更加有效利用，并且会导致某些磁盘承载数据较多，读写负载较重，导致整个存储系统的性能下降；
4、鉴于此，本专利技术提出一种在分布式存储系统中数据均衡的优化方法以解决上述问题。
技术实现思路
1、为了克服现有技术的上述缺陷，为实现上述目的，本专利技术提供如下技术方案：一种
2、步骤s1：计算存储系统总容量xzr；
3、步骤s2：计算存储系统中每个磁盘期望承载的pg数cpsi；
4、步骤s3：计算存储系统总使用容量xzs：
5、步骤s4：计算存储系统的平均使用率pjl和每个磁盘的期望使用容量czsi：
6、步骤s5：对存储系统中的每个磁盘进行分析，判断是否标记为不足磁盘，计算不足磁盘对应的不足pg数bpsi、不足容量bzri以及期待迁入pg的数据量rpsi；
7、步骤s6：对存储系统中的每个磁盘进行分析，判断是否标记为迁移磁盘，对迁移磁盘中的每个pg进行分析，判断是否生成迁移指令；将迁移指令对应的pg标记为迁移pg，将迁移pg移入不足磁盘。
8、进一步地，所述存储系统总容量xzr的计算方法包括：
9、通过api收集存储系统中每个磁盘的容量信息cpri；
10、
11、式中i为第i个磁盘，m为存储系统中的磁盘总数，i∈m。
12、进一步地，所述计算存储系统中每个磁盘期望承载的pg数cpsi；
13、存储系统中每个磁盘期望承载pg数cpsi的计算方法包括：
14、
15、式中，pgz为存储系统中pg总数。
16、进一步地，所述存储系统总使用容量xzs的计算方法包括：
17、通过api收集存储系统中每个磁盘的使用容量信息spri；
18、
19、进一步地，所述平均使用率pjl的计算方法包括：
20、
21、进一步地，所述每个磁盘期望使用容量的计算方法包括：
22、
23、进一步地，所述判断是否标记为不足磁盘的方法包括：
24、若磁盘的承载pg数小于期望承载的pg数cpsi且使用容量cpri小于期望使用容量czsi，则将该磁盘标记为不足磁盘；
25、若磁盘的承载pg数大于或等于期望承载的pg数cpsi或使用容量cpri大于或等于期望使用容量czsi，则不将该磁盘标记为不足磁盘。
26、进一步地，所述不足pg数bpsi的计算方法包括：
27、bpsi＝cpsi-pgci；
28、式中，pgci为磁盘承载的pg数；
29、所述不足容量bzri的计算方法包括：
30、bpsi＝czsi-spri
31、所述期待迁入pg的数据量rpsi的计算方法包括：
32、
33、进一步地，所述判断是否标记为迁移磁盘的方法包括：
34、若磁盘的承载pg数大于期望承载的pg数cpsi且使用容量cpri大于期望使用容量czsi的磁盘，则将该磁盘标记为迁移磁盘；
35、若磁盘的承载pg数小于或等于期望承载的pg数cpsi或使用容量cpri小于或等于期望使用容量czsi的磁盘，则不将该磁盘标记为迁移磁盘。
36、进一步地，所述判断是否生成迁移指令的方法包括：
37、将迁移磁盘中每个pg的数据量分别减去期待迁入pg的数据量rpsi获取差值；
38、若存在差值的绝对值小于差值阈值，则生成迁移指令；
39、若差值的绝对值均大于或等于差值阈值，则不生成迁移指令。
40、本专利技术一种在分布式存储系统中数据均衡的优化方法的技术效果和优点：
41、1.在进行数据均衡时，使磁盘的容量使用更为均衡，提升容量使用的有效利用率。
42、2.各个磁盘的读写负载更加均衡，提升整个存储系统的性能。
本文档来自技高网...【技术保护点】
1.一种在分布式存储系统中数据均衡的优化方法，其特征在于，包括：
2.根据权利要求1所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述存储系统总容量XZR的计算方法包括：
3.根据权利要求2所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述计算存储系统中每个磁盘期望承载的PG数CPSi；
4.根据权利要求3所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述存储系统总使用容量XZS的计算方法包括：
5.根据权利要求4所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述平均使用率PJL的计算方法包括：
6.根据权利要求5所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述每个磁盘期望使用容量的计算方法包括：
7.根据权利要求6所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述判断是否标记为不足磁盘的方法包括：
8.根据权利要求7所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述不足PG数BPSi的计算方法包括
9.根据权利要求8所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述判断是否标记为迁移磁盘的方法包括：
10.根据权利要求9所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述判断是否生成迁移指令的方法包括：
...【技术特征摘要】
1.一种在分布式存储系统中数据均衡的优化方法，其特征在于，包括：
2.根据权利要求1所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述存储系统总容量xzr的计算方法包括：
3.根据权利要求2所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述计算存储系统中每个磁盘期望承载的pg数cpsi；
4.根据权利要求3所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述存储系统总使用容量xzs的计算方法包括：
5.根据权利要求4所述的一种在分布式存储系统中数据均衡的优化方法，其特征在于，所述平均使用率pjl的计算方法包括：
6.根据权...
【专利技术属性】
技术研发人员：王达林，代怀刚，陈阳，刘啸滨，蒋波，王念秋，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。