一种ceph集群数据均衡方法以及系统技术方案

本申请公开了一种ceph集群数据均衡方法以及系统，属于网络通信技术领域，数据均衡方法通过主归置组将要均衡的数据块进行平均划分，生成多个均衡清单，然后主归置组保留一个均衡清单，将其他的均衡清单分别发送到从归置组，最后主归置组以及从归置组根据均衡清单上的数据块名称将自身存储的数据块对应发送到新增加的数据存储装置中实现均衡，单位时间内多个归置组同时相互配合执行均衡操作，大大提高了数据均衡的效率。高了数据均衡的效率。高了数据均衡的效率。

【技术实现步骤摘要】
一种ceph集群数据均衡方法以及系统


[0001]本专利技术属于网络通信
，尤其涉及一种ceph集群数据均衡方法以及系统。

技术介绍

[0002]在ceph分布式存储系统概念里，一块硬盘对应为一个Object
‑
Based Storage Device（简称OSD），OSD将硬盘存储空间划分为一个个小数据块，这样的小数据块称为object。一个OSD含有成千上万的object，为了便于管理这些object，ceph采用了归置组（placement group，简称PG），通过稳定的算法把object划分到某个PG下。ceph默认采用三副本保证数据可靠性，也就是一个object在同时存在三个OSD中，这三个OSD划分为一个主OSD和两个从OSD，主OSD对应主PG，从OSD对应从PG。当ceph集群添加了新硬盘后，原有OSD的数据需要均衡到新OSD中。由于ceph数据均衡的最小单位是PG，也就是添加新硬盘后，原有OSD的一部分PG需要均衡到新OSD中。目前ceph仅由主PG发起数据均衡，均衡速度慢，均衡效率低，数据均衡是一个耗时过程，均衡过程中无法接收用户端的读写请求，导致用户端的请求等待时间较长，用户体验感受差。

技术实现思路

[0003]（一）专利技术目的为了克服以上不足，本专利技术的目的在于提供一种ceph集群数据均衡方法以及系统，以解决现有的ceph集群数据均衡耗时较长，均衡期间若客户端发送写入请求，需要等待较长时间才能够得到请求回复，用户体验效果差的技术问题。
[0004]（二）技术方案为实现上述目的，本申请一方面提供的技术方案如下：一种ceph集群数据均衡方法，应用于ceph分布式存储系统，均衡方法包括以下步骤：主归置组统计待均衡的所有数据块总数，完成统计后将所有统计的数据块平均划分为预定等份，基于每一预定等份分别生成一个均衡清单，根据对应预定等份中的数据块名称确定各均衡清单的内容；其中，预定等份为主归置组与多个从归置组的数量总和；主归置组保留一份均衡清单并且将其余的均衡清单分别分发到不同的从归置组；主归置组与从归置组根据自身均衡清单上的数据块名称，将存储在自身的对应的数据块均衡到新增加的数据存储装置中。
[0005]本申请通过主归置组将要均衡的数据块进行平均划分，生成多个均衡清单，然后主归置组保留一个均衡清单，将其他的均衡清单分别发送到从归置组，最后主归置组以及从归置组根据均衡清单上的数据块名称将自身存储的数据块对应发送到新增加的数据存储装置中实现均衡，单位时间内多个归置组同时相互配合执行均衡操作，大大提高了数据均衡的效率。
[0006]进一步地，在统计待均衡的所有数据块总数之后并且在将所有统计的数据块平均划分为预定等份之前，还包括：将正在被客户端请求读写的数据块标记为紧急数据块，将其余没有被客户端请求读写的数据块标记为普通数据块。
[0007]基于每一预定等份分别生成一个均衡清单还包括：判断每个均衡清单上是否包含紧急数据块的名称，若包含，将每个均衡清单内紧急数据块名称置于普通数据块名称之前。
[0008]由于数据块在均衡过程中是无法被读写的，因此，本申请将被请求的数据块以及没有被请求的数据块进行区分，将被请求的数据块标记为紧急数据块，将没有被请求的数据块标记为普通数据块，在生成的均衡清单时也将紧急数据块的名称放置于普通数据块之前，这样就可以优先对紧急数据块进行均衡，完成均衡后即马上可响应用户端发起的读写请求，缩短用户端请求等待时间，提高用户的使用体验感受，先进行数据块均衡后接收用户端写入请求，还可保证了数据的一致性。
[0009]进一步地，主归置组与从归置组根据自身均衡清单上的数据块名称，将存储在自身的对应的数据块均衡到新增加的数据存储装置中之后，还包括：删除预定数量的从归置组，删除预定数量的从归置组可以释放数据存储装置的存储空间。
[0010]进一步地，主归置组与从归置组根据自身均衡清单上的数据块名称，将存储在自身的对应的数据块均衡到新增加的数据存储装置中之后，还包括：主归置组检查新增加的数据存储装置中的所有数据块与统计的待均衡的数据块数量是否相同，若检查到缺少某个数据块，主归置组将缺少的数据块补充均衡到新增加的数据存储装置中。
[0011]完成均衡后，主归置组还检查新的数据存储装置内数据块与之前统计的数据块是否一致，若检查到缺少的情况下，将缺少的数据块补充均衡到新增加的数据存储装置中，从而保证了均衡的完整性以及准确性。
[0012]本专利技术的另一方面提供了一种ceph集群数据均衡系统，用于实施上述的ceph集群数据均衡方法，均衡系统包括：主数据存储装置以及多个从数据存储装置，主数据存储装置内部设置有一个主归置组，每个从数据存储装置设置有一个从归置组，主归置组以及多个从归置组相互通信连接并且内部同步存储有相同的数据块；其中，主归置组包括：统计模块，用于统计待均衡的所有数据块总数；划分模块，用于在统计模块完成统计后将主归置组内所有统计的数据块平均划分为预定等份；均衡清单生成模块，基于每一预定等份分别生成一个均衡清单并且根据对应预定等份中的数据块名称确定各均衡清单的内容，其中，预定等份为主归置组与多个从归置组的数量总和；分发模块，用于在保留一份均衡清单于主归置组后，将其余的均衡清单分别分发到不同的从归置组；第一均衡模块，根据主归置组所保留的均衡清单上的数据块名称，将存储在主归置组的对应的数据块均衡到新增加的数据存储装置中；从归置组包括：接收模块，用于接收分发模块发送过来的均衡清单；第二均衡模块，根据从归置组所接收的均衡清单上的数据块名称，将存储在从归
置组的对应的数据块均衡到新增加的数据存储装置中。
[0013]进一步地，主归置组内还包括：标记模块，用于将正在被客户端请求读写的数据块标记为紧急数据块，将其余没有被客户端请求读写的数据块标记为普通数据块；均衡清单生成模块包括：判断子模块以及位置调整子模块，判断子模块用于判断每个均衡清单上是否包含紧急数据块的名称，位置调整子模块用于在判断子模块判断到均衡清单上存在紧急数据块的名称时，将均衡清单上的紧急数据块名称置于普通数据块名称之前。
[0014]进一步地，还包括：删除模块，用于在第一均衡模块将主归置组内存储的数据块均衡到新增加的数据存储装置中以及第二均衡模块将从归置组内存储的数据块均衡到新增加的数据存储装置中之后，删除预定数量的从归置组。进一步地，主归置组还包括：检查模块，用于在新增加的数据存储装置完成均衡后，检查新增加的数据存储装置中的所有数据块与统计的待均衡的数据块数量是否相同；补充均衡模块，用于在检查模块检查到新增加的数据存储装置缺少某个数据块后，将缺少的数据块补充均衡到新增加的数据存储装置中。
附图说明
[0015]图1是本专利技术的ceph集群数据均衡方法的工作原理图。
具体实施方式
[0016]为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ceph集群数据均衡方法，其特征在于，应用于ceph分布式存储系统，所述均衡方法包括以下步骤：主归置组统计待均衡的所有数据块总数，完成统计后将所有统计的数据块平均划分为预定等份，基于每一预定等份分别生成一个均衡清单，根据对应预定等份中的数据块名称确定各均衡清单的内容；其中，所述预定等份为主归置组与多个从归置组的数量总和；主归置组保留一份均衡清单并且将其余的均衡清单分别分发到不同的从归置组；主归置组与从归置组根据自身均衡清单上的数据块名称，将存储在自身的对应的数据块均衡到新增加的数据存储装置中。2.根据权利要求1所述的ceph集群数据均衡方法，其特征在于，在统计待均衡的所有数据块总数之后并且在将所有统计的数据块平均划分为预定等份之前，还包括：将正在被客户端请求读写的数据块标记为紧急数据块，将其余没有被客户端请求读写的数据块标记为普通数据块；所述基于每一预定等份分别生成一个均衡清单还包括：判断每个均衡清单上是否包含紧急数据块的名称，若包含，将每个均衡清单内紧急数据块名称置于普通数据块名称之前。3.根据权利要求1或2所述的ceph集群数据均衡方法，其特征在于，所述主归置组与从归置组根据自身均衡清单上的数据块名称，将存储在自身的对应的数据块均衡到新增加的数据存储装置中之后，还包括：删除预定数量的从归置组。4.根据权利要求1或2所述的ceph集群数据均衡方法，其特征在于，所述主归置组与从归置组根据自身均衡清单上的数据块名称，将存储在自身的对应的数据块均衡到新增加的数据存储装置中之后，还包括：主归置组检查新增加的数据存储装置中的所有数据块与统计的待均衡的数据块数量是否相同，若检查到缺少某个数据块，主归置组将缺少的数据块补充均衡到新增加的数据存储装置中。5.一种ceph集群数据均衡系统，用于实施上述权利要求1
‑
4任意一项所述的ceph集群数据均衡方法，均衡系统包括：主数据存储装置以及多个从数据存储装置，所述主数据存储装置内部设置有一个主归置组，每个从数据存储装置设置有一个从归置组，所述主归置组以及多个从归置组相互通信连接并且内...

【专利技术属性】
技术研发人员：吴日明，史伟，霍键聪，
申请(专利权)人：广东睿江云计算股份有限公司，
类型：发明
国别省市：