基于CEPH数据分布方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例公开了一种基于CEPH数据分布方法、装置、服务器及存储介质，其中，所述方法包括：获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；根据所述修正权重值对权重值进行调整；根据调整后的权重值进行存储池的数据分布。实现了针对特定存储池的均衡分布。不会影响OSD上其它存储池的分布，提供了更高的灵活性。并且在保证数据均衡分布的同时，提高了硬件资源的使用率。

【技术实现步骤摘要】
基于CEPH数据分布方法、装置、服务器及存储介质
本专利技术涉及分布式数据库
，尤其涉及一种基于CEPH数据分布方法、装置、设备及存储介质。
技术介绍
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。并考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。能够支持上千个存储节点的规模，支持TB到PB级的数据。传统的分布式存储系统ceph将数据切割为固定大小的对象，并引入PG（PlacementGroup）这一概念，PG是对象和OSD(ObjectStorageDevice)之间的逻辑层，对象会根据其objectid映射到不同的PG，因此PG的分布方式也决定了数据的分布方式。CRUSH在执行规则时，依据集群的CRUSHmap，利用bucket节点所设定的伪随机算法选出一个该bucket下的item。如果此item编号并未与上一轮的选择冲突，且对应的是crushmap的叶子节点，即对象存本文档来自技高网...

【技术保护点】
1.一种基于CEPH数据分布方法，其特征在于，包括：/n获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；/n根据所述修正权重值对权重值进行调整；/n根据调整后的权重值进行存储池的数据分布。/n

【技术特征摘要】
1.一种基于CEPH数据分布方法，其特征在于，包括：
获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；
根据所述修正权重值对权重值进行调整；
根据调整后的权重值进行存储池的数据分布。


2.根据权利要求1所述的方法，其特征在于，在根据调整后的权重值进行存储池的数据分布后，所述方法还包括：
对数据分布后OSD的单位权重对应的PG值最大的OSD的修正权重值进行调整，以实现平衡所述待分布数据存储池的PG分布。


3.根据权利要求1所述的方法，其特征在于，在获取读取待分布数据存储池对应的每个OSD的修正权重值之前，所述方法还包括：
针对所述待分布数据存储池对应的每个osd设置初始修正权重值。


4.根据权利要求1所述的方法，其特征在于，所述OSD的单位权重对应的PG值，采用如下方式计算：

；
其中，所述p为所述存储池在对应osd上的PG分布数，i为该OSD在CRUSHmap中对应的item权重值，u为对应的OSD编号。


5.根据权利要求1所述的方法，其特征在于，所述存储池单位权重对应的PG值，采用如下方式计算：



其中，u为OSD编号，n为指定存储池的最大OSD编号，p为所述存储池在对应osd上的PG分布数，i为该OSD在CRUSHmap中对应的item权重值，为OSD的单位权重对应的PG值。


6.根据权利要求2所述的方法，其特征在于，所述对数据分布后OSD的单位权重对应的PG值最大的OSD的修正权重值进行调整，包括：采用如下方式进行调整：

。


7.根据权利要求1所述的方法，其特征在于，所述根据所述修正权重值对权重...

【专利技术属性】
技术研发人员：黄汝林，胡玉晟，
申请(专利权)人：柏科数据技术深圳股份有限公司，
类型：发明
国别省市：广东;44