基于CEPH数据分布方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例公开了一种基于CEPH数据分布方法、装置、服务器及存储介质，其中，所述方法包括：获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；根据所述修正权重值对权重值进行调整；根据调整后的权重值进行存储池的数据分布。实现了针对特定存储池的均衡分布。不会影响OSD上其它存储池的分布，提供了更高的灵活性。并且在保证数据均衡分布的同时，提高了硬件资源的使用率。

【技术实现步骤摘要】
基于CEPH数据分布方法、装置、服务器及存储介质
本专利技术涉及分布式数据库
，尤其涉及一种基于CEPH数据分布方法、装置、设备及存储介质。
技术介绍
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。并考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。能够支持上千个存储节点的规模，支持TB到PB级的数据。传统的分布式存储系统ceph将数据切割为固定大小的对象，并引入PG（PlacementGroup）这一概念，PG是对象和OSD(ObjectStorageDevice)之间的逻辑层，对象会根据其objectid映射到不同的PG，因此PG的分布方式也决定了数据的分布方式。CRUSH在执行规则时，依据集群的CRUSHmap，利用bucket节点所设定的伪随机算法选出一个该bucket下的item。如果此item编号并未与上一轮的选择冲突，且对应的是crushmap的叶子节点，即对象存储设备，则按如图1所示的方法，将bucket算法的输入值x与该item编号一起输入rjenkins1哈希算法得到输出值,将该输出值与0xffff进行按位与运算，得到的结果与OSDmap中该item对应OSD的权重值作比较，如果该运算结果比权重值值大，则放弃此次选择，将r的值增加并进行下一次重新选择。按照这一方法，权重值较大的OSD更易被选中。在实现本专利技术的过程中，专利技术人发现如下技术问题：上述OSD选择操作只是应于OSD的，与存储池无关。当有多个存储池的PG映射到了相同的OSD上时，对该OSD对应的权重的调整也将影响到多个存储池，因此该种平衡方法只能对多存储池角度进行平衡分布，而不能针对特定的存储池进行平衡分布。在所述特定存储池进行扩容或者迁移时，需要更多地运算来保证平衡。
技术实现思路
本专利技术实施例提供了一种基于CEPH数据分布方法、装置、服务器备及存储介质，以解决现有技术中无法针对特定存储池对OSD进行均衡分布item的技术问题。第一方面，本专利技术实施例提供了一种基于CEPH数据分布方法，包括：获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；根据所述修正权重值对权重值进行调整；根据调整后的权重值进行存储池的数据分布。第二方面，本专利技术实施例还提供了一种基于CEPH数据分布装置，包括：获取模块，用于获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；调整模块，用于根据所述修正权重值对权重值进行调整；分布模块，用于根据调整后的权重值进行存储池的数据分布。第三方面，本专利技术实施例还提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例提供的基于CEPH数据分布方法方法。第四方面，本专利技术实施例还提供了包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的基于CEPH数据分布方法。本专利技术实施例提供的基于CEPH数据分布方法、装置、服务器及存储介质，通过获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系。利用修正权重值与原有的权重值一起带入CRUSH算法计算，利用修正权重值表征特定存储池对应的单位权重与PG数量对应关系，实现了针对特定存储池的均衡分布。不会影响OSD上其它存储池的分布，提供了更高的灵活性。并且在保证数据均衡分布的同时，提高了硬件资源的使用率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术实施例一提供的基于CEPH数据分布方法的流程示意图；图2是本专利技术实施例二提供的基于CEPH数据分布方法的流程示意图；图3是本专利技术实施例三提供的基于CEPH数据分布方法的流程示意图；图4是本专利技术实施例四提供的基于CEPH数据分布装置的结构示意图；图5是本专利技术实施例五提供的服务器的结构图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的基于CEPH数据分布方法的流程图，本实施例可适用于对直播内容进行评价筛选的情况，该方法可以由基于CEPH数据分布装置来执行，并可集成于ceph服务器中，具体包括如下步骤：S110，获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系。在ceph分布式数据库中，为了方便管理数据分布，系统首先会创建存储池，然后存储池都会划分成多个PG，每个PG按副本或者纠删规则包含若干块硬盘。PG全称PlacementGroups，中文译为放置组，是用于放置object的一个载体，pg的创建是在创建ceph存储池的时候指定的，同时跟指定的副本数也有关系，比如是3副本的则会有3个相同的pg存在于3个不同的osd上，pg其实在osd的存在形式就是一个目录，在架构层次上，PG位于RADOS层的中间。引入PG这一层其实是为了更好的分配数据和定位数据。OSD的英文全称是ObjectStorageDevice，它的主要功能是存储数据、复制数据、平衡数据、恢复数据等，与其它OSD间进行心跳检查等，并将一些变化情况上报给CephMonitor。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理，当然一个分区也可以成为一个OSD。通过上述内容可知，在ceph分布式数据库中，osd相当于PG的实体存储单元，根据CRUSH算法实现对item对应的OSD的选中。由于CRUSH算法中的权重值是对应于所有的存储池。不能针对特定的存储池进行PG分布，容易导致某一特定的存储池对应少数的OSD，在进行迁移或者扩展时，需要通过大量的数据移动才能完成。因此，在本实施例中，可以预先读取待分布数据存储池对应的每个OSD的修正权重值。所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系。其中，所述OSD的单位权重对应的PG值可以采用如下方式计算：；其中，所述p为所述存储池在对应osd上本文档来自技高网...

【技术保护点】
1.一种基于CEPH数据分布方法，其特征在于，包括：/n获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；/n根据所述修正权重值对权重值进行调整；/n根据调整后的权重值进行存储池的数据分布。/n

【技术特征摘要】
1.一种基于CEPH数据分布方法，其特征在于，包括：
获取读取待分布数据存储池对应的每个OSD的修正权重值，所述修正权重值用于表征所述OSD的单位权重对应的PG值与所述存储池单位权重对应的PG值的关系；
根据所述修正权重值对权重值进行调整；
根据调整后的权重值进行存储池的数据分布。


2.根据权利要求1所述的方法，其特征在于，在根据调整后的权重值进行存储池的数据分布后，所述方法还包括：
对数据分布后OSD的单位权重对应的PG值最大的OSD的修正权重值进行调整，以实现平衡所述待分布数据存储池的PG分布。


3.根据权利要求1所述的方法，其特征在于，在获取读取待分布数据存储池对应的每个OSD的修正权重值之前，所述方法还包括：
针对所述待分布数据存储池对应的每个osd设置初始修正权重值。


4.根据权利要求1所述的方法，其特征在于，所述OSD的单位权重对应的PG值，采用如下方式计算：

；
其中，所述p为所述存储池在对应osd上的PG分布数，i为该OSD在CRUSHmap中对应的item权重值，u为对应的OSD编号。


5.根据权利要求1所述的方法，其特征在于，所述存储池单位权重对应的PG值，采用如下方式计算：



其中，u为OSD编号，n为指定存储池的最大OSD编号，p为所述存储池在对应osd上的PG分布数，i为该OSD在CRUSHmap中对应的item权重值，为OSD的单位权重对应的PG值。


6.根据权利要求2所述的方法，其特征在于，所述对数据分布后OSD的单位权重对应的PG值最大的OSD的修正权重值进行调整，包括：采用如下方式进行调整：

。


7.根据权利要求1所述的方法，其特征在于，所述根据所述修正权重值对权重...

【专利技术属性】
技术研发人员：黄汝林，胡玉晟，
申请(专利权)人：柏科数据技术深圳股份有限公司，
类型：发明
国别省市：广东;44