集群扩容方法、装置和存储介质制造方法及图纸

本发明专利技术公开了一种集群扩容方法、装置和存储介质，方法包括：确定针对Ceph集群的第一数据分布图；确定目标节点的参数，基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图；所述目标节点表征待加入所述Ceph集群的节点；根据所述第二数据分布图，规划数据均衡路线，基于所述数据均衡路线进行数据均衡；其中，所述数据均衡路线表征所述Ceph集群中针对OSD的数据迁移路线。本发明专利技术提供的方法以OSD为单位逐个进行数据迁移，从OSD的角度对迁移动作进行限制，对业务的影响降到最小，同时也加快了扩容过程。

【技术实现步骤摘要】
集群扩容方法、装置和存储介质
本专利技术涉及云计算技术，尤其涉及一种集群扩容方法、装置和计算机可读存储介质。
技术介绍
Ceph是一种分布式存储系统，能够为用户提供块存储、对象存储和文件存储三种类型的存储服务。在Ceph系统中，用户数据依据一定的分布机制均衡地分布在各个节点，使得用户在访问数据时，能够被快速高效地寻址。Ceph扩容时，新增节点的加入通常会带来原有数据分布的失衡状态。为了继续保持数据均衡，系统会依据一定的规则启动数据自动均衡过程。由于Ceph是一种完全去中心化的系统，故而均衡过程通常是在无人为干预的情况下自动完成，也使得该过程可能对同时进行的数据读写操作产生不可控的影响，进而干扰用户的业务操作安全性。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种集群扩容方法、装置和计算机可读存储介质。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例提供了一种集群扩容方法，所述方法包括：确定针对Ceph集群的第一数据分布图；确定目标节点的参数，基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图；所述目标节点表征待加入所述Ceph集群的节点；根据所述第二数据分布图，规划数据均衡路线，基于所述数据均衡路线进行数据均衡；其中，所述数据均衡路线表征所述Ceph集群中针对OSD的数据迁移路线。上述方案中，所述确定针对Ceph集群的第一数据分布图，包括：确定Ceph集群的第一参数，根据所述第一参数生成第一数据分布图；所述第一参数，包括以下至少之一：OSDMap的视图参数；PGMap的视图参数；Monitor的视图参数；相应地，所述第一数据分布图，包括以下至少之一：至少一个PG的数据负载、拓扑结构、网段信息；至少一个OSD的数据负载、拓扑结构、网段信息。上述方案中，所述目标节点的参数，包括以下至少之一：目标节点的存储网的网段、所述目标节点的业务网的网段、所述目标节点的硬盘数量、所述目标节点的序号；所述基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图，包括：基于所述第一数据分布图，确定加入所述目标节点后的Ceph集群对应的第二数据分布图。上述方案中，所述根据所述的第二数据分布图，规划数据均衡路线，包括：根据所述的第二数据分布图，确定PG与OSD的映射关系；基于确定的所述PG与OSD映射关系，规划数据均衡路线。上述方案中，所述基于确定的所述PG与OSD映射关系，规划数据均衡路线，包括：基于确定的所述PG与OSD映射关系，确定满足第一预设条件的OSD；所述满足第一预设条件表征所述OSD待进行数据迁移；针对所述满足第一预设条件的OSD，以数据迁移的开始地址和目标地址为规划因素，运用局部最优算法确定针对各OSD的数据均衡路线；其中，所述满足第一预设条件的OSD，包括以下至少之一：存储数据量高于预设存储数据量阈值的OSD；迁出数据量高于预设迁出数据量阈值的OSD；读写业务量高于预设读写业务量阈值的OSD；读写速度低于预设速度的OSD；存储容量低于预设容量的OSD。本专利技术实施例还提供了一种集群扩容装置，所述装置包括：第一处理模块、第二处理模块和第三处理模块；其中，所述第一处理模块，用于确定针对Ceph集群的第一数据分布图；所述第二处理模块，用于确定目标节点的参数，基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图；所述目标节点表征待加入所述Ceph集群的节点；所述第三处理模块，用于根据所述第二数据分布图，规划数据均衡路线，基于所述数据均衡路线进行数据均衡；其中，所述数据均衡路线表征所述Ceph集群中针对OSD的数据迁移路线。上述方案中，所述第一处理模块，用于确定Ceph集群的第一参数，根据所述第一参数生成第一数据分布图；所述第一参数，包括以下至少之一：OSDMap的视图参数；PGMap的视图参数；Monitor的视图参数；相应地，所述第一数据分布图，包括以下至少之一：至少一个PG的数据负载、拓扑结构、网段信息；至少一个OSD的数据负载、拓扑结构、网段信息。上述方案中，所述目标节点的参数，包括以下至少之一：目标节点的存储网的网段、所述目标节点的业务网的网段、所述目标节点的硬盘数量、所述目标节点的序号；所述第二处理模块，用于基于所述第一数据分布图，确定加入所述目标节点后的Ceph集群对应的第二数据分布图。上述方案中，所述第二处理模块，用于根据所述的第二数据分布图，确定PG与OSD的映射关系；基于确定的所述PG与OSD映射关系，规划数据均衡路线。上述方案中，所述第二处理模块，具体用于基于确定的所述PG与OSD映射关系，确定满足第一预设条件的OSD；所述满足第一预设条件表征所述OSD待进行数据迁移；针对所述满足第一预设条件的OSD，以数据迁移的开始地址和目标地址为规划因素，运用局部最优算法确定针对各OSD的数据均衡路线；其中，所述满足第一预设条件的OSD，包括以下至少之一：存储数据量高于预设存储数据量阈值的OSD；迁出数据量高于预设迁出数据量阈值的OSD；读写业务量高于预设读写业务量阈值的OSD；读写速度低于预设速度的OSD；存储容量低于预设容量的OSD。本专利技术实施例又提供了一种集群扩容装置，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行以上任一项所述集群扩容方法的步骤。本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项所述集群扩容方法的步骤。本专利技术实施例所提供的集群扩容方法、装置和计算机可读存储介质，确定针对Ceph集群的第一数据分布图；确定目标节点的参数，基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图；所述目标节点表征待加入所述Ceph集群的节点；根据所述第二数据分布图，规划数据均衡路线，基于所述数据均衡路线进行数据均衡；其中，所述数据均衡路线表征所述Ceph集群中针对OSD的数据迁移路线；如此，以OSD为单位逐个进行数据迁移，从OSD的角度对迁移动作进行限制，对业务的影响降到最小，同时也加快了扩容过程。附图说明图1为相关技术中一种PG与OSD的映射关系的示意图；图2为本专利技术实施例提供的一种集群扩容方法的流程示意图；图3为本专利技术实施例提供的另一种集群扩容方法的流程示意图；图4为本专利技术实施例提供的一种暂中心化模块的结构示意图；图5为本专利技术实施例提供的一种集群扩容装置的结果示意图；图6为本专利技术实施例提供的另一种集群扩容装置的结果示意图。具体实施方式<本文档来自技高网...

【技术保护点】
1.一种集群扩容方法，其特征在于，所述方法包括：/n确定针对Ceph集群的第一数据分布图；/n确定目标节点的参数，基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图；所述目标节点表征待加入所述Ceph集群的节点；/n根据所述第二数据分布图，规划数据均衡路线，基于所述数据均衡路线进行数据均衡；其中，所述数据均衡路线表征所述Ceph集群中针对OSD的数据迁移路线。/n

【技术特征摘要】
1.一种集群扩容方法，其特征在于，所述方法包括：
确定针对Ceph集群的第一数据分布图；
确定目标节点的参数，基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图；所述目标节点表征待加入所述Ceph集群的节点；
根据所述第二数据分布图，规划数据均衡路线，基于所述数据均衡路线进行数据均衡；其中，所述数据均衡路线表征所述Ceph集群中针对OSD的数据迁移路线。


2.根据权利要求1所述的方法，其特征在于，所述确定针对Ceph集群的第一数据分布图，包括：
确定Ceph集群的第一参数，根据所述第一参数生成第一数据分布图；
所述第一参数，包括以下至少之一：
OSDMap的视图参数；
PGMap的视图参数；
Monitor的视图参数；
相应地，所述第一数据分布图，包括以下至少之一：
至少一个PG的数据负载、拓扑结构、网段信息；
至少一个OSD的数据负载、拓扑结构、网段信息。


3.根据权利要求1所述的方法，其特征在于，所述目标节点的参数，包括以下至少之一：目标节点的存储网的网段、所述目标节点的业务网的网段、所述目标节点的硬盘数量、所述目标节点的序号；
所述基于所述目标节点的参数和所述第一数据分布图，生成第二数据分布图，包括：
基于所述第一数据分布图，确定加入所述目标节点后的Ceph集群对应的第二数据分布图。


4.根据权利要求1所述的方法，其特征在于，所述根据所述的第二数据分布图，规划数据均衡路线，包括：
根据所述的第二数据分布图，确定PG与OSD的映射关系；
基于确定的所述PG与OSD映射关系，规划数据均衡路线。


5.根据权利要求4所述的方法，其特征在于，所述基于确定的所述PG与OSD映射关系，规划数据均衡路线，包括：
基于确定的所述PG与OSD映射关系，确定满足第一预设条件的OSD；所述满足第一预设条件表征所述OSD待进行数据迁移；
针对所述满足第一预设条件的OSD，以数据迁移的开始地址和目标地址为规划因素，运用局部最优算法确定针对各OSD的数据均衡路线；
其中，所述满足第一预设条件的OSD，包括以下至少之一：
存储数据量高于预设存储数据量阈值的OSD；
迁出数据量高于预设迁出数据量阈值的OSD；
读写业务量高于预设读写业务量阈值的OSD；
读写速度低于预设速度的OSD；
存储容量低于预设容量的OSD。


6.一种集群扩容装置，其特征在于，所述装置包括：第一处理模块、第二处理模块和第三处理模块；其中，
所述第一处理模块，用于确定针对Cep...

【专利技术属性】
技术研发人员：李可飞，郑印，陈焱山，刘鸿，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏;32