存储双池绑定方法、装置、电子设备及可读存储介质制造方法及图纸

技术编号:39403864 阅读:11 留言:0更新日期:2023-11-19 15:55
本发明专利技术公开了一种存储双池绑定方法、装置、电子设备及可读存储介质,应用于分布式存储技术领域。其中,方法包括根据处于绑定关系的第一存储池和第二存储池中的各放置策略组pg之间的对应关系,基于使每一组对应pg中的多个成员重合至同一个物理节点,对第一存储池和第二存储池中各pg的成员进行调整;基于每个对象存储设备osd的主引用次数,并根据双池对应pg的主节点位于同一物理节点上,从调整后的各pg成员中为第一存储池和第二存储池的各pg选择相应的主节点。本发明专利技术可以解决相关技术中由于存储池绑定所导致分布式存储系统的存储性能变差的问题,可以有效提升分布式存储系统的存储性能。存储性能。存储性能。

【技术实现步骤摘要】
存储双池绑定方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及分布式存储
,特别是涉及一种存储双池绑定方法

装置

电子设备及可读存储介质


技术介绍

[0002]分布式存储系统以存储池的方式将存储集群提供的存储服务逻辑分割为一个或多个存储区域, 在块纠删场景下,分布式存储系统具有两种不同功能的存储池,即缓存池和数据池,来自客户端的待存储数据均需经过缓存池的处理才能下发至数据池中

[0003]相关技术通常将缓存池和数据池事先进行绑定,相应的,缓存池的
pg

placement group
,放置策略组)与数据池的
pg
也处于对应绑定关系下

当需要进行数据下发时,缓存池的
pg
的主数据节点将该数据转发至与之绑定的数据池的
pg
的主数据节点

当这两个主数据节点位于不同的物理节点时,数据转发需要通过网络实现,转发的数据量越大,占用的网络带宽也就越大,对分布式存储系统的存储性能影响也就越大

[0004]鉴于此,解决相关技术中由于存储池绑定所导致分布式存储系统的存储性能变差的问题,是所属领域技术人员需要解决的问题


技术实现思路

[0005]本专利技术提供了一种存储双池绑定方法

装置

电子设备及可读存储介质,可以有效提升分布式存储系统的存储性能

[0006]为解决上述技术问题,本专利技术提供以下技术方案:本专利技术一方面提供了一种存储双池绑定方法,包括:根据处于绑定关系的第一存储池和第二存储池中的各放置策略组
pg
之间的对应关系,基于使每一组对应
pg
中的多个成员重合至同一个物理节点,对所述第一存储池和所述第二存储池中各
pg
的成员进行调整;基于每个对象存储设备
osd
的主引用次数,并根据双池对应
pg
的主节点位于同一物理节点上,从调整后的各
pg
成员中分别选择所述第一存储池的第一
pg
主节点和所述第二存储池的第二
pg
主节点

[0007]在第一种实施方式下,所述基于使每一组对应
pg
中的多个成员重合至同一个物理节点,对所述第一存储池和所述第二存储池中各
pg
的成员进行调整,包括:通过确定所述第一存储池和所述第二存储池中的各
pg
之间的对应关系,得到多组对应
pg
;根据每组对应
pg

pg
成员数之间的数值关系,在满足所述第一存储池和所述第二存储池的
pg
均衡的条件下,依次为各个
pg
确定相应的成员

[0008]在第二种实施方式下,所述第一存储池的
pg
总数小于所述第二存储池的
pg
总数,所述根据每组对应
pg

pg
成员数之间的数值关系,在满足所述第一存储池和所述第二存储池的
pg
均衡的条件下,依次为各个
pg
确定相应的成员,包括:
遍历每一组对应
pg
,对当前组对应
pg
,从中选择属于所述第二存储池的
pg

pg id
小的
pg
,以作为第一目标
pg
;基于所述当前组对应
pg

pg
成员数之间的数值关系,根据所述当前组对应
pg
中的所述第一存储池的
pg
成员所在物理节点,确定所述第一目标
pg
对应的目标物理节点;调用
crush
算法,根据所述第一目标
pg

pg id
和各目标物理节点,得到所述第一目标
pg
的成员;当每一组对应
pg
中属于所述第二存储池的
pg

pg id
小的
pg
均已确定相对应的成员,则将每一组对应
pg
中属于所述第二存储池的剩余
pg
中的一个
pg
作为所述第一目标
pg
,依次跳转执行所述基于所述当前组对应
pg

pg
成员数之间的数值关系的步骤,直至每组对应
pg
中属于所述第二存储池的所有
pg
均已确定相对应的成员

[0009]在第三种实施方式下,所述直至每组对应
pg
中属于所述第二存储池的所有
pg
均已确定相对应的成员,包括:预先设置外循环遍历次数以及定数器,所述定数器用于统计外循环遍历次数,且在当每一组对应
pg
中属于所述第二存储池的
pg

pg id
小的
pg
均已确定相对应的成员时被启动;判断当前外循环遍历次数是否达到目标值;所述目标值为所述第一存储池
pg
数和所述第二存储池
pg
数的比值与1的差值;若所述当前外循环遍历次数达到目标值,则每组对应
pg
中属于所述第二存储池的所有
pg
均已确定相对应的成员

[0010]在第四种实施方式下,所述基于所述当前组对应
pg

pg
成员数之间的数值关系,根据所述当前组对应
pg
中的所述第一存储池的
pg
成员所在物理节点,确定所述第一目标
pg
对应的目标物理节点,包括:若所述第一存储池的
pg
成员数大于所述第二存储池的
pg
成员数,从所述当前组对应
pg
中的所述第一存储池的
pg
成员所在物理节点中选择多个目标物理节点,所述目标物理节点的总数值为所有第二存储池中
pg
总数最小的第二存储池的
pg
成员个数;若所述第一存储池的
pg
成员数小于所述第二存储池的
pg
成员数,根据预先设置的填充值和所述当前组对应
pg
中的所述第一存储池的
pg
成员对应的所有物理节点确定所述第一目标
pg
对应的目标物理节点

[0011]在第五种实施方式下,所述根据预先设置的填充值和所述当前组对应
pg
中的所述第一存储池的
pg
成员对应的所有物理节点本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
一种存储双池绑定方法,其特征在于,包括:根据处于绑定关系的第一存储池和第二存储池中的各放置策略组
pg
之间的对应关系,基于使每一组对应
pg
中的多个成员重合至同一个物理节点,对所述第一存储池和所述第二存储池中各
pg
的成员进行调整;基于每个对象存储设备
osd
的主引用次数,并根据双池对应
pg
的主节点位于同一物理节点上,从调整后的各
pg
成员中分别选择所述第一存储池的第一
pg
主节点和所述第二存储池的第二
pg
主节点
。2.
根据权利要求1所述的存储双池绑定方法,其特征在于,所述基于使每一组对应
pg
中的多个成员重合至同一个物理节点,对所述第一存储池和所述第二存储池中各
pg
的成员进行调整,包括:通过确定所述第一存储池和所述第二存储池中的各
pg
之间的对应关系,得到多组对应
pg
;根据每组对应
pg

pg
成员数之间的数值关系,在满足所述第一存储池和所述第二存储池的
pg
均衡的条件下,依次为各个
pg
确定相应的成员
。3.
根据权利要求2所述的存储双池绑定方法,其特征在于,所述第一存储池的
pg
总数小于所述第二存储池的
pg
总数,所述根据每组对应
pg

pg
成员数之间的数值关系,在满足所述第一存储池和所述第二存储池的
pg
均衡的条件下,依次为各个
pg
确定相应的成员,包括:遍历每一组对应
pg
,对当前组对应
pg
,从中选择属于所述第二存储池的
pg

pg id
小的
pg
,以作为第一目标
pg
;基于所述当前组对应
pg

pg
成员数之间的数值关系,根据所述当前组对应
pg
中的所述第一存储池的
pg
成员所在物理节点,确定所述第一目标
pg
对应的目标物理节点;调用
crush
算法,根据所述第一目标
pg

pg id
和各目标物理节点,得到所述第一目标
pg
的成员;当每一组对应
pg
中属于所述第二存储池的
pg

pg id
小的
pg
均已确定相对应的成员,则将每一组对应
pg
中属于所述第二存储池的剩余
pg
中的一个
pg
作为所述第一目标
pg
,依次跳转执行所述基于所述当前组对应
pg

pg
成员数之间的数值关系的步骤,直至每组对应
pg
中属于所述第二存储池的所有
pg
均已确定相对应的成员
。4.
根据权利要求3所述的存储双池绑定方法,其特征在于,所述直至每组对应
pg
中属于所述第二存储池的所有
pg
均已确定相对应的成员,包括:预先设置外循环遍历次数以及定数器,所述定数器用于统计外循环遍历次数,且在当每一组对应
pg
中属于所述第二存储池的
pg

pg id
小的
pg
均已确定相对应的成员时被启动;判断当前外循环遍历次数是否达到目标值;所述目标值为第一存储池
pg
数和第二存储池
pg
数的比值与1的差值;若所述当前外循环遍历次数达到目标值,则每组对应
pg
中属于所述第二存储池的所有
pg
均已确定相对应的成员
。5.
根据权利要求3所述的存储双池绑定方法,其特征在于,所述基于所述当前组对应
pg

pg
成员数之间的数值关系,根据所述当前组对应
pg
中的所述第一存储池的
pg
成员所在物理节点,确定所述第一目标
pg
对应的目标物理节点,包括:
若所述第一存储池的
pg
成员数大于所述第二存储池的
pg
成员数,从所述当前组对应
pg
中的所述第一存储池的
pg
成员所在物理节点中选择多个目标物理节点,所述目标物理节点的总数值为所有第二存储池中
pg
总数最小的第二存储池的
pg
成员个数;若所述第一存储池的
pg
成员数小于所述第二存储池的
pg
成员数,根据预先设置的填充值和所述当前组对应
pg
中的所述第一存储池的
pg
成员对应的所有物理节点确定所述第一目标
pg
对应的目标物理节点
。6.
根据权利要求5所述的存储双池绑定方法,其特征在于,所述根据预先设置的填充值和所述当前组对应
pg
中的所述第一存储池的
pg
成员对应的所有物理节点确定所述第一目标
pg
对应的目标物理节点,包括:调用所述
crush
算法,确定各填充值;将各填充值和所述当前组对应
pg
中的所述第一存储池的
pg
成员对应的所有物理节点,作为所述第一目标
pg
对应的目标物理节点
。7.
根据权利要求1所述的存储双池绑定方法,其特征在于,所述根据处于绑定关系的第一存储池和第二存储池中的各放置策略组
pg
之间的对应关系,包括:根据所述第一存储池和所述第二存储池的
pg
总数间的数值关系,按照对象
id
映射
pg id
的原理,得到所述第一存储池和所述第二存储池各
pg
之间的对应关系
。8.
根据权利要求7所述的存储双池绑定方法,其特征在于,所述根据所述第一存储池和所述第二存储池的
pg
总数间的数值关系,按照对象
id
映射
pg id
的原理,得到所述第一存储池和所述第二存储池各
pg
之间的对应关系,包括:若所述第一存储池的
pg
总数小于所述第二存储池的
pg
总数,则将所述第一存储池作为基准池,所述第二存储池作为绑定池,将所述绑定池
pg
按照
pg id
顺序划分为多个小组,每个小组包含
pg
数目与所述基准池
pg
总数相同,每个小组的各
pg
分别按照
pg id
顺序与所述基准池的
pg
一一对应;若所述第一存储池的
pg
总数与所述第二存储池的
pg
总数相同,则所述第一存储池的各
pg
与所述第二存储池的各
pg
按照
pg id
顺序一一对应
。9.
根据权利要求1所述的存储双池绑定方法,其特征在于,所述从调整后的各
pg
成员中分别选择所述第一存储池的第一
pg
主节点和所述第二存储池的第二
pg
主节点之后,还包括:当检测到所述第一存储池和所述第二存储池不满足预设均衡条件,则对所述第一存储池和
/
或所述第二存储池进行先缩容后扩容的处理
。10.
根据权利要求1所述的存储双池绑定方法,其特征在于,所述根据处于绑定关系的第一存储池和第二存储池中的各放置策略组
pg
之间的对应关系,包括:当判定当前场景符合双池绑定条件,确定所述第一存储池和所述第二存储池中的各放置策略组
pg
之间的对应关系;将所述第一存储池和所述第二存储池进行绑定
。11.
根据权利要求
10
所述的存储双池绑定方法,其特征在于,所述判定当前场景符合双池绑定条件,包括:当识别当前场景为双池绑定场景,...

【专利技术属性】
技术研发人员:尹洪润
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1