分布式系统的数据副本存储及访问方法、装置制造方法及图纸

技术编号:43847947 阅读:19 留言:0更新日期:2024-12-31 18:41
本公开提供了一种分布式系统的数据副本存储方法及访问方法、装置、电子设备、计算机可读存储介质及计算机程序产品,涉及信息处理技术领域,具体为分布式存储等人工智能技术领域。存储方法包括:基于分布式系统中物理节点的状态信息确定物理节点的权重值,状态信息包括物理节点的负载信息;基于物理节点的权重值,将分属于分布式系统中不同逻辑分区的物理节点组合为归置组;将数据副本的多个分片存储在同一归置组的物理节点。该方法在保证数据副本安全性的同时,提高了系统数据恢复的速度,优化了系统的负载均衡能力,并降低了系统整体的存储成本。

【技术实现步骤摘要】

本公开涉及信息处理,具体涉及分布式存储等人工智能,尤其涉及一种分布式系统的数据副本存储方法及访问方法、装置、电子设备、计算机可读存储介质及计算机程序产品。


技术介绍

1、随着计算机和信息技术的发展、普及以及应用,数据呈爆炸性增长。目前所积累的数据都被写入并存储在分布式系统中,如何在有效利用和处理这些数据的同时,保证分布式系统的负载均衡以及数据副本的安全性,成为对分布式系统的研究热点之一。


技术实现思路

1、本公开实施例提出了一种分布式系统的数据副本存储方法、分布式系统的数据副本访问方法、装置、电子设备、计算机可读存储介质及计算机程序产品,提高了数据副本的安全性以及分布式系统的负载均衡能力。

2、第一方面,本公开实施例提出了一种分布式系统的数据副本存储方法,包括:基于分布式系统中物理节点的状态信息确定物理节点的权重值,其中状态信息包括物理节点的负载信息;基于物理节点的权重值,将分属于分布式系统中不同逻辑分区的物理节点组合为归置组;将数据副本的多个分片存储在同一归置组的物理节点。</p>

3、第二本文档来自技高网...

【技术保护点】

1.一种分布式系统的数据副本存储方法,包括:

2.根据权利要求1所述的存储方法,其中,基于所述物理节点的权重值,将分属于所述分布式系统中不同逻辑分区的物理节点组合为归置组包括:

3.根据权利要求2所述的存储方法,其中,基于以下步骤确定所述归置组中所述物理节点的需求数量:

4.根据权利要求1所述的存储方法,其中,将所述数据副本的多个分片存储在同一归置组的物理节点包括:

5.根据权利要求4所述的存储方法,其中,动态调整所述归置组的权重值包括:

6.根据权利要求5所述的存储方法,其中,基于所述物理节点的权重值,将分属于所述分布式系统中...

【技术特征摘要】

1.一种分布式系统的数据副本存储方法,包括:

2.根据权利要求1所述的存储方法,其中,基于所述物理节点的权重值,将分属于所述分布式系统中不同逻辑分区的物理节点组合为归置组包括:

3.根据权利要求2所述的存储方法,其中,基于以下步骤确定所述归置组中所述物理节点的需求数量:

4.根据权利要求1所述的存储方法,其中,将所述数据副本的多个分片存储在同一归置组的物理节点包括:

5.根据权利要求4所述的存储方法,其中,动态调整所述归置组的权重值包括:

6.根据权利要求5所述的存储方法,其中,基于所述物理节点的权重值,将分属于所述分布式系统中不同逻辑分区的物理节点组合为归置组还包括:

7.根据权利要求1所述的存储方法,其中,所述逻辑分区包括:机架分区、交换机分区、机房分区以及地域分区中的至少之一。

8.根据权利要求1所述的存储方法,其中,还包括:

9.根据权利要求8所述的存储方法,其中,所述物理节点的负载信息包括:cpu空闲率、内存空闲率、磁盘空闲率以及网络空闲率。

10.根据权利要求9所述的存储方法,其中,基于更新后的所述物理节点的状态信息,调整所述物理节点的权重值包括:

11.根据权利要求10所述的存储方法,其中,还包括:

12.根据权利要求8所述的存储方法,其中,动态更新所述物理节点的状态信息包括:

13.根据权利要求8所述的存储方法,其中,所述方法还包括:

14.一种分布式系统的数据副本访问方法,包括:

15.根据权利要求14所述的访问方法,其中,还包括:

16.根据权利要求15所述的访问方法,其中,更新所述访问列表中所述物理节点的排列顺序包括:

17.根据权利要求15所述的访问方法,其中,更新所述访问列表中所述物理节点的排列顺序还包括:

18.根据权利要求15所述的访问方法,其中,更新所述访问列表中所述物理节点的排列顺序还包括:

19.根据权利要求15所述的访问方法,其中,更新所述访问列表中所述物理节点的排列顺序还包括:

20.一种分布式系统的数据副本存储装置,包括:

21.根据权利要求20所述的存...

【专利技术属性】
技术研发人员:李树毫付胜博
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1