一种分布式存储系统的缩容方法、装置、电子设备及介质制造方法及图纸

技术编号:42721300 阅读:38 留言:0更新日期:2024-09-13 12:08
本公开提供了一种分布式存储系统的缩容方法、装置、电子设备及介质,涉及计算机技术领域,尤其涉及云存储、分布式系统管理技术领域。具体实现方案为:接收缩容请求,其中缩容请求用于请求将第一分片中存储的待迁移数据表迁移到第二分片中。然后获取第一分片的一个节点存储的待迁移数据表的全量数据,并将待迁移数据表的全量数据分别迁移到第二分片包括的每个节点中。之后记录待迁移数据表的标识与第二分片的标识之间的对应关系,对应关系表示待迁移数据表存储于第二分片中。然后删除第一分片。提高了对分布式存储系统进行缩容的灵活性和效率。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及云存储、分布式系统管理。


技术介绍

1、分布式存储系统中通过分片的形式存储数据表,在分片集群存储的数据表转移到其他系统,或者为应对业务高峰而建立的大容量分片集群在业务高峰后需要减少容量等情况下,存在减少分布式存储系统中的分片数量的需求,此时需要对分布式存储系统进行缩容,即删除分布式存储系统中的部分分片。


技术实现思路

1、本公开提供了一种分布式存储系统的缩容方法、装置、电子设备及介质

2、本公开实施例的第一方面,提供了一种分布式存储系统的缩容方法,所述分布式存储系统包括第一分片和第二分片,每个分片包括多个节点,同一个分片包括的各节点存储的数据表相同,所述方法包括:

3、接收缩容请求,所述缩容请求用于请求将所述第一分片中存储的待迁移数据表迁移到所述第二分片中;

4、获取所述第一分片的一个节点存储的待迁移数据表的全量数据;

5、将所述待迁移数据表的全量数据分别迁移到所述第二分片包括的每个节点中;

6、记录所述待迁移数据表的标识本文档来自技高网...

【技术保护点】

1.一种分布式存储系统的缩容方法,所述分布式存储系统包括第一分片和第二分片,每个分片包括多个节点,同一个分片包括的各节点存储的数据表相同,所述方法包括:

2.根据权利要求1所述的方法,其中,所述第二分片包括一个主节点和至少一个非主节点,所述将所述待迁移数据表的全量数据分别迁移到所述第二分片包括的每个节点中,包括:

3.根据权利要求2所述的方法,其中,所述非主节点包括从节点和备用节点,所述将所述第二分片包括的主节点切换为非主节点,并将所述第二分片包括的一个非主节点切换为主节点,包括:

4.根据权利要求2所述的方法,其中,所述非主节点为备用节点,所述将所述...

【技术特征摘要】

1.一种分布式存储系统的缩容方法,所述分布式存储系统包括第一分片和第二分片,每个分片包括多个节点,同一个分片包括的各节点存储的数据表相同,所述方法包括:

2.根据权利要求1所述的方法,其中,所述第二分片包括一个主节点和至少一个非主节点,所述将所述待迁移数据表的全量数据分别迁移到所述第二分片包括的每个节点中,包括:

3.根据权利要求2所述的方法,其中,所述非主节点包括从节点和备用节点,所述将所述第二分片包括的主节点切换为非主节点,并将所述第二分片包括的一个非主节点切换为主节点,包括:

4.根据权利要求2所述的方法,其中,所述非主节点为备用节点,所述将所述第二分片包括的主节点切换为非主节点,并将所述第二分片包括的一个非主节点切换为主节点,包括:

5.根据权利要求2-4任一项所述的方法,在所述将所述第二分片包括的主节点切换为非主节点之前,还包括:

6.根据权利要求1所述的方法,每个分片包括一个主节点;在所述记录所述待迁移数据表的标识与所述第二分片的标识之间的对应关系之前,还包括:

7.根据权利要求1所述的方法,所述分布式存储系统还包括元数据服务器;在所述记录所述待迁移数据表的标识与所述第二分片的标识之间的对应关系之前,还包括:

8.根据权利要求7所述的方法,所述分布式存储系统还包括代理服务器;在所述删除所述第一分片之前,还包括:

9.根据权利要求8所述的方法,所述迁移状态信息还包括从所述元信息获取响应中提取的任务标识,所述任务标识为所述元数据服务器为本次缩容任务生成的标识;在所述向所述元数据服务器发送迁移状态信息之后,还包括:

10.根据权利要求8所述的方法,所述代理服务器存在多个;在所述向所述元数据服务器发送迁移状态信息之后,还包括:

11.根据权利要求10所述的方法,在所述确定各代理服务器对分布元信息修改未成功之前,还包括:

12.根据权利要求1所述的方法,在所述获取所述第一分片的一个节点存储的待迁移数据表的全量数据之前,还包括:

13.根据权利要求12所述的方法,所述分布式存储系统还包括元数据服务器;在所述检查是否满足预设缩容条件之前,所述方法还包括:

14.根据权利要求12或13所述的方法,其中,所述预设缩容条...

【专利技术属性】
技术研发人员:吴筱浏李锁柱向丙周晓明
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1