一种数据管理系统、方法及相关设备技术方案

技术编号:40711985 阅读:34 留言:0更新日期:2024-03-22 11:14
本申请提供一种数据管理系统、方法及相关设备,该数据管理系统包括调度模块和多个管理服务模块,多个管理服务模块部署在多个计算节点,每个计算节包括一个管理服务模块,其中,调度模块用于获取第一视图,该第一视图包括数据对应的副本在多个计算节点中的目标分布;调度模块还用于在第一视图与当前的副本分布对应的第二视图不同的情况下,根据第一视图生成调整指令,该调整指令用于指示上述多个管理服务模块将各个计算节点中的副本分布调整为目标分布;多个管理服务模块根据调整指令调整对应计算节点中的副本的分布,得到目标分布。通过该系统能够快速实现故障以及扩容缩容等情况下数据分布的切换,支持平滑的在线扩容,降低对数据服务的影响。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种数据管理系统、方法及相关设备


技术介绍

1、数据服务的可扩展性非常重要,一种常用的提升分布式系统可扩展性的手段是分片。它的基本思想是将数据划分为多个更细粒度的分片,并分配给不同的节点。实际上,为一个分布式系统支持分区需要考虑非常多的因素,如:分配策略(指定分片被分配给哪个计算节点,如容器、服务器),故障发现和恢复,负载均衡和请求路由等。数据服务本质上都可以抽象成一套管理框架。因此提供一种高可靠的数据管理框架,在扩缩容、故障等场景下对业务影响较小的数据管理框架是一个亟待解决的技术问题。


技术实现思路

1、本申请提供一种数据管理系统、方法及相关设备,能够快速实现故障、扩容缩容等情况下数据分布的切换,支持平滑的在线扩容,降低对数据服务的影响。

2、第一方面,本申请提供了一种数据管理系统,该数据管理系统包括调度模块和多个管理服务模块,所述多个管理服务模块部署在多个计算节点,每个计算节包括一个管理服务模块,其中,

3、所述调度模块,用于获取第一视图,所述第一视图包本文档来自技高网...

【技术保护点】

1.一种数据管理系统,其特征在于,包括调度模块和多个管理服务模块,所述多个管理服务模块部署在多个计算节点,每个计算节包括一个管理服务模块,其中,

2.根据权利要求1所述的系统,其特征在于,所述多个计算节点分布在不同的区域,所述多个计算节点属于一个或多个云服务提供商;所述多个计算节点中的每个计算节点包括一个或多个存储实例;其中,所述一个或多个存储实例用于存储所述多个分片的副本,所述存储实例包括物理机、虚拟机或容器中的任意一种或多种。

3.根据权利要求2所述的系统,其特征在于,

4.根据权利要求1-3任一项所述的系统,其特征在于,所述系统还包括存储模块,所...

【技术特征摘要】

1.一种数据管理系统,其特征在于,包括调度模块和多个管理服务模块,所述多个管理服务模块部署在多个计算节点,每个计算节包括一个管理服务模块,其中,

2.根据权利要求1所述的系统,其特征在于,所述多个计算节点分布在不同的区域,所述多个计算节点属于一个或多个云服务提供商;所述多个计算节点中的每个计算节点包括一个或多个存储实例;其中,所述一个或多个存储实例用于存储所述多个分片的副本,所述存储实例包括物理机、虚拟机或容器中的任意一种或多种。

3.根据权利要求2所述的系统,其特征在于,

4.根据权利要求1-3任一项所述的系统,其特征在于,所述系统还包括存储模块,所述存储模块保存有所述数据的元数据,所述元数据包括每个分片对应的指示信息,所述指示信息用于指示对应分片的主副本;所述第一视图和第二视图中均包括每个分片的主副本信息;主副本信息用于指示每个分片的主副本;

5.根据权利要求4所述的系统,其特征在于,所述调度模块还用于:

6.根据权利要求1-5任一项所述的系统,其特征在于,所述系统还包括存储模块,所述存储模块保存有所述数据的元数据,所述元数据包括每个分片对应的副本信息;

7.根据权利要求6所述的系统,其特征在于,

8.根据权利要求4-7任一项所述的系统,其特征在于,所述系统还包括配置模块;

9.根据权利要求8所述的系统,其特征在于,所述数据分布方案还包括优先级信息,所述优先级信息指示所述多个计算节点的优先级;

10.根据权利要求4-9任一项所述的系统,其特征在于,所述存储模块还保存有所述第一视图;

11.一种数据管理方法,其特征在于,应用于包括调度模块和多个管理服务模块的数据管理系统,所述多个管理服务模块部署在多个计算节点,每个计算节包括一个管理服务模块,包括:

12.根据权利要求11所述的方法,其特征在于,所述多个计算节点分布在不同的区域,所述多个计算节点属于一个或多个云服务提供商;所述多个计算节点中的每个计算节点包括一个或多个存储实例;其中,所述一个或多个存储实例用于存储所述多个分片的副本,所述存储实例包括物理...

【专利技术属性】
技术研发人员:毛琦张迪宋佳伟杨秋明张杰贺晋如
申请(专利权)人:行吟信息科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1