一种块存储数据备份的并发控制方法及系统技术方案

本发明专利技术涉及云计算技术领域，具体为一种块存储数据备份的并发控制方法包括以下步骤：cinder

【技术实现步骤摘要】
一种块存储数据备份的并发控制方法及系统


[0001]本专利技术涉及云计算
，具体为一种块存储数据备份的并发控制方法及系统。

技术介绍

[0002]在一个云中心环境下，客户有大量的数以千计的块存储数据，即客户云硬盘。当需要对全部或者大部分云硬盘进行备份时，对网络传输带宽、节点CPU和内存、存储集群均造成压力，此时会影响用户正常生产业务，甚至造成瘫痪。
[0003]现有技术中，以openstack环境为基础的云平台，由cinder来提供块存储服务，由cinder
‑
backup来提供块存储数据的备份服务。在做备份时，先将块存储数据读到内存中，然后对数据进行计算处理，最后再将处理后的数据备份到存储后端中。在有大量备份请求同时发生时，cinder
‑
backup不会对请求数量做限制，会对所有请求都进行响应并且开启对应的备份过程。
[0004]但是，每个备份都会占用网络、计算、存储资源，当备份数量过多时，势必会占用大量资源；不过，cinder
‑
backup提供了一种基于信号量(Semaphore)的限制方式，即虽然对所有请求都进行响应，但是需要获取到信号量才能开启备份过程。这样通过设置有限数量的信号量来达到一定的限制效果，但同时也存在请求无法持久化以及请求顺序无法保证等问题。

技术实现思路

[0005]本专利技术的目的在于提供一种块存储数据备份的并发控制方法及系统，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种块存储数据备份的并发控制方法，所述块存储数据备份的并发控制方法包括以下步骤：
[0007]cinder
‑
backup后端服务新增负载相关的配置；
[0008]在cinder库中新增backup_queue表用于队列持久化；
[0009]cinder
‑
scheduler调度器会根据各个后端服务上报的状态和负载能力进行后端的调度选择；
[0010]cinder
‑
scheduler调度器通过定时任务轮询，将队列中等待的备份请求调度出队执行。
[0011]优选的，cinder
‑
backup后端服务新增backup_standard_load、backup_max_load、backup_max_load_time_range三项配置。
[0012]优选的，backup_queue表记录超过备份并发数量的请求参数及相关上下文，表结构如下：created_at(datetime)创建时间、updated_at(datetime)更新时间、deleted_at(datetime)删除时间、deleted(tinyint(1))是否已删除、id(varchar(36))uuid主键、backup_id(varchar(36))备份id、backup_context(text)备份请求的相关上下文、host
(varchar(255))执行备份的后端host、incremental(tinyint(1))是否为增量备份、availability_zone(varchar(255))备份的可用域。
[0013]优选的，查询backup_queue表中是否有同类型的备份请求正在等待，如果有，为了保证请求先后顺序，直接把该备份放入队列尾等待，放入队尾的操作包含两部分：一将此次备份请求参数及相关上下文记录到backup_queue中，二将该备份的元数据中增加queuing标记；如果无，判断是否有可用的空闲的后端，即当前备份数量是否达到负载能力上限，当前备份数量通过backups表中属于目标host且状态为creating的记录数量得到；如果有，则通知该后端开启备份过程；如果无，将该备份放入队列尾等待。
[0014]优选的，遵循队列的先入先出原则，按照不同的availability_zone和不同的host下，各取出最早进入队列的备份请求，然后根据备份请求参数及上下文信息进行调度执行。
[0015]一种块存储数据备份的并发控制系统，该系统由增配模块、记录模块、备份模块以及调度模块构成；
[0016]增配模块，用于cinder
‑
backup后端服务新增负载相关的配置；
[0017]记录模块，用于在cinder库中新增backup_queue表用于队列持久化；
[0018]备份模块，用于cinder
‑
scheduler调度器会根据各个后端服务上报的状态和负载能力进行后端的调度选择；
[0019]调度模块，用于cinder
‑
scheduler调度器通过定时任务轮询，将队列中等待的备份请求调度出队执行。
[0020]优选的，所述增配模块中，cinder
‑
backup后端服务新增backup_standard_load、backup_max_load、backup_max_load_time_range三项配置。
[0021]优选的，所述记录模块中，backup_queue表记录超过备份并发数量的请求参数及相关上下文，表结构如下：created_at(datetime)创建时间、updated_at(datetime)更新时间、deleted_at(datetime)删除时间、deleted(tinyint(1))是否已删除、id(varchar(36))uuid主键、backup_id(varchar(36))备份id、backup_context(text)备份请求的相关上下文、host(varchar(255))执行备份的后端host、incremental(tinyint(1))是否为增量备份、availability_zone(varchar(255))备份的可用域。
[0022]优选的，所述备份模块中，查询backup_queue表中是否有同类型的备份请求正在等待，如果有，为了保证请求先后顺序，直接把该备份放入队列尾等待，放入队尾的操作包含两部分：一将此次备份请求参数及相关上下文记录到backup_queue中，二将该备份的元数据中增加queuing标记；如果无，判断是否有可用的空闲的后端，即当前备份数量是否达到负载能力上限，当前备份数量通过backups表中属于目标host且状态为creating的记录数量得到；如果有，则通知该后端开启备份过程；如果无，将该备份放入队列尾等待。
[0023]优选的，所述调度模块中，遵循队列的先入先出原则，按照不同的availability_zone和不同的host下，各取出最早进入队列的备份请求，然后根据备份请求参数及上下文信息进行调度执行。
[0024]与现有技术相比，本专利技术的有益效果是：
[0025]本专利技术提出的块存储数据备份的并发控制方法及系统将超出并发数量的备份请求参数及其上下文放入队本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种块存储数据备份的并发控制方法，其特征在于：所述块存储数据备份的并发控制方法包括以下步骤：cinder
‑
backup后端服务新增负载相关的配置；在cinder库中新增backup_queue表用于队列持久化；cinder
‑
scheduler调度器会根据各个后端服务上报的状态和负载能力进行后端的调度选择；cinder
‑
scheduler调度器通过定时任务轮询，将队列中等待的备份请求调度出队执行。2.根据权利要求1所述的一种块存储数据备份的并发控制方法，其特征在于：cinder
‑
backup后端服务新增backup_standard_load、backup_max_load、backup_max_load_time_range三项配置。3.根据权利要求2所述的一种块存储数据备份的并发控制方法，其特征在于：backup_queue表记录超过备份并发数量的请求参数及相关上下文，表结构如下：created_at(datetime)创建时间、updated_at(datetime)更新时间、deleted_at(datetime)删除时间、deleted(tinyint(1))是否已删除、id(varchar(36))uuid主键、backup_id(varchar(36))备份id、backup_context(text)备份请求的相关上下文、host(varchar(255))执行备份的后端host、incremental(tinyint(1))是否为增量备份、availability_zone(varchar(255))备份的可用域。4.根据权利要求3所述的一种块存储数据备份的并发控制方法，其特征在于：查询backup_queue表中是否有同类型的备份请求正在等待，如果有，为了保证请求先后顺序，直接把该备份放入队列尾等待，放入队尾的操作包含两部分：一将此次备份请求参数及相关上下文记录到backup_queue中，二将该备份的元数据中增加queuing标记；如果无，判断是否有可用的空闲的后端，即当前备份数量是否达到负载能力上限，当前备份数量通过backups表中属于目标host且状态为creating的记录数量得到；如果有，则通知该后端开启备份过程；如果无，将该备份放入队列尾等待。5.根据权利要求4所述的一种块存储数据备份的并发控制方法，其特征在于：遵循队列的先入先出原则，按照不同的availability_zone和不同的host下，各取出最早进入队列的备份请求，然后根据备份请求参数及上下文信息进行调度执行。6.一种如上述权利要求1
‑
5任意一项所述的块存储数据备份的并发控制系统，其特征在于：该系统由增...

【专利技术属性】
技术研发人员：赵益鑫，谢涛涛，宋伟，张晓帆，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：