一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法技术

本发明专利技术公开了一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法，该方法包括启动块存储镜像同步守护进程，执行启动流程请求从主集群同步数据到备集群，采用令牌桶算法对启动流程的IO请求进行控制，执行日志重放事件流程请求从主集群同步数据到备集群，采用令牌桶算法对日志重放事件流程的IO请求进行控制。本发明专利技术采用令牌桶算法对从主集群同步数据到备集群的网络带宽进行限速，避免块存储镜像同步占用过多的网路和IO带宽，同时也能保障重要的数据业务优先备份，并且具备处理突发性IO能力，可以对突然产生的大量IO进行处理，避免对集群网络操作冲击。

A token bucket based synchronous QoS optimization method for CEPH block storage image

【技术实现步骤摘要】
一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法
本专利技术属于数据存储
，具体涉及一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法。
技术介绍
2006诞生的ceph分布式存储系统，是开源社区项目，也是openstack的默认后端存储。ceph是一种软件定义存储，可以运行在所有主流的Linux发行版和其他类UNIX操作系统。ceph的分布式架构使其可以轻易的管理成百上千个节点，同时基于计算的扁平寻址使得ceph客户端可以直接和服务端的任意节点通信，避免因为存在访问热点导致性能瓶颈。ceph对外提供了三大存储接口：块存储(RADOSBlockDevice，RBD)、文件系统、对象存储。RBD已成为openstack等IaaS(基础设施及服务)云计算环境中虚拟机、镜像、云盘等服务的块设备存储后端。随着ceph的发展，在Jewel发行版中，开始有了使用RBD镜像来作为两个ceph集群的灾备功能。该功能使用RBDjournaling(日志)特性来确保两个集群之间的同步复制。Mirroring(镜像同步)是在对等集群中的每本文档来自技高网...

【技术保护点】
1.一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法，其特征在于，包括以下步骤：/nS1、启动块存储镜像同步守护进程，并建立一个共享令牌桶类；/nS2、利用块存储镜像同步守护进程执行启动流程，请求从主集群同步数据到备集群；/nS3、采用令牌桶算法对启动流程的IO请求进行控制，得到主镜像的一个快照，并将得到的整个快照同步到备集群的镜像；/nS4、利用块存储镜像同步守护进程执行日志重放事件流程，请求从主集群同步数据到备集群；/nS5、采用令牌桶算法对日志重放事件流程的IO请求进行控制，通过日志的方式将每次日志事件抓取到备集群的镜像，在备集群的镜像上进行回放。/n

【技术特征摘要】
1.一种基于令牌桶算法的Ceph块存储镜像同步QoS优化方法，其特征在于，包括以下步骤：
S1、启动块存储镜像同步守护进程，并建立一个共享令牌桶类；
S2、利用块存储镜像同步守护进程执行启动流程，请求从主集群同步数据到备集群；
S3、采用令牌桶算法对启动流程的IO请求进行控制，得到主镜像的一个快照，并将得到的整个快照同步到备集群的镜像；
S4、利用块存储镜像同步守护进程执行日志重放事件流程，请求从主集群同步数据到备集群；
S5、采用令牌桶算法对日志重放事件流程的IO请求进行控制，通过日志的方式将每次日志事件抓取到备集群的镜像，在备集群的镜像上进行回放。


2.如权利要求1所述的基于令牌桶算法的Ceph块存储镜像同步QoS优化方法，其特征在于，所述步骤S3中采用令牌桶算法对启动流程从主集群抓取对象操作进行控制具体包括以下分步骤：
S31、利用启动流程向主集群发送同步IO请求；
S32、判断QoS的队列是否已满；若是，则丢弃该同步IO；若否，则将该同步IO放置到QoS的队列中；
S33、获取令牌，并判断共享令牌桶中剩余令牌数是否大于该同步IO所需令牌数；
S34、若共享令牌桶中剩余令牌数不小于该同步IO所需令牌数，则处理该同步IO，执行从主集群中抓取对象操作；
S35、若共享令牌桶中剩余令牌数小于该同步IO所需令牌数，则将同步IO所需令牌数减去共享令牌桶中剩余令牌数，并将该将同步IO...

【专利技术属性】
技术研发人员：岳辉，王勇，董朋志，
申请(专利权)人：中经社控股有限公司，
类型：发明
国别省市：北京;11