一种基于共识算法的云存储多集群管理方法及装置制造方法及图纸

本发明专利技术公开了一种基于共识算法的云存储多集群管理方法及装置，涉及分布式存储技术领域。所述方法，包括根据raft算法的etcd来实现leader的选举。可以支持任意细粒度的资源保护，支持无限细分的资源互斥，且不影响无关资源，可以通过对key的命名来做到这一点，性能高，没有网络IO，没有磁盘IO，可靠性高，响应快，完全适应于分布式管控系统，可扩展性强，不受编程语言限制，实现简单好理解，解决天翼云存储管控系统在处理多个集群内部资源竞争问题时，传统办法无法兼顾业务逻辑正确性与良好的使用体验，或者解决办法局限性大的问题。或者解决办法局限性大的问题。或者解决办法局限性大的问题。

【技术实现步骤摘要】
一种基于共识算法的云存储多集群管理方法及装置


[0001]本专利技术涉及分布式存储
，具体为一种基于共识算法的云存储多集群管理方法及装置。

技术介绍

[0002]天翼云存储的云存储服务中，由于划分了许多区域(Region)，每个区域下又有许多可用区(Avai l abi l ity Zones)或资源池，这其中势必存在大量大小不一的底层存储集群基础设施，最传统的集群管理方案时每个集群部署一套管控系统。但存在部署麻烦，维护难度高，人力资源浪费程度明显，且使用时非常不便。很容易想到，更进一步的是，使用一套管控系统管理若干个集群，而每个集群内部存在公共资源竞争，通常我们使用互斥锁对程序代码切片成不同的临界区域保护操作的数据。
[0003]这样的方法在单集群管控系统勉强能用，一但在多集群管控系统中使用，极有可能阻塞其它集群的操作。举个例子来说，管控系统支持修改对象用户的一些配置，以及删除对象用户，程序在这两个流程使用同一个互斥锁进行保护，因为同一个对象用户被修改/删除时不能被其它操作者同时修改或删除等，否则数据将会出错。
专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于共识算法的云存储多集群管理方法，其特征在于，包括以下步骤：S1、根据raft算法的etcd来实现leader的选举；S2、构建名称锁，由选举产生的leader负责，锁的名称对应关系保存在leader进程的内存里；S3、采用引用计数的方式构建名称锁防内存泄露算法；S4、对名称锁进行扩展。2.根据权利要求1所述的一种基于共识算法的云存储多集群管理方法，其特征在于：所述S1中实现leader的选举基于etcd的两个核心功能，分别为TTL和CAS，所述TTL是指给一个key设定一个有效期，过期后这个key被自动删除，确保锁的实时有效性，所述CAS是指在对key进行赋值操作的时候，客户端需要具有一些条件，当这些条件达到后，才允许赋值。3.根据权利要求2所述的一种基于共识算法的云存储多集群管理方法，其特征在于：所述客户端需要满足的条件包括当前赋值key前是否存在，当前赋值key前的值和当前赋值key前的Index。4.根据权利要求1所述的一种基于共识算法的云存储多集群管理方法，其特征在于：所述S1的具体步骤包括；S11、客户端尝试cas create key，若创建成功则给key赋值可以唯一标识自己的value，并设置TTL；S12、客户端TTL/2定期运行，每个客户端会先get这个key的value，跟自己节点定义的value相比较，若相同，则为master角色，若不同，则为slave角色；S13、在master节点中途异常退出情况下，TTL到期后，其他slave节点则会抢占到并选举出新的master。5.根据权利要求4所述的一种基于共识算法的云存储多集群管理方法，其特征在于：master角色情况下，客户端只需更新key的TTL，延长有效时间；在slave角色情况下，客户端周期去cas create key，并设置TTL。6.根据权利要求1所述的一种基...

【专利技术属性】
技术研发人员：刘文进，侯昶，张盛，赵柄熹，樊祥云，刘沁雪，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：