基于租约的分布式对象存储服务质量保证方法及系统技术方案

本发明专利技术提供了一种基于租约的分布式对象存储服务质量保证方法及系统。该方法包括：每个对象存储网关按照租约中的参数独立进行流量控制，通过定时更新租约来获取一段时间内节点分配到的流量速率，每个服务节点在租约时间范围内使用总流量速率的一部分进行流量控制，进而达到整体流量控制的效果。本发明专利技术提供的基于租约的分布式对象存储服务质量保证方法及系统能够减少流量控制对分布式对象存储扩展性和可靠性的影响。性和可靠性的影响。性和可靠性的影响。

【技术实现步骤摘要】
基于租约的分布式对象存储服务质量保证方法及系统


[0001]本专利技术涉及分布式服务质量保证
，特别是涉及一种基于租约的分布式对象存储服务质量保证方法及系统。

技术介绍

[0002]随着云计算和大数据的迅猛发展，传统的集中式存储越来越无法满足云计算和大数据应用的需求，分布式存储系统因为其灵活的扩展能力已成为云计算平台的重要组成部分。而云计算环境通常采用多租户的方式分配和管理资源，因此如何分配和管理有限的带宽和请求处理能力保证不同租户的服务质量是分布式存储系统需要解决的重要问题。
[0003]针对单节点服务环境，目前业内普遍采用相对成熟的令牌桶和漏桶算法进行流量控制。对于多节点分布式存储系统的流量控制方法通常有如下两种方式：
[0004]方法一：引入集中式代理网关，在代理网关完成对请求和流量的控制。该方案的缺点是集中式代理网关限制了分布式对象存储系统的扩展性，并引入了单点问题。
[0005]方法二：引入Redis等缓存系统，将流量控制的状态信息保存在缓存中，多个节点通过共享缓存状态实现流量控制。该方案每次访问存储的IO请求都会更新缓存中的状态信息，缓存系统的性能和可靠性一定程度制约了整合分布式存储的扩展性。
[0006]上述方案都没有将分布式存储的IO请求和流量控制进行解耦，使得IO请求的处理流程中还要访问第三方实体，影响系统的扩展性和可靠性。特别是对于大规模多数据中心部署的分布式对象存储系统，因为数据中心间的网络延时较大，上述方法都无法较好地支持。

技术实现思路

[0007]本专利技术要解决的技术问题是提供一种基于租约的分布式对象存储服务质量保证方法及系统，能够减少流量控制对分布式对象存储扩展性和可靠性的影响。
[0008]为解决上述技术问题，本专利技术提供了一种基于租约的分布式对象存储服务质量保证方法，应用于对象存储网关，包括：按照租约中的参数独立进行流量控制，通过定时更新租约来获取一段时间内节点分配到的流量速率，每个服务节点在租约时间范围内使用总流量速率的一部分进行流量控制，进而达到整体流量控制的效果。
[0009]在一些实施方式中，还包括：定时上报IO统计信息到租约管理中心。
[0010]在一些实施方式中，还包括：租约管理中心根据IO状态计算每个对象存储网关分配的流量速率控制值。
[0011]在一些实施方式中，从租约管理中心获取流量控制租约信息。
[0012]在一些实施方式中，维护两个租约，根据租约的有效期进行切换，保持可用租约的连续性。
[0013]在一些实施方式中，按照流量控制租约中的参数进行流量控制。
[0014]此外，本专利技术还提供了一种基于租约的分布式对象存储服务质量保证系统，所述
系统包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的基于租约的分布式对象存储服务质量保证方法。
[0015]采用这样的设计后，本专利技术至少具有以下优点：
[0016]状态信息上报和租约更新是由异步定时任务处理，独立于存储的IO处理过程，即存储IO处理过程中不需要访问租约管理中心，分布式存储系统吞吐量不受限于第三方系统。系统的性能和可扩展性没有因为流量控制受到影响。
[0017]由于租约的更新频率和状态的更新频率不取决于系统的IO速率，所以租约管理中心压力并不会因为存储系统的IO压力增加而加大。租约管理中心可以采用成熟的zookeeper、ectd等相对成熟的配置管理中心进行管理，也可以直接将全局的租约等信息保存至分布式存储中进行集中管理。
[0018]因为本专利技术中分布式存储网关和租约管理中心之间采用定时通信的方式，对网络延时有一定容忍度，因此对于大规模多数据中心部署的分布式对象存储系统依然适用。
附图说明
[0019]上述仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，以下结合附图与具体实施方式对本专利技术作进一步的详细说明。
[0020]图1是本专利技术实施例提供的系统架构图；
[0021]图2是本专利技术实施例提供的IO状态上报和租约获取的流程图；
[0022]图3是本专利技术实施例提供的对象存储网关租约切换流程图；
[0023]图4是本专利技术实施例提供的基于租约的分布式对象存储服务质量保证系统的系统架构图。
具体实施方式
[0024]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0025]本专利技术相关组件和系统架构如图1所示，客户端通过访问分布式存储网关的接口使用对象存储服务，分布式存储网关通常采用多个节点部署以提高系统性能和可靠性，客户端按照策略选择不同存储网关接入。租约管理中心是本专利技术引入的独立实体，它由三个模块组成：QoS配置管理模块用于QoS相关配置参数的管理，如：每秒的最大请求数量、每秒读写的字节数量等；IO统计管理模块负责各分布式存储网关的IO统计信息的管理，基于这些信息评估各个存储网关节点的IO负载状况；QoS租约管理模块主要负责各存储网关的QoS租约的分配和管理。
[0026]IO状态上报和租约获取的流程如图2所示，分布式存储网关按照一定规则对其处理的IO进行统计，并定时将这些统计信息以及其保存的最新租约的过期时间等信息上报给租约管理中心。租约管理中心将请求中租约过期时间和QoS租约管理模块中保存的租约进行比较，若请求中的租约过期时间小于租约管理中心中的租约过期时间，则在返回消息中将租约返回给存储网关。存储网关将本地保存的过期时间较早的租约替换为最新获取的租约。
integrated circuit，简称ASIC)和/或数字信号处理器(digital signal processor，简称DSP)的一部分。
[0033]以上所述，仅是本专利技术的较佳实施例而已，并非对本专利技术作任何形式上的限制，本领域技术人员利用上述揭示的
技术实现思路
做出些许简单修改、等同变化或修饰，均落在本专利技术的保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于租约的分布式对象存储服务质量保证方法，应用于对象存储网关，其特征在于，包括：按照租约中的参数独立进行流量控制，通过定时更新租约来获取一段时间内节点分配到的流量速率，每个服务节点在租约时间范围内使用总流量速率的一部分进行流量控制，进而达到整体流量控制的效果。2.根据权利要求1所述的基于租约的分布式对象存储服务质量保证方法，其特征在于，还包括：定时上报IO统计信息到租约管理中心。3.根据权利要求1所述的基于租约的分布式对象存储服务质量保证方法，其特征在于，还包括：租约管理中心根据IO状态计算每个对象存储网关分配的流量速率控制值。4.根据权利要求1所述的基于租约的分布式对象存储服务质量...

【专利技术属性】
技术研发人员：秦伟，尹微，李家祥，文中领，周泽湘，
申请(专利权)人：北京同有飞骥科技股份有限公司，
类型：发明
国别省市：