【技术实现步骤摘要】
本专利技术属于分布式存储领域，尤其涉及一种基于目录的分布式存储系统的qos管理方法。
技术介绍
1、随着计算机技术的快速发展，传统的单机应用服务部署模式难以满足企业、机构和组织应用服务规模激增带来的管理需求，从而逐渐发展为服务计算模式，并被广泛应用于商业、金融以及医疗等信息服务领域。云计算作为服务计算的具体表现形式，具有高灵活性、高可扩展性以及高成本效益等特点，从而被广大企业所接受推崇，也为其高速发展奠定了基础。
2、云计算使用分布式的资源以实现高性能，通常服务于多服务多租户的业务场景，因此服务质量(quality of service,qos)保证是必不可少的，对作为云计算存储后端的分布式存储系统亦是如此。solidfire认为qos并不应为特性，而是存储系统设计之初就要仔细考虑的架构问题。然而，与内存、网络、cpu等资源不同的是，分布式存储系统具有io路径长、访问模式复杂、存储设备异构等特点，且数据访问常常会涉及内存、网络以及cpu等多种资源类型，技术难度更高，方案实现更具挑战性。同时，不同的业务场景对qos组织模式的需求是多样化的。公有云平台往往服务于多租户模式，存储资源的分配和控制由云服务提供商管理，客户按需购买服务类型和资源能力，但资源控制较为有限，多体现为硬隔离，以避免“邻居效应”。私有云平台往往服务于多服务模式，组织可以自主控制存储资源的分配和调整，根据需求进行更细粒度的资源管理和定制化，具有更高的灵活性。因此，多样化的qos组织需求为分布式存储qos的实现带来了挑战性。
3、目前常见存储系
技术实现思路
1、本专利技术实施例的目的在于提供一种基于目录的分布式存储系统的qos管理方法，旨在解决上述
技术介绍
中提出的问题。
2、本专利技术实施例是这样实现的，一方面，一种基于目录的分布式存储系统的qos管理方法，所述方法包括以下步骤：
3、步骤一、qos控制器按照qos目录树创建规则加载聚合目录树，并将qos目录树下发到数据节点；
4、步骤二、qos控制器定时向数据节点发送心跳，以获取对数据节点的控制权和获取数据节点的局部资源视图，并聚合维护系统全局资源视图；
5、步骤三、qos控制器根据预设设置每隔数个心跳发起重配置流程，根据全局资源视图进行第一、二级配额，并将配额结果翻译为重配额指令下发给数据节点；
6、步骤四、数据节点接收到qos控制节点发送的重配额指令后，进行第三级配额，并最终执行资源的分配。
7、具体的，步骤一所述qos目录树的目录项包括三种类型：预留目录项、权重目录项和自由目录项，预留目录项具有预留参数,表示为该实体预留r的资源，即使某时刻该实体的需求小于r，该预留的资源也不会分配给其它实体，同时该实体不会使用超过r的资源；权重目录项具有权重参数w、上限参数l以及需求参数d；表示优先满足该实体d的资源，但如果该实体需求的资源少于d，也可以为其分配少于d的资源；同时，该实体不会使用超过l的资源，若某时刻该实体占有的资源在d和l之间，且该实体已被限流，则会以d的权重获取资源，自由目录项根据需求自由分配资源，不设置任何参数；为衡量每个目录项的资源使用情况，对每个目录项新设两个参数，能力c以及已使用u；c为某目录项分配的资源，u为某目录项已使用的资源，所述qos控制器按照qos目录树创建规则并加载聚合目录树包括：将根目录项作为预留目录项、将自由目录项的后代目录项作为自由目录项；若某权重目录项的直接子目录项只有预留目录项和权重目录项两种类型，则该权重目录项除权重外的参数置空，若某权重目录项的直接子目录项存在自由目录项，则参数不置空。
8、进一步的，所述qos控制器对qos目录树中目录项置空参数进行聚合具体包括：
9、任意目录项表现其子目录项的所有需求，在加载完qos目录树后，需对得到目录项中的空参数进行聚合，对于某目录项di及其子目录项sdj，其置空参数的聚合公式为：
10、
11、
12、
13、weight(di)＝1
14、其中，其中reservation(di)表示目录项di的参数r，demand(di)表示目录项di的参数d，limit(di)表示目录项di的参数l，n为目录项di的子目录数量。
15、进一步的，步骤二qos控制节点发送的心跳携带一个单调递增的版本号，每发送一次心跳，该版本号加1，数据节点维护一个其见过的最大的版本号，当数据节点收到的心跳版本号小于此版本号，丢弃该请求包。同时，数据节点根据qos目录树统计每个目录项占用的资源，并被心跳响应携带返回给qos控制节点，qos控制节点聚合所有数据节点返回的局部资源视图，形成全局资源视图。没有响应心跳的数据节点被置为stale，直到其对某次心跳做出响应。
16、进一步的，步骤三中qos控制节点的两级配额被称为第一级配额以及第二级配额。第一级配额的作用域为从根目录到最后非全自由目录项的兄弟目录层中的所有目录项。第二级配额的作用域为第一级配额最后一层目录项以及所有的数据节点。
17、具体的，第一级配额的算法流程为，在其作用域内，对于任意目录项si及其子目录项sdj；根据全局资源视图进行第一级具体包括：
18、计算di的可使用配额
19、对于任意c(sdk)＜d(sdk)且u(sdk)＞c(sdk)*0.8，即被限流且没达到最低需求的子目录项sdk，使c(sdk)＝max{c(sdk)*1.2，l(sdk)}，
20、对于任意u(sdk)＜c(sdk)*0.8，即没被限流的子目录项sdk，使c(sdk)＝c(sdk)*0.9，
21、对于任意d(sdl)＜c(sdl)＜l(sdl)且u(sdl)＞c(sdl)*0.8，即被限流且能力在d和l之间的子目录项sdi，使
22、若不存在被限流且能力在d和l之间的子目录项sdi，则对于任意非预留目录项的子目录项sdl，使
23、递归对子目录项执行上述步骤；
24、其中u(sdk)表示sdk的参数u，c(sdk)表示sdk的参数c，其余符号函数与前述保持一致。
25、具体的，第二级配额的作用域为第一级配额最后一层目录项以及所有的数据节点，算法具体流程为，在其作用域内，对于任意目录项di及相关数据节点dnj：
26、计算资源变动
27、如果所有数据节点都没被限流，则所有数据节点平均承担δc并终止流程；
28、对于任意u(dnk)＜c(dnk)*0.8，即没被限流的数据节点dnk，使c(dnk)＝c(dnk)-0.5*[c(dnk)-u(dnk)]；
29、若δc＞0，对任意即能力超过平均能力的数据节点dnl，以及任本文档来自技高网...
【技术保护点】
1.一种基于目录的分布式存储系统的QoS管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，所述QoS控制器按照QoS目录树创建规则并加载聚合目录树，并将QoS目录树下发到数据节点具体包括：
3.根据权利要求2所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，所述QoS控制器对QoS目录树中目录项置空参数进行聚合具体包括：
4.根据权利要求1所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，QoS目录树的目录项包括三种类型：预留目录项、权重目录项和自由目录项，预留目录项具有预留参数，表示为该实体预留R的资源，即使某时刻该实体的需求小于R，该预留的资源也不会分配给其它实体，同时该实体不会使用超过R的资源；权重目录项具有权重参数W、上限参数L以及需求参数D；表示优先满足该实体D的资源，但如果该实体需求的资源少于D，也可以为其分配少于D的资源；同时，该实体不会使用超过L的资源，若某时刻该实体占有的资源在D和L之间，且该实体已被限流，则会以D的权重获取资源，自由目录项根
5.根据权利要求1所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，所述QoS控制器定时向数据节点发送心跳，以获取对数据节点的控制权和获取数据节点的局部资源视图，并聚合维护系统全局资源视图包括：
6.根据权利要求1所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，所述QoS控制节点根据全局资源视图进行的两级配额被称为第一级配额以及第二级配额，第一级配额的作用域为从根目录到最后非全自由目录项的兄弟目录层中的所有目录项，在其作用域内，对于任意目录项Di及其子目录项SDj；根据全局资源视图进行第一级具体包括：
7.根据权利要求1所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，第二级配额的作用域为第一级配额最后一层目录项以及所有的数据节点，算法具体流程为，在其作用域内，对于任意目录项Di及相关数据节点DNj：
8.根据权利要求1或6或7所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，所述将配额结果翻译为重配额指令并下发给数据节点包括：
9.根据权利要求1或6或7所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，所述系统还包括：
10.根据权利要求9所述的基于目录的分布式存储系统的QoS管理方法，其特征在于，第三级配额的作用域为QoS目录树与第一级配额作用域的补集并第一级配额作用域的最后一层目录项，在其作用域内，对于任意目录项Di及其子目录项SDj，所述方法还包括：
...【技术特征摘要】
1.一种基于目录的分布式存储系统的qos管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于目录的分布式存储系统的qos管理方法，其特征在于，所述qos控制器按照qos目录树创建规则并加载聚合目录树，并将qos目录树下发到数据节点具体包括：
3.根据权利要求2所述的基于目录的分布式存储系统的qos管理方法，其特征在于，所述qos控制器对qos目录树中目录项置空参数进行聚合具体包括：
4.根据权利要求1所述的基于目录的分布式存储系统的qos管理方法，其特征在于，qos目录树的目录项包括三种类型：预留目录项、权重目录项和自由目录项，预留目录项具有预留参数，表示为该实体预留r的资源，即使某时刻该实体的需求小于r，该预留的资源也不会分配给其它实体，同时该实体不会使用超过r的资源；权重目录项具有权重参数w、上限参数l以及需求参数d；表示优先满足该实体d的资源，但如果该实体需求的资源少于d，也可以为其分配少于d的资源；同时，该实体不会使用超过l的资源，若某时刻该实体占有的资源在d和l之间，且该实体已被限流，则会以d的权重获取资源，自由目录项根据需求自由分配资源，不设置任何参数；为衡量每个目录项的资源使用情况，对每个目录项新设两个参数，能力c以及已使用u；c为某目录项分配的资源，u为某目录项已使用的资源，所述qos控制器按照qos目录树创建规则并加载聚合目录树包括：将根目录项作为预留目录项、将自由目录项的后代目录项作为自由目录项；若某权重目录项的直接子目录项只有预留目录项和权重目录项两种类型，则该权重目录项除权重外...
【专利技术属性】
技术研发人员：鹿轶轩，史涛，陈娴娴，朱东杰，赵洪伟，
申请(专利权)人：山东百盟信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。