一种用于分布式存储的流控方法和装置制造方法及图纸

本发明专利技术提供了一种用于分布式存储的流控方法和装置，包括：计算资源分配方的总资源数和与资源分配方对应的资源申请端节点的最小预留配额；将总预留配额从总资源数中扣除，得到剩余资源配额，其中，总预留配额等于最小预留配额乘以所有资源申请端节点的数量；计算包括所有资源申请端节点的所有节点的权重；根据权重和剩余资源配额分配资源配额。不限于对基于层4的协议、ip、端口力度的流控，还可以对同协议类型、同种业务进行精准流控。并且，可有效提升分布式存储系统的性能上线，在同样的性能下可降低系统的响应时间。

A flow control method and device for distributed storage

【技术实现步骤摘要】
一种用于分布式存储的流控方法和装置
本专利技术涉及一种用于分布式存储的流控方法和装置。
技术介绍
常见的流控分为两类：一是传统的流控方式：通过路由器、交换机的QoS模块实现针对IP、端口以及协议类型的流量控制。二是智能流控：通过专用的设备、软件应用组件实现基于应用层的流控。方式一的传统流控方式只能实现基于层4的协议、ip、端口力度的流控，无法对同协议类型、同种业务进行精准流控。方式二的智能流控，和每种业务类型、产品的关联度很大，无成熟的可贴合应用于分布式存储产品的流控技术。
技术实现思路
针对相关技术中存在的问题，本专利技术的目的在于提供一种用于分布式存储的流控方法和装置，不限于对基于层4的协议、ip、端口力度的流控，还可以同协议类型、同种业务进行精准流控。并且，可有效提升分布式存储系统的性能上线，在同样的性能下可降低系统的响应时间。经测试可以提升10％以上的系统吞吐性能。在纠删模式极端情况下，最高可提升近30％～50％的系统吞吐性能。根据本专利技术的实施例，分布式存储的流控方法，包括：计算资源分配方的总资源数和与资源分配方对应的资源申请端节点的最小预留配额；将总预留配额从总资源数中扣除，得到剩余资源配额，其中，总预留配额等于最小预留配额乘以所有资源申请端节点的数量；计算包括所有资源申请端节点的所有节点的权重；根据权重和剩余资源配额分配资源配额。根据本专利技术的实施例，分布式存储的流控方法，还包括：检查资源配额剩余，如果有资源配额剩余，则查找第一个权重不为零的资源申请端节点，并更新第一个权重不为零的资源申请端节点的配额；如果资源配额分配完毕，遍历所有资源申请端节点，使配额信息生效。根据本专利技术的实施例，更新第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额小于当前的配额，则直接更新配额信息给对应的资源申请端节点。根据本专利技术的实施例，更新第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额小于当前的配额，且当前使用的配额大于新分配的配额，则释放相应的配额，其中，释放的相应的配额等于当前使用的配额减去新分配的配额。根据本专利技术的实施例，更新第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额大于当前的配额，则从全局资源配额中分配对应配额给资源申请端节点。根据本专利技术的实施例，更新第一个权重不为零的资源申请端节点的配额包括：如果分配配额失败，则将资源申请端节点加入到配额等待队列中，等待下一次分配。根据本专利技术的实施例，资源申请端节点每次进行业务前，检查对应的资源分配方节点是否有足够的配额供使用，如果无足够的配额，则将请求挂起，等待配额更新后再发送；如果有足够的配额，更新资源申请端节点的资源请求压力值并将对应的资源分配方节点的配额扣除。根据本专利技术的实施例，用于分布式存储的流控装置，包括资源分配方和资源申请端节点，其中，资源分配方用于：计算资源分配方的总资源数和与资源分配方对应的资源申请端节点的最小预留配额；将总预留配额从总资源数中扣除，得到剩余资源配额，其中，总预留配额等于最小预留配额乘以所有资源申请端节点的数量；计算包括所有资源申请端节点的所有节点的权重；根据权重和剩余资源配额分配资源配额。根据本专利技术的实施例，用于分布式存储的流控装置，还包括：检查资源配额剩余，如果有资源配额剩余，则查找第一个权重不为零的资源申请端节点，并更新第一个权重不为零的资源申请端节点的配额；如果资源配额分配完毕，遍历所有资源申请端节点，使配额信息生效。根据本专利技术的实施例，其中，资源申请端节点用于：每次进行业务前，检查对应的资源分配方节点是否有足够的配额供使用，如果无足够的配额，则将请求挂起，等待配额更新后再发送；如果有足够的配额，更新资源申请端节点的资源请求压力值并将对应的资源分配方节点的配额扣除。本专利技术的有益技术效果在于：本专利技术提供的用于分布式存储的流控方法和装置，不限于对基于层4的协议、ip、端口力度的流控，还可以对同协议类型、同种业务进行精准流控。并且，可有效提升分布式存储系统的性能上线，在同样的性能下可降低系统的响应时间。经测试可以提升10％以上的系统吞吐性能。在纠删模式极端情况下，最高可提升近30％～50％的系统吞吐性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术一个实施例的用于分布式存储的流控方法的流程图；图2是根据本专利技术一个实施例的资源分配方与资源申请端节点对应关系的示意图；图3是根据本专利技术一个实施例的资源分配方的配额计算过程的示意图；图4是根据本专利技术一个实施例的配额更新过程的示意图；图5是根据本专利技术另一个实施例的配额更新过程的示意图；图6是根据本专利技术一个实施例的资源申请端配额的控制的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提供了一种用于分布式存储的流控方法，包括：S11，计算资源分配方的总资源数和与资源分配方对应的资源申请端节点的最小预留配额；S12，将总预留配额从总资源数中扣除，得到剩余资源配额，其中，总预留配额等于最小预留配额乘以所有资源申请端节点的数量；S13，计算包括所有资源申请端节点的所有节点的权重；S14，根据权重和剩余资源配额分配资源配额。本专利技术的上述技术方案，通过配额计算以及最小预留配额机制，可以实现不限于对基于层4的协议、ip、端口力度的流控，还可以对同协议类型、同种业务进行精准流控。并且，可有效提升分布式存储系统的性能上线，在同样的性能下可降低系统的响应时间。经测试可以提升10％以上的系统吞吐性能。在纠删模式极端情况下，最高可提升近30％～50％的系统吞吐性能。本专利技术提供的用于分布式存储的流控方法，还包括：S15，检查资源配额剩余，如果有资源配额剩余，则查找第一个权重不为零的资源申请端节点，并更新第一个权重不为零的资源申请端节点的配额；如果资源配额分配完毕，遍历所有资源申请端节点，使配额信息生效。其中，在S15中，更新第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额小于当前的配额，则直接更新配额信息给对应的资源申请端节点。其中，在S15中，更新第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额小于当前的配额，且当前使用的配额大于新分配的配额，则释放相应的配额，其中，释放的相应的配额等于当前使用的配额减去新分配的配额。其中，在S15中，更新第一个权重不为零的资源申请端节点的本文档来自技高网...

【技术保护点】
1.一种用于分布式存储的流控方法，其特征在于，包括：/n计算资源分配方的总资源数和与所述资源分配方对应的资源申请端节点的最小预留配额；/n将总预留配额从所述总资源数中扣除，得到剩余资源配额，其中，所述总预留配额等于所述最小预留配额乘以所有所述资源申请端节点的数量；/n计算包括所有所述资源申请端节点的所有节点的权重；/n根据所述权重和所述剩余资源配额分配资源配额。/n

【技术特征摘要】
1.一种用于分布式存储的流控方法，其特征在于，包括：
计算资源分配方的总资源数和与所述资源分配方对应的资源申请端节点的最小预留配额；
将总预留配额从所述总资源数中扣除，得到剩余资源配额，其中，所述总预留配额等于所述最小预留配额乘以所有所述资源申请端节点的数量；
计算包括所有所述资源申请端节点的所有节点的权重；
根据所述权重和所述剩余资源配额分配资源配额。


2.根据权利要求1所述的用于分布式存储的流控方法，其特征在于，还包括：检查资源配额剩余，如果有资源配额剩余，则查找第一个权重不为零的所述资源申请端节点，并更新所述第一个权重不为零的资源申请端节点的配额；如果资源配额分配完毕，遍历所有所述资源申请端节点，使配额信息生效。


3.根据权利要求2所述的用于分布式存储的流控方法，其特征在于，更新所述第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额小于当前的配额，则直接更新配额信息给对应的所述资源申请端节点。


4.根据权利要求2所述的用于分布式存储的流控方法，其特征在于，更新所述第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额小于当前的配额，且当前使用的配额大于所述新分配的配额，则释放相应的配额，其中，所述释放的相应的配额等于所述当前使用的配额减去所述新分配的配额。


5.根据权利要求2所述的用于分布式存储的流控方法，其特征在于，更新所述第一个权重不为零的资源申请端节点的配额包括：如果新分配的配额大于当前的配额，则从全局资源配额中分配对应配额给所述资源申请端节点。


6.根据权利要求2所述的用于分布式存储的流控方法，其特征在于，更新所述第一个权重不为零的资源...

【专利技术属性】
技术研发人员：纪志祥，沈海嘉，张廷全，苗艳超，
申请(专利权)人：天津中科曙光存储科技有限公司，
类型：发明
国别省市：天津;12