【技术实现步骤摘要】
一种流量控制方法、装置及电子设备和存储介质
[0001]本申请涉及计算机
，更具体地说，涉及一种流量控制方法、装置及一种电子设备和一种计算机可读存储介质。
技术介绍
[0002]大数据时代的应用对存储性能的要求越来越高，而传统基于机械盘的存储系统难以满足这些应用对于高性能的需求。基于闪存的日志结构存储系统利用了闪存快速顺序访问的特性，能够大幅提升存储系统的性能，从而开始得到广泛应用。日志结构存储系统是一种将数据顺序追加写，并通过写时重定向建立地址映射关系的存储系统，由垃圾回收机制来回收未被地址映射指向的无效数据空间，以保证存储空间不会被垃圾耗尽。然而，由于业务和垃圾回收对系统资源存在直接的竞争关系，业务占用资源过多会导致垃圾回收效率不高，从而导致存储空间耗尽，甚至造成业务卡死；而垃圾回收占用资源过多会显著影响业务性能和服务质量。
[0003]因此，如何实现业务与垃圾回收的平衡，既不会影响业务性能又不会导致存储空间耗尽是本领域技术人员需要解决的技术问题。
技术实现思路
[0004]本申请的目的在于提供一种流量控制方法、装置及一种电子设备和一种计算机可读存储介质，实现了业务与垃圾回收的平衡，既不会影响业务性能又不会导致存储空间耗尽。
[0005]为实现上述目的，本申请提供了一种流量控制方法，包括：
[0006]确定集群的剩余容量比例，并根据所述剩余容量比例调整所述集群的垃圾回收流控值、业务流控值和垃圾回收与业务的流控比例；其中，所述流控比例与所述剩余容量比例呈负相关；>[0007]基于所述集群中节点的业务压力值将所述业务流控值分配至所述节点；其中，所述节点包括存储节点和计算节点，所述节点分配得到的业务配额与所述节点的业务压力呈正相关；
[0008]基于所述集群中所述存储节点的业务压力值将所述垃圾回收流控值分配至所述存储节点；其中，所述存储节点分配得到的垃圾回收配额与所述存储节点的业务压力呈负相关。
[0009]其中，所述确定集群的剩余容量比例，包括：
[0010]每隔第一预设时间获取集群中节点的容量信息；其中，所述容量信息包括总容量、垃圾容量和剩余容量；
[0011]累计第二预设时间后，计算集群总容量和集群剩余容量；其中，所述第二预设时间为所述第一预设时间的整数倍；
[0012]根据所述集群总容量和所述集群剩余容量确定所述集群的剩余容量比例。
[0013]其中，所述根据所述剩余容量比例调整所述集群的垃圾回收流控值、业务流控值和垃圾回收与业务的流控比例，包括：
[0014]若所述剩余容量比例大于第一预设值且小于1，则将集群的垃圾回收流控值调整为0、业务流控值调整为无穷大、垃圾回收与业务的流控比例调整为0；
[0015]若所述剩余容量比例大于第二预设值且小于或等于所述第一预设值，则根据所述剩余容量比例所属的层级将垃圾回收与业务的流控比例调整为第一目标值；其中，所述剩余容量比例所属的层级与所述剩余容量比例呈负相关，所述第一目标值与所述剩余容量比例所属的层级呈负相关，不同层级对应的第一目标值均大于0且小于1；
[0016]若所述剩余容量比例大于第三预设值且小于或等于所述第二预设值，则将垃圾回收与业务的流控比例调整为第二目标值；其中，所述第二目标值大于1；
[0017]若所述剩余容量比例大于0且小于或等于第四预设值，则将集群的垃圾回收流控值调整为无穷大、业务流控值调整为固定值、垃圾回收与业务的流控比例调整为无穷大。
[0018]其中，还包括：
[0019]基于所述节点分配得到的业务配额采用令牌桶算法进行所述节点业务的流量控制；
[0020]基于所述存储节点分配得到的垃圾回收配额采用时间戳算法进行所述存储节点垃圾回收的流量控制。
[0021]其中，所述基于所述节点分配得到的业务配额采用令牌桶算法进行所述节点业务的流量控制，包括：
[0022]基于所述节点分配得到的业务配额补充令牌桶中的令牌数量；
[0023]判断当前业务任务的贡献值是否小于或等于所述令牌桶中的当前令牌数量；
[0024]若是，则下发所述当前业务任务，并更新所述当前令牌数量；
[0025]若否，则根据所述当前业务任务的贡献值、所述当前令牌数量和所述节点分配得到的业务配额确定所述当前业务任务的调度时间。
[0026]其中，所述基于所述存储节点分配得到的垃圾回收配额采用时间戳算法进行所述存储节点垃圾回收的流量控制，包括：
[0027]根据上一垃圾回收任务的贡献值、时间戳标志和所述存储节点分配得到的垃圾回收配额计算当前垃圾回收任务的时间戳标志；
[0028]判断所述当前垃圾回收任务的时间戳标志是否小于或等于当前调度时间；
[0029]若是，则下发所述当前垃圾回收任务；
[0030]若否，则当所述当前调度时间到达所述当前垃圾回收任务的时间戳标志时，下发所述当前垃圾回收任务。
[0031]其中，所述根据上一垃圾回收任务的贡献值、时间戳标志和所述存储节点分配得到的垃圾回收配额计算当前垃圾回收任务的时间戳标志，包括：
[0032]根据上一垃圾回收任务的贡献值和所述存储节点分配得到的垃圾回收配额计算所述上一垃圾回收任务的执行时间；
[0033]将所述上一垃圾回收任务的时间戳标志与所述执行时间的和设置为当前垃圾回收任务的时间戳标志。
[0034]为实现上述目的，本申请提供了一种流量控制装置，包括：
[0035]确定模块，用于确定集群的剩余容量比例，并根据所述剩余容量比例调整所述集群的垃圾回收流控值、业务流控值和垃圾回收与业务的流控比例；其中，所述流控比例与所述剩余容量比例呈负相关；
[0036]第一分配模块，用于基于所述集群中节点的业务压力值将所述业务流控值分配至所述节点；其中，所述节点包括存储节点和计算节点，所述节点分配得到的业务配额与所述节点的业务压力呈正相关；
[0037]第二分配模块，用于基于所述集群中所述存储节点的业务压力值将所述垃圾回收流控值分配至所述存储节点；其中，所述存储节点分配得到的垃圾回收配额与所述存储节点的业务压力呈负相关。
[0038]为实现上述目的，本申请提供了一种电子设备，包括：
[0039]存储器，用于存储计算机程序；
[0040]处理器，用于执行所述计算机程序时实现如上述流量控制方法的步骤。
[0041]为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述流量控制方法的步骤。
[0042]通过以上方案可知，本申请提供的一种流量控制方法，包括：确定集群的剩余容量比例，并根据所述剩余容量比例调整所述集群的垃圾回收流控值、业务流控值和垃圾回收与业务的流控比例；其中，所述流控比例与所述剩余容量比例呈负相关；基于所述集群中节点的业务压力值将所述业务流控值分配至所述节点；其中，所述节点包括存本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种流量控制方法，其特征在于，包括：确定集群的剩余容量比例，并根据所述剩余容量比例调整所述集群的垃圾回收流控值、业务流控值和垃圾回收与业务的流控比例；其中，所述流控比例与所述剩余容量比例呈负相关；基于所述集群中节点的业务压力值将所述业务流控值分配至所述节点；其中，所述节点包括存储节点和计算节点，所述节点分配得到的业务配额与所述节点的业务压力呈正相关；基于所述集群中所述存储节点的业务压力值将所述垃圾回收流控值分配至所述存储节点；其中，所述存储节点分配得到的垃圾回收配额与所述存储节点的业务压力呈负相关。2.根据权利要求1所述流量控制方法，其特征在于，所述确定集群的剩余容量比例，包括：每隔第一预设时间获取集群中节点的容量信息；其中，所述容量信息包括总容量、垃圾容量和剩余容量；累计第二预设时间后，计算集群总容量和集群剩余容量；其中，所述第二预设时间为所述第一预设时间的整数倍；根据所述集群总容量和所述集群剩余容量确定所述集群的剩余容量比例。3.根据权利要求1所述流量控制方法，其特征在于，所述根据所述剩余容量比例调整所述集群的垃圾回收流控值、业务流控值和垃圾回收与业务的流控比例，包括：若所述剩余容量比例大于第一预设值且小于1，则将集群的垃圾回收流控值调整为0、业务流控值调整为无穷大、垃圾回收与业务的流控比例调整为0；若所述剩余容量比例大于第二预设值且小于或等于所述第一预设值，则根据所述剩余容量比例所属的层级将垃圾回收与业务的流控比例调整为第一目标值；其中，所述剩余容量比例所属的层级与所述剩余容量比例呈负相关，所述第一目标值与所述剩余容量比例所属的层级呈负相关，不同层级对应的第一目标值均大于0且小于1；若所述剩余容量比例大于第三预设值且小于或等于所述第二预设值，则将垃圾回收与业务的流控比例调整为第二目标值；其中，所述第二目标值大于1；若所述剩余容量比例大于0且小于或等于第四预设值，则将集群的垃圾回收流控值调整为无穷大、业务流控值调整为固定值、垃圾回收与业务的流控比例调整为无穷大。4.根据权利要求1所述流量控制方法，其特征在于，还包括：基于所述节点分配得到的业务配额采用令牌桶算法进行所述节点业务的流量控制；基于所述存储节点分配得到的垃圾回收配额采用时间戳算法进行所述存储节点垃圾回收的流量控制。5.根据权利要求4所述流量控制方法，其特征在于，所述基于所述节点分配得到的业务配额采用令牌桶算法进行...
【专利技术属性】
技术研发人员：张扬，付忞，古亮，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。