流量控制、集群资源保障方法、设备及存储介质技术

本申请实施例提供一种流量控制、集群资源保障方法、设备及存储介质。在流量控制方法中，存储节点接收到用户的访问请求后，可从数据量索引信息中，查询该访问请求对应的数据量，并可根据查询到的数据量以及预设的流量阈值，对访问请求进行流量控制。基于这种实施方式，一方面，存储节点可自主实现访问压力的预测，极大降低了流量控制所需的计算资源的成本。另一方面，存储节点基于访问请求对应的真实数据量进行压力预测，可预测得到访问请求产生的真实压力，从而有利于根据不同的访问请求之间的差异性，精准地进行流量控制。精准地进行流量控制。精准地进行流量控制。

【技术实现步骤摘要】
流量控制、集群资源保障方法、设备及存储介质


[0001]本申请涉及云计算
，尤其涉及一种流量控制、集群资源保障方法、设备及存储介质。

技术介绍

[0002]云平台提供的容器服务可使用分布式存储系统存储用户在kubernetes集群中的元信息。在公有云的场景中，多个用户(即多租户)可共享一个数据库集群，从而提升数据库集群利用率，降低成本。
[0003]但是，多个用户共享一个数据库集群时，多个共享用户可产生大流量的访问请求，这种大流量访问可能导致集群整体不可用或者服务质量下降。现有的流量控制方式，具有部署成本较高的问题。因此，有待提出一种新的解决方案。

技术实现思路

[0004]本申请的多个方面提供一种流量控制、集群资源保障方法、设备及存储介质，用以降低多租户场景下的流量控制成本，提升多用户场景下的流量控制的准确性。
[0005]本申请实施例还提供一种流量控制方法，包括：存储节点接收用户的访问请求；从数据量索引信息中，查询所述访问请求对应的数据量；所述数据量索引信息，用于保存所述存储节点的不同用户在所述存储节点中的可访问数据的数据量；根据所述访问请求对应的数据量以及预设的流量阈值，对所述访问请求进行流量控制。
[0006]进一步可选地，所述数据量索引信息，采用采用键
‑
值存储结构进行存储；从数据量索引信息中，查询所述访问请求对应的数据量，包括：根据所述用户的标识以及所述访问请求携带的数据标识，确定待查询的键；在所述数据量索引信息中，查询所述待查询的健对应的值，得到所述访问请求的数据量。
[0007]进一步可选地，根据所述访问请求对应的数据量以及预设的流量阈值，对所述访问请求进行流量控制，包括：确定令牌桶，所述令牌桶的令牌投放速率与所述流量阈值对应；根据所述访问请求对应的数据量，计算所述访问请求所需的令牌数；根据所述令牌桶的剩余令牌数以及所述访问请求所需的令牌数，采用令牌桶算法，对所述访问请求进行流量控制。
[0008]进一步可选地，所述流量阈值包括：所述存储节点的全局流量阈值，或者，所述用户的单用户流量阈值；根据所述令牌桶的剩余令牌数以及所述访问请求所需的令牌数，采用令牌桶算法，对所述访问请求进行流量控制，包括：判断所述令牌桶中的剩余令牌数是否小于所述访问请求所需的令牌数；若所述令牌桶中的剩余令牌数小于所述访问请求所需的令牌数，则对所述访问请求进行访问异常处理。
[0009]进一步可选地，所述令牌桶包括：第一令牌桶以及第二令牌桶；所述第一令牌桶的令牌投放速率与所述存储节点的全局流量阈值对应；所述第二令牌桶的令牌投放速率与所述用户的单用户流量阈值对应；根据所述令牌桶的剩余令牌数以及所述访问请求所需的令
牌数，采用令牌桶算法，对所述访问请求进行流量控制，包括：判断所述第一令牌桶中的剩余令牌数是否小于所述访问请求所需的令牌数；若所述第一令牌桶中的剩余令牌数大于或者等于所述访问请求所需的令牌数，则判断所述第二令牌桶中的剩余令牌数是否小于所述访问请求所需的令牌数；若所述第二令牌桶中的剩余令牌数小于所述访问请求所需的令牌数，则对所述访问请求进行访问异常处理。
[0010]进一步可选地，根据所述访问请求对应的数据量以及预设的流量阈值，对所述访问请求进行流量控制之前，还包括：读取为所述存储节点动态配置的流量策略文件；从所述流量策略文件中，解析得到流量控制操作的启动指令，所述启动指令包括：全局流量控制指令，和/或，单用户流量控制指令；根据所述启动指令，开启所述存储节点的全局流量控制，和/或，单个用户流量控制。
[0011]进一步可选地，读取为所述存储节点动态配置的流量策略文件之后，还包括：从所述流量策略文件中，解析得到流量控制类型，和/或，流量控制阈值；其中，所述流量控制类型，包括：写入流量控制和/或读取流量控制；其中，所述流量控制阈值，包括：全局流量阈值，和/或，单用户流量阈值。
[0012]本申请实施例还提供一种数据库集群资源保障方法，所述数据库集群包括多个存储节点，任一存储节点的存储资源被多个用户共享使用；所述方法包括：所述数据库集群中的任一存储节点接收用户的访问请求；从数据量索引信息中，查询所述访问请求对应的数据量；所述数据量索引信息，用于保存所述存储节点的不同用户在所述存储节点中的可访问数据的数据量；根据所述访问请求对应的数据量以及预设的流量阈值，对所述访问请求进行流量控制。
[0013]本申请实施例还提供一种服务器，包括：存储器、处理器以及通信组件；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的方法中的步骤。
[0014]本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现本申请实施例提供的方法中的步骤。
[0015]本申请实施例提供的流量控制方法中，存储节点接收到用户的访问请求后，可从数据量索引信息中，查询该访问请求对应的数据量，并可根据查询到的数据量以及预设的流量阈值，对访问请求进行流量控制。基于这种实施方式，一方面，存储节点可自主实现访问压力的预测，极大降低了流量控制所需的计算资源的成本。另一方面，存储节点基于访问请求对应的真实数据量进行压力预测，可预测得到访问请求产生的真实压力，从而有利于根据不同的访问请求之间的差异性，精准地进行流量控制。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1为基于proxy(数据库代理组件或者代理服务器)进行流量控制的示意图；
[0018]图2为本申请一示例性实施例提供的流量控制方法的流程示意图；
[0019]图3为本申请一示例性实施例提供的数据量索引信息的存储结构的示意图；
[0020]图4为本申请一示例性实施例提供的存储节点内部的模块及其相互调用关系的示
意图；
[0021]图5为本申请一示例性实施例提供的服务器的结构示意图。
具体实施方式
[0022]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]云平台提供的容器服务可使用分布式存储系统(例如etcd存储系统)存储用户在kubernetes集群中的元信息。在公有云的场景中，多个用户可共享一个数据库集群，从而提升数据库集群利用率，降低成本。
[0024]但是，多个用户共享一个数据库集群时，多个共享用户可产生大流量的访问请求，这种大流量访问可能导致集群整体不可用或者服务质量下降。
[0025]在一种etcd数据库集群的解决方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量控制方法，其特征在于，包括：存储节点接收用户的访问请求；从数据量索引信息中，查询所述访问请求对应的数据量；所述数据量索引信息，用于保存所述存储节点的不同用户在所述存储节点中的可访问数据的数据量；根据所述访问请求对应的数据量以及预设的流量阈值，对所述访问请求进行流量控制。2.根据权利要求1所述的方法，其特征在于，所述数据量索引信息，采用采用键
‑
值存储结构进行存储；从数据量索引信息中，查询所述访问请求对应的数据量，包括：根据所述用户的标识以及所述访问请求携带的数据标识，确定待查询的键；在所述数据量索引信息中，查询所述待查询的健对应的值，得到所述访问请求的数据量。3.根据权利要求1所述的方法，其特征在于，根据所述访问请求对应的数据量以及预设的流量阈值，对所述访问请求进行流量控制，包括：确定令牌桶，所述令牌桶的令牌投放速率与所述流量阈值对应；根据所述访问请求对应的数据量，计算所述访问请求所需的令牌数；根据所述令牌桶的剩余令牌数以及所述访问请求所需的令牌数，采用令牌桶算法，对所述访问请求进行流量控制。4.根据权利要求3所述的方法，其特征在于，所述流量阈值包括：所述存储节点的全局流量阈值，或者，所述用户的单用户流量阈值；根据所述令牌桶的剩余令牌数以及所述访问请求所需的令牌数，采用令牌桶算法，对所述访问请求进行流量控制，包括：判断所述令牌桶中的剩余令牌数是否小于所述访问请求所需的令牌数；若所述令牌桶中的剩余令牌数小于所述访问请求所需的令牌数，则对所述访问请求进行访问异常处理。5.根据权利要求3所述的方法，其特征在于，所述令牌桶包括：第一令牌桶以及第二令牌桶；所述第一令牌桶的令牌投放速率与所述存储节点的全局流量阈值对应；所述第二令牌桶的令牌投放速率与所述用户的单用户流量阈值对应；根据所述令牌桶的剩余令牌数以及所述访问请求所需的令牌数，采用令牌桶算法，对所述访问请求进行流量控制，包括：判断所述第一令牌桶中的剩余令牌数是否小于所述访问请求所需的令牌数；若所述第一令牌桶中的剩余令牌数大于或者等于所述访问请求所需的令牌数，则判断所述...

【专利技术属性】
技术研发人员：陈星宇，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：