一种带宽调节方法、系统、设备及存储介质技术方案

本申请实施例提供一种带宽调节方法、系统、设备及存储介质。可统计当前接入数据湖的计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。据湖的计算节点提供带宽。据湖的计算节点提供带宽。

【技术实现步骤摘要】
一种带宽调节方法、系统、设备及存储介质


[0001]本申请涉及云计算
，尤其涉及一种带宽调节方法、系统、设备及存储介质。

技术介绍

[0002]数据湖(Data Lake)，可解释为高度可扩展的数据存储区域，以原始格式存储大量原始数据，直到需要使用为止。数据湖可以存储所有类型的数据，对帐户大小或文件没有固定限制，也没有定义特定用途。数据来自不同的来源，可以是结构化的、半结构化的，甚至是非结构化的，数据可按需查询。数据湖可无缝对接多种计算分析平台，根据使用场景不同，可以选择相应的计算引擎对数据湖中存储的数据进行数据处理与分析，从而打破孤岛，挖掘业务价值。
[0003]带宽是数据湖的重要资源。目前，数据湖通常是按照存储量来提供带宽，例如，租户在数据湖中的存储量为16TB，则默认向租户提供100MBps的带宽能力。但是，这对于数据湖的租户来说却过于死板，并无法满足租户灵活多变的带宽需求，经常出现提供给租户的带宽量冗余浪费或者带宽量不足影响租户的数据分析效率等问题。

技术实现思路

[0004]本申请的多个方面提供一种带宽调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种带宽调节方法，包括：从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；基于所述属性描述信息，分别预测所述计算节点的期望带宽量；将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。2.根据权利要求1所述的方法，所述属性描述信息包括所属租户的标识、所访问的存储单元的标识、节点类型或节点地址中的一种或多种。3.根据权利要求2所述的方法，所述基于所述属性描述信息，分别计算所述计算节点的期望带宽量，包括：基于所述计算节点中的任一目标节点的节点类型，获取所述目标节点的硬件参数；根据所述硬件参数，计算所述目标节点的第一预测带宽量；感知所述目标节点上发起当前访问请求的应用程序的类型；从经验库中，查找所述应用程序的类型与所述目标节点的节点类型组合后所对应的第二预测带宽量；根据所述第一预测带宽量和所述第二预测带宽量，确定所述目标节点对应的期望带宽量。4.根据权利要求1所述的方法，还包括：维护访问请求统计表，所述访问请求统计表中包括属性描述相关的字段和期望带宽量对应的字段；在所述访问请求统计表中动态更新接入所述数据湖的计算节点的属性描述信息及期望带宽量。5.一种带宽调节方法，包括：获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；获取所述存储单元当前的实际带宽量；在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。6.根据权利要求5所述的方法，所述在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量，包括：在所述存储单元中的目标单元下，计算所述目标单元当前承载的所有计算节点的期望带宽量的总和，作为所述目标单元对应的期望带宽总量。7.根据权利要求5所述的方法，所述在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额，包括：在第一类存储单元下，分别计算所需的带宽增量，所述第一类存储单元的期望带宽总量大于原本的带宽配额且实际带宽量达到原本的带宽配额；在第二类存储单元下，分别计算所支持的带宽减量，所述第二类存储单元的实际带宽量小于原本的带宽配额；
在所述第一类存储单元对应的带宽增量总值小于所述第二类存储单元对应的带宽减量总值的情况下，将所述第一类存储单...

【专利技术属性】
技术研发人员：罗庆超，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：