一种带宽调节方法、系统、设备及存储介质技术方案

本申请实施例提供一种带宽调节方法、系统、设备及存储介质。可统计当前接入数据湖的计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。据湖的计算节点提供带宽。据湖的计算节点提供带宽。

【技术实现步骤摘要】
一种带宽调节方法、系统、设备及存储介质


[0001]本申请涉及云计算
，尤其涉及一种带宽调节方法、系统、设备及存储介质。

技术介绍

[0002]数据湖(Data Lake)，可解释为高度可扩展的数据存储区域，以原始格式存储大量原始数据，直到需要使用为止。数据湖可以存储所有类型的数据，对帐户大小或文件没有固定限制，也没有定义特定用途。数据来自不同的来源，可以是结构化的、半结构化的，甚至是非结构化的，数据可按需查询。数据湖可无缝对接多种计算分析平台，根据使用场景不同，可以选择相应的计算引擎对数据湖中存储的数据进行数据处理与分析，从而打破孤岛，挖掘业务价值。
[0003]带宽是数据湖的重要资源。目前，数据湖通常是按照存储量来提供带宽，例如，租户在数据湖中的存储量为16TB，则默认向租户提供100MBps的带宽能力。但是，这对于数据湖的租户来说却过于死板，并无法满足租户灵活多变的带宽需求，经常出现提供给租户的带宽量冗余浪费或者带宽量不足影响租户的数据分析效率等问题。

技术实现思路

[0004]本申请的多个方面提供一种带宽调节方法、系统、设备及存储介质，用以更加合理地为接入数据湖的计算节点提供带宽。
[0005]本申请实施例提供一种带宽调节方法，包括：
[0006]从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；
[0007]基于所述属性描述信息，分别预测所述计算节点的期望带宽量；
[0008]将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。
[0009]本申请实施例还提供一种带宽调节方法，包括：
[0010]获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；
[0011]在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
[0012]获取所述存储单元当前的实际带宽量；
[0013]在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
[0014]本申请实施例还提供一种电子设备，包括存储器和处理器；
[0015]所述存储器用于存储一条或多条计算机指令；
[0016]所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
[0017]从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；
[0018]基于所述属性描述信息，分别预测所述计算节点的期望带宽量；
[0019]将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。
[0020]本申请实施例还提供一种电子设备，包括存储器和处理器；
[0021]所述存储器用于存储一条或多条计算机指令；
[0022]所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
[0023]获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；
[0024]在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
[0025]获取所述存储单元当前的实际带宽量；
[0026]在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
[0027]本申请实施例还提供一种带宽调节系统，包括：
[0028]应用了前述带宽调节方法的统计节点，以及，应用了前述带宽调节方法的动态调节节点；所述统计节点将为接入数据湖的计算节点预测的期望带宽量提供至所述动态调节节点，以供所述动态调节节点为数据湖中的存储单元调整带宽配额。
[0029]本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的带宽调节方法。
[0030]在本申请实施例中，提供了一种应用于数据湖场景的带宽调节系统，可统计当前接入数据湖的各个计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，本申请实施例中，带宽调节系统可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。
附图说明
[0031]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0032]图1为本申请一示例性实施例提供的一种带宽调节系统的结构示意图；
[0033]图2为本申请另一示例性实施例提供的一种带宽调节方法的流程示意图；
[0034]图3为本申请又一示例性实施例提供的一种统计阶段的流程示意图；
[0035]图4为本申请又一示例性实施例提供的一种动态调节阶段的流程示意图；
[0036]图5为本申请又一示例性实施例提供的一种执行阶段的流程示意图；
[0037]图6为本申请又一示例性实施例提供的一种带宽调节方法的流程示意图；
[0038]图7为本申请又一示例性实施例提供的一种电子设备的结构示意图；
[0039]图8为本申请又一示例性实施例提供的另一种带宽调节方法的流程示意图。
具体实施方式
[0040]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0041]目前，数据湖通常按照存储量来提供带宽，过于死板，无法租户灵活多变的带宽需求。为此，本申请的一些实施例中：提供了一种应用于数据湖场景的带宽调节系统，可统计当前接入数据湖的各个计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种带宽调节方法，包括：从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；基于所述属性描述信息，分别预测所述计算节点的期望带宽量；将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。2.根据权利要求1所述的方法，所述属性描述信息包括所属租户的标识、所访问的存储单元的标识、节点类型或节点地址中的一种或多种。3.根据权利要求2所述的方法，所述基于所述属性描述信息，分别计算所述计算节点的期望带宽量，包括：基于所述计算节点中的任一目标节点的节点类型，获取所述目标节点的硬件参数；根据所述硬件参数，计算所述目标节点的第一预测带宽量；感知所述目标节点上发起当前访问请求的应用程序的类型；从经验库中，查找所述应用程序的类型与所述目标节点的节点类型组合后所对应的第二预测带宽量；根据所述第一预测带宽量和所述第二预测带宽量，确定所述目标节点对应的期望带宽量。4.根据权利要求1所述的方法，还包括：维护访问请求统计表，所述访问请求统计表中包括属性描述相关的字段和期望带宽量对应的字段；在所述访问请求统计表中动态更新接入所述数据湖的计算节点的属性描述信息及期望带宽量。5.一种带宽调节方法，包括：获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；获取所述存储单元当前的实际带宽量；在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。6.根据权利要求5所述的方法，所述在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量，包括：在所述存储单元中的目标单元下，计算所述目标单元当前承载的所有计算节点的期望带宽量的总和，作为所述目标单元对应的期望带宽总量。7.根据权利要求5所述的方法，所述在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额，包括：在第一类存储单元下，分别计算所需的带宽增量，所述第一类存储单元的期望带宽总量大于原本的带宽配额且实际带宽量达到原本的带宽配额；在第二类存储单元下，分别计算所支持的带宽减量，所述第二类存储单元的实际带宽量小于原本的带宽配额；
在所述第一类存储单元对应的带宽增量总值小于所述第二类存储单元对应的带宽减量总值的情况下，将所述第一类存储单...

【专利技术属性】
技术研发人员：罗庆超，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：