【技术实现步骤摘要】
本申请实施例涉及计算机领域，尤其涉及一种基于网络资源的调度方法以及装置。
技术介绍
1、随着调度器的发展，在大规模计算设备集群中，由调度器对数据作业任务进行统一管理和调度。目前，调度器在数据作业任务调度过程中，通常基于计算资源对数据作业任务进行调度，计算资源例如中央处理(central processing unit,cpu)、内存和图形处理器(graphics processing unit,gpu)。
2、云服务器中在处理数据作业任务时，数据作业任务处理除了计算任务之外，还包括数据传输任务，即数据作业任务处理效率处理取决于计算任务的处理效率之外，还取决与数据传输任务的处理效率。由于目前的调度器在数据作业任务调度时，通常基于计算资源调度计算任务，数据传输任务所需的网络资源未参与调度器的统一管理和调度，从而导致调度器对数据作业任务的整体调度效果差，数据作业任务的处理效率低。
技术实现思路
1、本申请实施例提供了一种基于网络资源的调度方法以及装置，用于提升数据作业任务的处理效率。
2、本申请实施例第一方面提供了一种网络资源的调度方法，以计算设备的调度器执行为例，第一方面提供的网络资源的调度方法包括以下步骤：调度器接收数据传输任务，数据传输任务用于为计算节点提供输入数据或者输出计算节点的输出数据。调度器根据数据传输任务的优先级确定调度信息，调度信息用于指示计算集群中执行数据传输任务的传输节点的网络资源中分配给数据传输任务的分配网络资源。调度器向传输节点发送调度信
3、本申请实施例中调度器能够基于数据传输任务的优先级对传输节点的网络资源进行调度，相较于目前的调度器仅对计算资源进行调度，提升了数据传输任务的处理效率，进一步提升了数据作业任务的整体处理效率。
4、一种可能的实施方式中，分配网络资源包括：分配网络资源占传输节点的网络资源的比例，例如分配带宽占比。分配网络资源的上限占传输节点的网络资源的比例，例如扩展带宽占比，及分配网络资源的下限占传输节点的网络资源的比例，例如约束带宽占比。其中，分配带宽占比为不同优先级的数据传输任务对传输带宽的分配占比，扩展带宽占比为不同优先级的数据传输任务对传输带宽的分配上限占比，约束带宽占比为不同优先级的数据传输任务对传输带宽的分配下限占比。
5、本申请实施例中调度器通过分配带宽占比、扩展带宽占比和约束带宽占比控制传输节点对不用优先级的数据传输任务的带宽分配范围，从而提升了网络资源调度过程中传输节点的传输带宽分配的灵活性。
6、一种可能的实施方式中，调度器获取传输节点执行与数据传输任务的优先级相同的数据传输任务时实际使用的网络资源。调度器根据实际使用的网络资源调整分配网络资源。具体的，调度器根据实际使用的网络资源动态调整数据传输任务的分配带宽占比，实际使用的网络资源包括不同优先级的数据传输任务的实际传输带宽。
7、本申请实施例中调度器能够监测传输节点中不同优先级的数据传输任务的实际传输带宽，并根据不同优先级的数据传输任务的实际传输带宽调整网络资源调度信息中的分配带宽占比，从而提升了传输节点的传输带宽的利用效率，进一步提升了数据传输任务的处理效率。
8、一种可能的实施方式中，调度器根据实际使用的网络资源调整分配网络资源的过程中，当实际使用的网络资源占传输节点的网络资源的比值与分配网络资源的占比的差值超过阈值时，根据差值调整分配网络资源。具体的，若不同优先级的数据传输任务对应的分配带宽占比与传输带宽的实际带宽占比与差值超过阈值，则根据差值调整分配带宽占比。
9、本申请实施例中调度器能够根据不同优先级的数据传输任务对应的分配带宽占比与传输带宽的实际带宽占比与差值调整分配带宽占比，提升了分配带宽占比的准确性以及传输节点的带宽利用效率。
10、一种可能的实施方式中，数据传输任务的优先级为高优先级，按照分配网络资源的上限占传输节点的网络资源的比例，为数据传输任务分配网络资源。
11、本申请实施中调度器能够为高优先级的数据传输任务按照扩展带宽占比分配网络资源，从而保障了高优先级传输任务的处理效率。
12、一种可能的实施方式中，当传输任务在传输节点中以容器启动时，则通过流量控制tc命令为传输任务对应的容器按照分配网络资源分配带宽。
13、本申请实施例中调度器基于容器加流量控制命令实现对传输节点内每个容器的传输带宽分配，从而实现对传输节点进行进程组级别的带宽控制。此外，调度器基于容器加linux内核工具中命令的实现方式部署简单，提升了方案的通用性。
14、一种可能的实施方式中，当传输节点存在空闲的网络资源时，调度器将空闲的网络资源优先分配给优先级高的数据传输任务。具体的，当传输节点存在空闲的传输带宽时，调度器优先将空闲的传输带宽分配给优先级高的数据传输任务。
15、本申请实施例中调度器将空闲的网络资源优先分配给优先级高的数据传输任务，从而优先保障了优先级高的数据传输任务的传输带宽，提升了优先级高的数据传输任务的处理效率。
16、一种可能的实施方式中，数据传输任务的优先级包括高优先级、中优先级和低优先级，当传输节点存在高优先级的数据传输任务时，调度器基于约束带宽占比为中优先级和低优先级的数据传输任务分配传输节点的网络资源，当传输节点不存在高优先级的数据传输任务时，调度器基于分配带宽占比为中优先级和低优先级的数据传输任务分配传输节点的网络资源。
17、本申请实施例中高优先级的数据传输任务约束中优先级和低优先级数据传输任务，中优先级的数据传输任务不约束低优先级的数据传输任务，从而保障了高优先级传输任务的处理效率。
18、一种可能的实施方式中，高优先级数据传输任务的分配带宽占比大于或等于中优先级数据传输任务的分配带宽占，中优先级数据传输任务的分配带宽占比大于或等于低优先级数据传输任务的分配带宽占比。
19、一种可能的实施方式中，高优先级数据传输任务的扩展带宽占比大于或等于中优先级数据传输任务的扩展带宽占，中优先级数据传输任务的扩展带宽占比大于或等于低优先级数据传输任务的扩展带宽占比。
20、一种可能的实施方式中，高优先级数据传输任务的约束带宽占比大于或等于中优先级数据传输任务的约束带宽占，中优先级数据传输任务的约束带宽占比大于或等于低优先级数据传输任务的约束带宽占比。
21、本申请实施例中高优先级数据传输任务对应的分配带宽占、扩展带宽占比和约束带宽占比都大于等于中优先级数据传输任务对应的带宽占比，中优先级数据传输任务对应的分配带宽占、扩展带宽占比和约束带宽占比都大于等于低优先级数据传输任务对应的带宽占比，从而保证优先级的有效性，提升了优先级高的数据传输任务的处理效率。
22、一种可能的实施方式中，优先级相同的多个数据传输任务平均分配传输节点的传输带宽。
23、本申请实施例中优先级相同的本文档来自技高网...
【技术保护点】
1.一种网络资源的调度方法，其特征在于，应用于调度器，所述调度器调度计算任务至计算集群中的计算节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分配网络资源包括：所述分配网络资源占所述传输节点的网络资源的比例，所述分配网络资源的上限占所述传输节点的网络资源的比例，及所述分配网络资源的下限占所述传输节点的网络资源的比例。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述实际使用的网络资源调整所述分配网络资源包括：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述数据传输任务的优先级为高优先级，所述根据所述数据传输任务的优先级确定所述计算集群中执行所述数据传输任务的传输节点的网络资源中分配给所述数据传输任务的分配网络资源包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
7.一种网络资源的调度装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，所述分配网络资源包
9.根据权利要求7或8所述的装置，其特征在于，所述处理单元还用于：
10.根据权利要求9所述的装置，其特征在于，所述处理单元具体用于：
11.根据权利要求7至10中任一项所述的装置，其特征在于，所述数据传输任务的优先级为高优先级，所述处理单元具体用于：
12.根据权利要求7至11中任一项所述的装置，其特征在于，所述处理单元还用于：当所述数据传输任务在所述传输节点中以容器启动时，则通过流量控制TC命令为所述传输任务对应的容器按照所述分配网络资源分配带宽。
13.一种计算机可读存储介质，其上存储有指令，其特征在于，所述指令被执行时，以使得计算机执行权利要求1至6中任一项所述的方法。
14.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被执行时，以使得计算机实现权利要求1至6中任一项所述的方法。
...【技术特征摘要】
1.一种网络资源的调度方法，其特征在于，应用于调度器，所述调度器调度计算任务至计算集群中的计算节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分配网络资源包括：所述分配网络资源占所述传输节点的网络资源的比例，所述分配网络资源的上限占所述传输节点的网络资源的比例，及所述分配网络资源的下限占所述传输节点的网络资源的比例。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述实际使用的网络资源调整所述分配网络资源包括：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述数据传输任务的优先级为高优先级，所述根据所述数据传输任务的优先级确定所述计算集群中执行所述数据传输任务的传输节点的网络资源中分配给所述数据传输任务的分配网络资源包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
7.一种网络资源的调度装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。