一种任务数据调度方法、装置及设备制造方法及图纸

本申请涉及一种任务数据调度方法、装置及设备，该方法包括：获取多个待处理任务数据和多个待处理任务数据各自对应的预设执行截止时间；基于历史任务数据对多个待处理任务数据进行执行时间预测处理，得到多个待处理任务数据各自对应的预测执行时间；根据预设执行截止时间和预测执行时间，确定多个待处理任务数据各自对应的目标执行时间；基于多个待处理任务数据各自对应的目标执行时间，对多个待处理任务数据进行调度，得到多个待处理任务数据各自对应的调度结果。采用本申请的技术方案，解决了在资源冲突且任务优先级相等的情况下，优先调度重要任务的问题，提高了任务调度的效率，提高了资源的利用率。提高了资源的利用率。提高了资源的利用率。

【技术实现步骤摘要】
一种任务数据调度方法、装置及设备


[0001]本申请涉及计算机
，尤其涉及一种任务数据调度方法、装置及设备。

技术介绍

[0002]在云计算环境下，为了使得用户的任务执行完毕，并同时满足对于服务、资源可用性、任务完成时间、计算成本等要求，需要对任务进行调度，将一段时间内用户提交给数据中心的所有任务合理的调度到当前状态下最为合适的空闲虚拟机上。
[0003]在集群资源有限的情况下，如何能够更加高效、快速的完成任务调度一直是各种调度策略及方法需要解决的问题。随着大数据时代的到来及业务的发展，任务数量往往在百万乃至千万级别。
[0004]业界常用的调度策略有以下几种：1.在资源冲突时，随机选取任务调度；在任务数量较小的情况下，该方法可满足实现任务调度的需求。但是由于采用随机调度的方式，往往会出现重要的任务没有被调度，重要级次之的任务反而占据大量的内存及时间的情况；显然，该种情况与预期想要的效果不相符，集群资源宝贵，有限的资源自然是要优先保障重要的任务。2.在资源冲突时，根据优先级选取任务调度；该方法需要开发人员提前将每个任务进行优先级的编排，这样当资源产生冲突时，调度算法可根据标定的优先级进行重要任务优先调度。在任务数量较小的情况下，该方法可以解决优先调度更加重要的任务的问题，保障重要的任务优先调度执行。但在任务量较大的情况下，极有可能出现同一时刻优先级相同的情况，此时，该策略无法实现优先调度重要任务。然而在实践中，随着大数据时代的到来及业务的发展，往往会产生百万乃至千万级任务，此时常规调度策略无法满足要求。
[0005]综上，在现有技术中，随机调度策略和优先级调度策略都各自存在着不足，当资源冲突，且任务优先级相同时，无法满足重要任务优先调度的需求。因此，如何设计一种任务数据调度方法，使得在资源有限，任务优先级相同的情况下，优先调度重要任务，并提高任务调度的效率，是本领域亟需解决的技术问题。

技术实现思路

[0006]有鉴于此，本申请提出了一种任务数据调度方法。至少可以解决在资源冲突，且任务优先级相同的情况下，优先调度重要任务，并提高任务调度的效率的问题。
[0007]一方面，本申请实施例提供了一种任务数据调度方法，所述方法包括：
[0008]获取多个待处理任务数据和所述多个待处理任务数据各自对应的预设执行截止时间；所述多个待处理任务数据的任务处理优先级相等；
[0009]基于历史任务数据对所述多个待处理任务数据进行执行时间预测处理，得到所述多个待处理任务数据各自对应的预测执行时间；
[0010]根据所述预设执行截止时间和所述预测执行时间，确定所述多个待处理任务数据各自对应的目标执行时间；
[0011]基于所述多个待处理任务数据各自对应的目标执行时间，对所述多个待处理任务
数据进行调度，得到所述多个待处理任务数据各自对应的调度结果。
[0012]进一步的，所述基于历史任务数据对所述多个待处理任务数据进行执行时间预测处理，得到所述多个待处理任务数据各自对应的预测任务执行时间，包括：
[0013]基于所述历史任务数据训练得到时间预测网络；
[0014]将所述多个待处理任务数据输入所述时间预测网络，得到所述多个待处理任务数据各自对应的预测执行时间。
[0015]进一步的，所述时间预测网络的训练过程，包括：
[0016]获取所述历史任务数据；所述历史任务数据标注有执行时间标签；
[0017]将所述历史任务数据输入预设神经网络进行执行时间训练处理，得到所述历史任务数据对应的历史预测执行时间；
[0018]基于所述历史预测执行时间和所述执行时间标签，确定损失数据；
[0019]根据所述损失数据，对所述预设神经网络进行训练，得到所述多个待处理任务数据各自对应的预测执行时间。
[0020]进一步的，所述多个待处理任务数据包括所述多个待处理任务数据各自对应的任务约束关系，所述根据所述预设任务执行截止时间和所述预测执行时间，确定所述多个待处理任务各自对应的目标执行时间，包括：
[0021]获取所述多个待处理任务数据各自对应的至少一个任务链路，以及所述多个待处理任务数据在各自对应的各个任务链路上的任务约束关系；所述任务约束关系表征上游任务数据和下游任务数据之间的约束关系，所述上游任务数据为执行顺序位于所述下游任务数据的执行顺序之前的数据；所述多个待处理任务数据包括所述上游任务数据和所述下游任务数据；
[0022]根据所述预设任务执行截止时间、所述预测执行时间和所述任务约束关系，确定出所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间；
[0023]基于所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间，确定所述多个待处理任务数据各自对应的目标执行时间。
[0024]进一步的，基于所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间，确定所述多个待处理任务数据各自对应的目标执行时间，包括：
[0025]对所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间，进行升序排序，得到所述多个待处理任务数据各自对应的链路执行时间序列；
[0026]将所述多个待处理任务数据各自对应的链路执行时间序列中，排序首位的所述目标链路执行时间，作为所述多个待处理任务数据各自对应的目标执行时间。
[0027]进一步的，所述基于所述多个待处理任务数据各自对应的目标执行时间，对所述多个待处理任务数据进行调度，得到所述多个待处理任务数据各自对应的调度结果，包括：
[0028]基于所述多个待处理任务数据各自对应的目标执行时间，对所述多个待处理任务数据进行升序排序，得到待处理任务序列；
[0029]将所述待处理任务序列排序首位的所述待处理任务数据作为当前待处理任务数据，将所述当前待处理任务数据从所述待处理任务序列中删除；
[0030]对所述当前待处理任务数据进行调度处理，得到所述当前待处理任务数据对应的当前调度处理结果；
[0031]重复所述将所述待处理任务序列排序首位的所述待处理任务数据作为当前待处理任务数据，至所述得到所述当前待处理任务数据对应的当前调度处理结果的操作，直至得到每个所述待处理任务数据对应的调度处理结果。
[0032]进一步的，所述方法还包括：
[0033]获取任务数据列表，所述任务数据列表包括所述多个待处理任务数据；
[0034]在所述多个待处理任务数据对应的资源处理设备的资源存在冲突，且所述多个待处理任务数据的任务处理优先级相等的情况下，执行所述获取多个待处理任务数据和所述多个待处理任务数据各自对应的预设执行截止时间，至所述得到所述多个待处理任务数据各自对应的调度结果的操作；
[0035]在所述多个待处理任务数据对应的资源处理设备的资源存在冲突，且所述多个待处理任务数据的任务处理优先级不相等的情况下，从所述任务数据列表中确定优先级满足预设条件的目标待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务数据调度方法，其特征在于，所述方法包括：获取多个待处理任务数据和所述多个待处理任务数据各自对应的预设执行截止时间；所述多个待处理任务数据的任务处理优先级相等；基于历史任务数据对所述多个待处理任务数据进行执行时间预测处理，得到所述多个待处理任务数据各自对应的预测执行时间；根据所述预设执行截止时间和所述预测执行时间，确定所述多个待处理任务数据各自对应的目标执行时间；基于所述多个待处理任务数据各自对应的目标执行时间，对所述多个待处理任务数据进行调度，得到所述多个待处理任务数据各自对应的调度结果。2.根据权利要求1所述的方法，其特征在于，所述基于历史任务数据对所述多个待处理任务数据进行执行时间预测处理，得到所述多个待处理任务数据各自对应的预测任务执行时间，包括：基于所述历史任务数据训练得到时间预测网络；将所述多个待处理任务数据输入所述时间预测网络，得到所述多个待处理任务数据各自对应的预测执行时间。3.根据权利要求2所述的方法，其特征在于，所述时间预测网络的训练过程，包括：获取所述历史任务数据；所述历史任务数据标注有执行时间标签；将所述历史任务数据输入预设神经网络进行执行时间训练处理，得到所述历史任务数据对应的历史预测执行时间；基于所述历史预测执行时间和所述执行时间标签，确定损失数据；根据所述损失数据，对所述预设神经网络进行训练，得到所述多个待处理任务数据各自对应的预测执行时间。4.根据权利要求1所述的方法，其特征在于，所述多个待处理任务数据包括所述多个待处理任务数据各自对应的任务约束关系，所述根据所述预设任务执行截止时间和所述预测执行时间，确定所述多个待处理任务各自对应的目标执行时间，包括：获取所述多个待处理任务数据各自对应的至少一个任务链路，以及所述多个待处理任务数据在各自对应的各个任务链路上的任务约束关系；所述任务约束关系表征上游任务数据和下游任务数据之间的约束关系，所述上游任务数据为执行顺序位于所述下游任务数据的执行顺序之前的数据；所述多个待处理任务数据包括所述上游任务数据和所述下游任务数据；根据所述预设任务执行截止时间、所述预测执行时间和所述任务约束关系，确定出所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间；基于所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间，确定所述多个待处理任务数据各自对应的目标执行时间。5.根据权利要求4所述的方法，其特征在于，基于所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间，确定所述多个待处理任务数据各自对应的目标执行时间，包括：对所述多个待处理任务数据在各自对应的各个任务链路上的目标链路执行时间，进行升序排序，得到所述多个待处理任务数据各自对应的链路执行时间序列；
将所述多个待处理任务数据各自对应的链路执行时间序列中，排序首位的所述目标链路执行时间，作为所述多个待处理...

【专利技术属性】
技术研发人员：金俊杰，乔柳玲，甘红伟，
申请(专利权)人：连连杭州信息技术有限公司，
类型：发明
国别省市：