一种任务的调度方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种任务的调度方法、装置、设备及存储介质，该调度方法包括：接收多个任务提交节点提交的待处理任务；根据待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略中，确定任务调度性能与待处理任务的任务数量相匹配的目标任务调度策略；按照目标任务调度策略，从多个任务处理节点中，为接收到的每个待处理任务分配用于处理该待处理任务的目标任务处理节点。这样，在任务调度过程中，本申请可以节约每个任务提交节点对应的用户终端处需要落地的硬件资源，有利于减轻任务调度过程中消耗的运维成本，提高了对待处理任务的调度效率。理任务的调度效率。理任务的调度效率。

【技术实现步骤摘要】
一种任务的调度方法、装置、设备及存储介质


[0001]本申请涉及机器学习
，具体而言，涉及一种任务的调度方法、装置、设备及存储介质。

技术介绍

[0002]随着行业智能化发展，越来越多的行业选择根据自身行业的业务需求，在实际的业务场景下落地用于解决该业务场景下不同子业务需求的业务模型，从而，利用训练好的业务模型来解决该业务场景在实际运营过程中出现的各种业务需求。例如，以餐饮行业为例，餐饮企业可以在实际的餐饮业务场景下落地部署多种计算机视觉模型(如，用于识别菜品生熟程度的计算机视觉模型、用于识别菜品用料齐全程度的计算机视觉模型等)，以解决餐饮企业的运营过程中可能遇到的不同业务需求，提高餐饮企业的运营效率。
[0003]目前，以上述餐饮业务场景为例，餐饮业务场景下落地的不同种类的计算机视觉模型用于执行不同的模型应用任务(如，上述的识别菜品生熟程度、识别菜品用料齐全程度等)，并且在实际应用之前，不同的计算视觉模型还需要基于不同的标注样本数据来执行各自的模型训练任务。此时，由于不同的模型应用任务以及不同的模型训练任务都需要基于硬件资源(如，处理器、计算机等硬件资源)来实现，因此，每个独立的业务场景处需要落地的硬件资源是十分庞大的。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种任务的调度方法、装置、设备及存储介质，通过任务调度的方式，为每一个独立的任务提交节点提交的待处理任务分配能够执行该处理任务的硬件资源，以在任务调度过程中，节约每个任务提交节点对应的用户终端处需要落地的硬件资源，有利于减轻任务调度过程中消耗的运维成本，提高了对待处理任务的调度效率。
[0005]第一方面，本申请实施例提供了一种任务的调度方法，所述调度方法应用于调度节点；所述调度方法包括：
[0006]接收多个任务提交节点提交的待处理任务；其中，所述待处理任务包括：目标业务场景下的模型训练任务和/或所述目标业务场景下的模型应用任务；
[0007]根据接收到的所述待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略中，确定任务调度性能与所述待处理任务的任务数量相匹配的目标任务调度策略；其中，所述任务调度性能与所述任务调度策略中每个空闲处理节点需要处理的所述待处理任务的任务数量相关；
[0008]按照所述目标任务调度策略，从所述多个任务处理节点中，为接收到的每个所述待处理任务分配用于处理该待处理任务的目标任务处理节点。
[0009]在一种可选的实施方式中，所述根据接收到的所述待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略
中，确定任务调度性能与所述待处理任务的任务数量相匹配的目标任务调度策略，包括：
[0010]计算所述多个任务处理节点中处于空闲状态的空闲处理节点的节点数量与所述待处理任务的任务数量之间的数量差值；
[0011]当所述数量差值属于非负数时，从预设的多个任务调度策略中，确定第一任务调度策略作为所述目标任务调度策略；其中，所述第一任务调度策略用于表征利用空闲处理节点对接收到的每个所述待处理任务同时进行并行处理的任务调度策略；
[0012]当所述数量差值属于负数且所述数量差值的绝对值小于或者等于第一预设阈值时，从预设的多个任务调度策略中，确定第二任务调度策略作为所述目标任务调度策略；其中，所述第二任务调度策略用于表征利用目标数量的空闲处理节点对接收到的所述待处理任务进行并行处理，利用除所述目标数量之外的剩余数量的空闲处理节点对接收到的所述待处理任务进行串行处理的任务调度策略；
[0013]当所述数量差值属于负数且所述数量差值的绝对值大于所述第一预设阈值时，从预设的多个任务调度策略中，确定第三任务调度策略作为所述目标任务调度策略；其中，所述第三任务调度策略用于表征利用空闲处理节点对接收到的所述待处理任务全部进行串行处理的任务调度策略。
[0014]在一种可选的实施方式中，当所述目标任务调度策略为所述第二任务调度策略时，通过以下方法，确定用于对接收到的所述待处理任务进行并行处理的所述目标数量的空闲处理节点：
[0015]按照预设的目标数量，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，随机抽取得到所述目标数量的空闲处理节点；
[0016]或者，
[0017]根据每个所述待处理任务的预测处理时间，从接收到的全部待处理任务中，确定所述预测处理时间大于预设处理时间阈值的待处理任务作为所述第二任务调度策略中需要进行并行处理的第一待处理任务；
[0018]以所述第一待处理任务的任务数量作为所述目标数量，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，随机抽取得到所述目标数量的空闲处理节点；
[0019]或者，
[0020]根据每个任务处理节点的任务处理效率，按照优先抽取任务处理效率低的任务处理节点的方式，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，优先抽取得到所述目标数量的空闲处理节点。
[0021]在一种可选的实施方式中，当所述待处理任务为所述模型训练任务时，所述调度方法还包括：
[0022]针对每一所述模型训练任务，根据该模型训练任务中包括的不同标注类型的标注训练样本，将该模型训练任务拆分成多个模型训练子任务；其中，每一所述模型训练子任务对应一种标注类型的标注训练样本；
[0023]将每一所述模型训练子任务作为一个独立的所述待处理任务进行调度处理。
[0024]在一种可选的实施方式中，所述接收多个任务提交节点提交的待处理任务包括：在当前调度周期内接收所述多个任务提交节点提交的待处理任务；通过以下方法，从所述多个任务处理节点中，确定出在当前调度周期内处于空闲状态的目标空闲处理节点：
[0025]将上一调度周期内统计得到的历史流量数据输入至预先训练好的流量预测模型中，得到所述流量预测模型输出的针对下一调度周期的流量预测结果；其中，所述流量预测结果用于表征针对下一调度周期内接收到的待处理任务的任务数量预测结果；
[0026]根据针对下一调度周期的所述流量预测结果，对按照第一调度策略在所述下一调度周期内进行任务调度所需要的空闲处理节点的节点数量进行预测，得到针对所述下一调度周期的节点预测结果；其中，所述第一调度策略用于表征任务调度性能与所述流量预测结果相匹配的任务调度策略；
[0027]从所述多个任务处理节点中处于空闲状态的空闲处理节点中，去除所述节点预测结果表征的节点数量的空闲处理节点，将剩余的空闲处理节点作为当前调度周期内处于空闲状态的目标空闲处理节点。
[0028]在一种可选的实施方式中，在所述接收多个任务提交节点提交的待处理任务之后，确定所述目标任务调度策略的方法还包括:
[0029]将接收到的所述待处理任务的任务数量、每一所述待处理任务的任务属性、历史同一接收时段内所述任务处理节点的占用信息以及当前接收时段处于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务的调度方法，其特征在于，所述调度方法应用于调度节点；所述调度方法包括：接收多个任务提交节点提交的待处理任务；其中，所述待处理任务包括：目标业务场景下的模型训练任务和/或所述目标业务场景下的模型应用任务；根据接收到的所述待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略中，确定任务调度性能与所述待处理任务的任务数量相匹配的目标任务调度策略；其中，所述任务调度性能与所述任务调度策略中每个空闲处理节点需要处理的所述待处理任务的任务数量相关；按照所述目标任务调度策略，从所述多个任务处理节点中，为接收到的每个所述待处理任务分配用于处理该待处理任务的目标任务处理节点。2.根据权利要求1所述的调度方法，其特征在于，所述根据接收到的所述待处理任务的任务数量以及多个任务处理节点中处于空闲状态的空闲处理节点的节点数量，从预设的多个任务调度策略中，确定任务调度性能与所述待处理任务的任务数量相匹配的目标任务调度策略，包括：计算所述多个任务处理节点中处于空闲状态的空闲处理节点的节点数量与所述待处理任务的任务数量之间的数量差值；当所述数量差值属于非负数时，从预设的多个任务调度策略中，确定第一任务调度策略作为所述目标任务调度策略；其中，所述第一任务调度策略用于表征利用空闲处理节点对接收到的每个所述待处理任务同时进行并行处理的任务调度策略；当所述数量差值属于负数且所述数量差值的绝对值小于或者等于第一预设阈值时，从预设的多个任务调度策略中，确定第二任务调度策略作为所述目标任务调度策略；其中，所述第二任务调度策略用于表征利用目标数量的空闲处理节点对接收到的所述待处理任务进行并行处理，利用除所述目标数量之外的剩余数量的空闲处理节点对接收到的所述待处理任务进行串行处理的任务调度策略；当所述数量差值属于负数且所述数量差值的绝对值大于所述第一预设阈值时，从预设的多个任务调度策略中，确定第三任务调度策略作为所述目标任务调度策略；其中，所述第三任务调度策略用于表征利用空闲处理节点对接收到的所述待处理任务全部进行串行处理的任务调度策略。3.根据权利要求2所述的调度方法，其特征在于，当所述目标任务调度策略为所述第二任务调度策略时，通过以下方法，确定用于对接收到的所述待处理任务进行并行处理的所述目标数量的空闲处理节点：按照预设的目标数量，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，随机抽取得到所述目标数量的空闲处理节点；或者，根据每个所述待处理任务的预测处理时间，从接收到的全部待处理任务中，确定所述预测处理时间大于预设处理时间阈值的待处理任务作为所述第二任务调度策略中需要进行并行处理的第一待处理任务；以所述第一待处理任务的任务数量作为所述目标数量，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，随机抽取得到所述目标数量的空闲处理节点；
或者，根据每个任务处理节点的任务处理效率，按照优先抽取任务处理效率低的任务处理节点的方式，从所述多个任务处理节点中处于空闲状态的空闲处理节点中，优先抽取得到所述目标数量的空闲处理节点。4.根据权利要求1所述的调度方法，其特征在于，当所述待处理任务为所述模型训练任务时，所述调度方法还包括：针对每一所述模型训练任务，根据该模型训练任务中包括的不同标注类型的标注训练样本，将该模型训练任务拆分成多个模型训练子任务；其中，每一所述模型训练子任务对应一种标注类型的标注训练样本；将每一所述模型训练子任务作为一个独立的所述待处理任务进行调度处理。5.根据权利要求1所述的调度方法，其特征在于，所述接收多个任务提交节点提交的待处理任务包括：在当前调度周期内接收所述多个任务提交节点提交的待处理任务；通过以下方法，从所述多个任务处理节点中，确定出在当前调度周期内处于空闲状态的目标空闲处理节点：将上一调度周期内统计得到的历史流量数据输入至预先训练好的流量预测模型中，得到所述流量预测模型输出的针对下一调度周期的流量预测结果；其中，所述流量预测结果用于表征针对下一调度周期内接收到的待处理任务的任务数量预测结果；根据...

【专利技术属性】
技术研发人员：谢亚雄，
申请(专利权)人：上海明胜品智人工智能科技有限公司，
类型：发明
国别省市：