System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,特别是涉及一种任务调度模型的训练方法、任务调度方法和相关装置。
技术介绍
1、随着智能设备的发展,在进行数据处理时通常需要分成多个任务才能得到最终的处理结果。现有技术中,在进行任务调度时通常是将任务提交到任务队列,然后按照先入先出的原则依次执行,但当任务密集或者智能设备的业务存在算子并行、串行或回环结构时,会导致部分任务等待时间过长,使得任务调度的效率不高。有鉴于此,如何提高任务调度的效率成为了亟待解决的问题。
技术实现思路
1、本申请主要解决的技术问题是提供一种任务调度模型的训练方法、任务调度方法和相关装置,能够提高任务调度的效率。
2、为解决上述技术问题,本申请第一方面提供一种任务调度模型的训练方法,包括:获取样本数据;其中,样本数据包括多个训练任务的任务环境信息、任务调度方式和调度奖励值,所述任务环境信息包括所述训练任务的特征信息和多个线程池的状态信息,且多个所述线程池对应有不同的优先级,所述任务调度方式包括所述训练任务对应的线程池,所述调度奖励值包括同类别任务平均处理耗时与所述训练任务的实际处理耗时的差值;利用所述样本数据训练任务调度模型,直至满足预设收敛条件,得到训练后的所述任务调度模型;其中,所述任务调度模型包括第一网络和第二网络,所述任务环境信息和所述任务调度方式输入所述第一网络,得到预测奖励值并输入所述第二网络,得到预测调度方式,所述任务调度模型的训练损失与所述调度奖励值相关。
3、为解决上述技术问题,本申请第二方面提供一
4、为解决上述技术问题,本申请第三方面提供一种电子设备,该电子设备包括:相互耦接的存储器和处理器,其中,所述存储器存储有程序数据,所述处理器调用所述程序数据以执行上述第一方面或第二方面所述的方法。
5、为解决上述技术问题,本申请第四方面提供一种计算机可读存储介质,其上存储有程序数据,所述程序数据被处理器执行时实现上述第一方面或第二方面所述的方法。
6、上述方案,获取用于训练的样本数据,样本数据包括多个训练任务的任务环境信息、任务调度方式和调度奖励值,任务环境信息具体包括训练任务的特征信息以及多个线程池的状态信息,且多个线程池对应有不同优先级用于满足不同复查程度的任务,任务调度方式包括训练任务实际调用的线程池,调度奖励值包括同类别任务平均处理耗时与训练任务的实际处理耗时的差值,利用样本数据训练任务调度模型,将任务环境信息和任务调度方式输入任务调度模型的第一网络,得到预测奖励值并输入任务调度模型的第二网络,得到预测调度方式,确定与调度奖励值相关的训练损失对任务调度模型进行调整,直至满足预设收敛条件,得到训练后的任务调度模型。其中,训练损失与调度奖励值相关,而调度奖励值的大小反映了同类别任务的调度合理程度和效率,因此,训练后的任务调度模型能够通过第一网络确定预测奖励值并将预测奖励值输入至第二网络从而得到合理的调度方式,提高任务的调度效率。
本文档来自技高网...【技术保护点】
1.一种任务调度模型的训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的任务调度模型的训练方法,其特征在于,所述第二网络的数量为多个,所述利用所述样本数据训练任务调度模型,直至满足预设收敛条件,得到训练后的所述任务调度模型,包括:
3.根据权利要求2所述的任务调度模型的训练方法,其特征在于,
4.根据权利要求2所述的任务调度模型的训练方法,其特征在于,每个所述第二网络对应有参考权重,所述任务调度模型还包括第三网络;其中,所述第三网络用于基于所有所述第二网络输出的预测调度方式的一致性,对每个所述第二网络对应的所述参考权重进行调整。
5.根据权利要求1所述的任务调度模型的训练方法,其特征在于,所述获取样本数据,包括:
6.根据权利要求5所述的任务调度模型的训练方法,其特征在于,多个优先级的所述线程池中线程的数量与设备的处理能力相关,优先级最高的所述线程池中线程的数量小于或等于优先级最低的所述线程池中线程的数量。
7.根据权利要求5所述的任务调度模型的训练方法,其特征在于,所述在多个优先级的所述线程池中
8.一种任务调度方法,其特征在于,所述方法包括:
9.一种电子设备,其特征在于,包括:相互耦接的存储器和处理器,其中,所述存储器存储有程序数据,所述处理器调用所述程序数据以执行如权利要求1-7或8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有程序数据,其特征在于,所述程序数据被处理器执行时实现如权利要求1-7或8中任一项所述的方法。
...【技术特征摘要】
1.一种任务调度模型的训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的任务调度模型的训练方法,其特征在于,所述第二网络的数量为多个,所述利用所述样本数据训练任务调度模型,直至满足预设收敛条件,得到训练后的所述任务调度模型,包括:
3.根据权利要求2所述的任务调度模型的训练方法,其特征在于,
4.根据权利要求2所述的任务调度模型的训练方法,其特征在于,每个所述第二网络对应有参考权重,所述任务调度模型还包括第三网络;其中,所述第三网络用于基于所有所述第二网络输出的预测调度方式的一致性,对每个所述第二网络对应的所述参考权重进行调整。
5.根据权利要求1所述的任务调度模型的训练方法,其特征在于,所述获取样本数据,包括:
6.根据权利要求5所述的任务调...
【专利技术属性】
技术研发人员:殷俊,黄鹏,钱康,虞响,岑鑫,李琦,郭佳,
申请(专利权)人:浙江大华技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。