任务分配方法、系统、装置及非易失性存储介质制造方法及图纸

技术编号:38885985 阅读:11 留言:0更新日期:2023-09-22 14:13
本申请公开了一种任务分配方法、系统、装置及非易失性存储介质。其中,该方法包括:确定目标任务的任务特征;依据任务特征,确定目标任务在目标类型的算力节点资源池上运行的运行时间段;确定算力节点资源池中的各个算力节点在运行时间段内的负载变化趋势,并依据各个算力节点的负载变化趋势,确定各个算力节点对应的预测负载;依据各个算力节点对应的预测负载,在算力节点资源池中确定目标算力节点集合,其中,目标算力节点集合为用于执行目标任务的算力节点集合,目标算力节点集合中包括至少一个算力节点。本申请解决了由于相关技术中根据申请量分配算力资源造成的在算力节点空闲的同时算力任务无法被分配给算力节点进行处理的技术问题。处理的技术问题。处理的技术问题。

【技术实现步骤摘要】
任务分配方法、系统、装置及非易失性存储介质


[0001]本申请涉及算力调度领域,具体而言,涉及一种任务分配方法、系统、装置及非易失性存储介质。

技术介绍

[0002]相关技术中在进行算力资源的调度时,通常是依据资源的申请量来进行调度的。但是在实际生产环境中,资源的实际使用量和申请量之间会存在较大的偏差,因此基于资源的申请量来进行算力资源的分配可能会存在大量算力节点处于空闲状态,同时大量待处理的算力任务由于各个算力节点的申请量已满或过高而无法被分配给算力节点执行的问题。
[0003]针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种任务分配方法、系统、装置及非易失性存储介质,以至少解决由于相关技术中根据申请量分配算力资源造成的在算力节点空闲的同时算力任务无法被分配给算力节点进行处理的技术问题。
[0005]根据本申请实施例的一个方面,提供了一种任务分配方法,包括:确定目标任务的任务特征;依据任务特征,确定目标任务在目标类型的算力节点资源池上运行的运行时间段;确定算力节点资源池中的各个算力节点在运行时间段内的负载变化趋势,并依据各个算力节点的负载变化趋势,确定各个算力节点对应的预测负载;依据各个算力节点对应的预测负载,在算力节点资源池中确定目标算力节点集合,其中,目标算力节点集合为用于执行目标任务的算力节点集合,目标算力节点集合中包括至少一个算力节点。
[0006]可选地,依据各个算力节点对应的预测负载,在算力节点资源池中确定目标算力节点集合的步骤包括:依据预设负载阈值,从算力节点资源池中筛选得到备选算力节点集合,其中,备选算力节点集合中的备选算力节点的预测负载低于预设负载阈值;确定备选算力节点的评价分数,其中,评价分数用于体现算力节点的算力资源富余信息和负载信息;依据评价分数从备选算力节点集合中确定目标算力节点集合。
[0007]可选地,预设负载阈值包括第一预设负载阈值和第二预设负载阈值,并且第一预设负载阈值小于第二预设负载阈值;依据预设负载阈值,从算力节点资源池中筛选得到备选算力节点集合的步骤包括:依据第一预设负载阈值,从算力节点资源池中筛选得到第一备选算力节点集合,其中,第一备选算力节点集合中的节点的预测负载低于第一预设负载阈值;在第一备选算力节点集合无法运行目标任务的情况下,依据第二预设负载阈值,从算力节点资源池中确定第二备选算力节点集合,其中,第二备选算力节点集合中的预测负载低于第二预设负载阈值,并且第二备选算力节点集合中包括运行的计算任务将在第一预设时间段内完成的算力节点。
[0008]可选地,确定备选算力节点的评价分数的步骤包括:确定目标任务对应的目标资
源类型,其中,目标资源类型为执行目标任务时所需的算力资源的资源类型;确定备选算力节点中目标资源类型的算力资源的富余信息和负载信息,并依据各个目标资源类型对应的富余信息和负载信息,确定各个目标资源类型的算力资源评价分数;确定各个目标资源类型的权重,并依据备选算力节点中各个目标资源类型的权重和算力资源评价分数,确定备选算力节点的评价分数。
[0009]可选地,依据任务特征,确定目标任务在目标类型的算力节点资源池上运行的运行时间段的步骤包括:依据任务特征,确定目标任务的目标任务向量;确定目标任务向量与预先存储的各个第一参考任务向量之间的距离,其中,第一参考任务向量为执行完成的计算任务的任务向量;依据距离,从各个第一参考任务向量中筛选出预设数量个第二参考任务向量;依据第二参考任务向量对应的计算任务的任务运行时间段,确定目标任务的运行时间段。
[0010]可选地,从各个第一参考任务向量中筛选出预设数量个第二参考任务向量的步骤包括:按照距离由小到大的顺序,对第一参考任务向量进行排序;确定前预设数量个第一参考任务向量为第二参考任务向量。
[0011]可选地,负载变化趋势包括各个算力节点中包含的目标资源类型对应的负载变化趋势,目标资源类型为执行目标任务时所需的算力资源的资源类型;确定算力节点资源池中的各个算力节点在运行时间段内的负载变化趋势的步骤包括:确定各个算力节点对应的第一负载历史记录,其中,第一负载历史记录中包括各个算力节点在第二预设时间段内的负载变化信息;依据运行时间段确定目标时间粒度,并依据目标时间粒度对第一负载历史记录进行聚合,得到第二负载历史记录;依据第二负载历史记录确定各个算力节点中包含的目标资源类型对应的负载变化趋势。
[0012]根据本申请实施例的另一方面,还提供了一种任务分配系统,包括:算力服务层,算力编排层,算力资源层和算力监控层,其中,算力服务层,用于提取目标任务的任务特征;算力编排层,用于依据任务特征,确定目标任务在算力资源层中的各种类型的算力节点资源池上运行的运行时间段;确定算力节点资源池中的各个算力节点在运行时间段内的负载变化趋势,并依据各个算力节点的负载变化趋势,确定各个算力节点对应的预测负载;依据各个算力节点对应的预测负载,在算力节点资源池中确定目标算力节点集合,其中,目标算力节点集合为用于执行目标任务的算力节点集合,目标算力节点集合中包括至少一个算力节点;算力监控层,用于监控各个算力节点的计算资源状态和计算资源使用情况,以及各个算力节点所执行的计算任务的任务运行状态和运行时间。
[0013]根据本申请实施例的另一方面,还提供了一种任务分配装置,包括:第一处理模块,用于确定目标任务的任务特征;第二处理模块,用于依据任务特征,确定目标任务在目标类型的算力节点资源池上运行的运行时间段;第三处理模块,用于确定算力节点资源池中的各个算力节点在运行时间段内的负载变化趋势,并依据各个算力节点的负载变化趋势,确定各个算力节点对应的预测负载;第四处理模块,用于依据各个算力节点对应的预测负载,在算力节点资源池中确定目标算力节点集合,其中,目标算力节点集合为用于执行目标任务的算力节点集合,目标算力节点集合中包括至少一个算力节点。
[0014]根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质中存储有程序,其中,在程序运行时控制非易失性存储介质所在设备执行任务分配方
法。
[0015]根据本申请实施例的另一方面,还提供了一种电子设备,包括:处理器和存储器,处理器用于运行存储在存储器中的程序,其中,程序运行时执行任务分配方法。
[0016]在本申请实施例中,采用确定目标任务的任务特征;依据任务特征,确定目标任务在目标类型的算力节点资源池上运行的运行时间段;确定算力节点资源池中的各个算力节点在运行时间段内的负载变化趋势,并依据各个算力节点的负载变化趋势,确定各个算力节点对应的预测负载;依据各个算力节点对应的预测负载,在算力节点资源池中确定目标算力节点集合,其中,目标算力节点集合为用于执行目标任务的算力节点集合,目标算力节点集合中包括至少一个算力节点的方式,通过确定目标任务的运行时间段,以及算力节点在运行时间段中的负载变化趋势,确定算力节点的预设负载并依据预设负载确定目标算力节点集合,达到了依据本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种任务分配方法,其特征在于,包括:确定目标任务的任务特征;依据所述任务特征,确定所述目标任务在目标类型的算力节点资源池上运行的运行时间段;确定所述算力节点资源池中的各个算力节点在所述运行时间段内的负载变化趋势,并依据所述各个算力节点的所述负载变化趋势,确定所述各个算力节点对应的预测负载;依据所述各个算力节点对应的预测负载,在所述算力节点资源池中确定目标算力节点集合,其中,所述目标算力节点集合为用于执行所述目标任务的算力节点集合,所述目标算力节点集合中包括至少一个算力节点。2.根据权利要求1所述的任务分配方法,其特征在于,所述依据所述各个算力节点对应的预测负载,在所述算力节点资源池中确定目标算力节点集合的步骤包括:依据预设负载阈值,从所述算力节点资源池中筛选得到备选算力节点集合,其中,所述备选算力节点集合中的备选算力节点的所述预测负载低于所述预设负载阈值;确定所述备选算力节点的评价分数,其中,所述评价分数用于体现所述算力节点的算力资源富余信息和负载信息;依据所述评价分数从所述备选算力节点集合中确定所述目标算力节点集合。3.根据权利要求2所述的任务分配方法,其特征在于,所述预设负载阈值包括第一预设负载阈值和第二预设负载阈值,并且所述第一预设负载阈值小于所述第二预设负载阈值;所述依据预设负载阈值,从所述算力节点资源池中筛选得到备选算力节点集合的步骤包括:依据所述第一预设负载阈值,从所述算力节点资源池中筛选得到第一备选算力节点集合,其中,所述第一备选算力节点集合中的节点的所述预测负载低于所述第一预设负载阈值;在所述第一备选算力节点集合无法运行所述目标任务的情况下,依据所述第二预设负载阈值,从所述算力节点资源池中确定第二备选算力节点集合,其中,所述第二备选算力节点集合中的节点的所述预测负载低于所述第二预设负载阈值,并且所述第二备选算力节点集合中包括运行的计算任务将在第一预设时间段内完成的算力节点。4.根据权利要求2所述的任务分配方法,其特征在于,所述确定所述备选算力节点的评价分数的步骤包括:确定所述目标任务对应的目标资源类型,其中,所述目标资源类型为执行所述目标任务时所需的算力资源的资源类型;确定所述备选算力节点中所述目标资源类型的算力资源的富余信息和负载信息,并依据各个所述目标资源类型对应的富余信息和负载信息,确定各个所述目标资源类型的算力资源评价分数;确定各个所述目标资源类型的权重,并依据所述备选算力节点中各个所述目标资源类型的权重和所述算力资源评价分数,确定所述备选算力节点的评价分数。5.根据权利要求1所述的任务分配方法,其特征在于,所述依据所述任务特征,确定所述目标任务在目标类型的算力节点资源池上运行的运行时间段的步骤包括:依据所述任务特征,确定所述目标任务的目标任务向量;
确定所述目标任务向量与预先存储的各个第一参考任务向量之间的距离,其中,所述第一参考任务向量为已执行完成的计算任务的任务向量;依据所述距离,从所述各个第一...

【专利技术属性】
技术研发人员:曾康徐玉清王维范利成
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1