用于任务调度的方法、电子设备和计算机存储介质技术

根据本公开的示例实施例，提供了一种用于任务调度的方法、电子设备和计算机可读存储介质。该方法包括如果确定任务处理系统的当前可用资源不能满足多个任务集合中要执行的当前任务集合的资源需求，则调度当前任务集合中的、当前可用资源能够支持的任务以用于执行，每个任务集合中的任务彼此独立，基于当前任务集合中未被调度的任务，创建用于下一轮调度的待调度任务集合，在多个任务集合中的、当前任务集合之后的下一任务集合中确定与待调度任务集合中的任务相独立的任务的子集，下一任务集合至少部分依赖于当前任务集合，以及将子集从下一任务集合移入待调度任务集合中。由此，本方案能够调度并行任务，同时最大化利用当前可用资源。

【技术实现步骤摘要】
用于任务调度的方法、电子设备和计算机存储介质
本公开的实施例总体涉及信息处理领域，具体涉及用于任务调度的方法、电子设备和计算机存储介质。
技术介绍
目前有很多流行的深度学习框架，但是无论是数据并行化还是模型并行化，这些框架均未能基于资源来调度深度学习任务，例如时期(epoch)和模型分区。如果在云中使用这类框架，用户必须先创建虚拟机，并且指定需要多少计算资源，而不知道这些资源的计算能力对于这类深度学习任务是过多的还是不足的。
技术实现思路
本公开的实施例提供了用于任务调度的方法、电子设备和计算机存储介质，能够以正确维持任务之间的依赖关系的方式调度并行任务，同时最大化利用当前可用资源，避免了资源浪费。在本公开的第一方面，提供了一种用于任务调度的方法。该方法包括：如果确定任务处理系统的当前可用资源不能满足多个任务集合中要执行的当前任务集合的资源需求，则调度当前任务集合中的、当前可用资源能够支持的任务以用于执行，每个任务集合中的任务彼此独立，基于当前任务集合中未被调度的任务，创建用于下一轮调度的待调度任务集合，在多个任务集本文档来自技高网...

【技术保护点】
1.一种用于任务调度的方法，包括：/n响应于确定任务处理系统的当前可用资源不能满足多个任务集合中要执行的当前任务集合的资源需求，调度所述当前任务集合中的、所述当前可用资源能够支持的任务以用于执行，每个任务集合中的任务彼此独立；/n基于所述当前任务集合中未被调度的任务，创建用于下一轮调度的待调度任务集合；/n在所述多个任务集合中的、所述当前任务集合之后的下一任务集合中确定与所述待调度任务集合中的任务相独立的任务的子集，所述下一任务集合至少部分依赖于所述当前任务集合；以及/n将所述子集从所述下一任务集合移入所述待调度任务集合中。/n

【技术特征摘要】
1.一种用于任务调度的方法，包括：
响应于确定任务处理系统的当前可用资源不能满足多个任务集合中要执行的当前任务集合的资源需求，调度所述当前任务集合中的、所述当前可用资源能够支持的任务以用于执行，每个任务集合中的任务彼此独立；
基于所述当前任务集合中未被调度的任务，创建用于下一轮调度的待调度任务集合；
在所述多个任务集合中的、所述当前任务集合之后的下一任务集合中确定与所述待调度任务集合中的任务相独立的任务的子集，所述下一任务集合至少部分依赖于所述当前任务集合；以及
将所述子集从所述下一任务集合移入所述待调度任务集合中。


2.根据权利要求1所述的方法，其中每个任务集合包括神经网络模型的并行任务。


3.根据权利要求2所述的方法，其中所述多个任务集合是基于计算图而生成的，所述计算图是通过编译所述神经网络模型而生成的。


4.根据权利要求3所述的方法，其中所述并行任务的执行所需的资源是通过虚拟编译所述计算图而获取的。


5.根据权利要求1所述的方法，还包括：
基于所述当前任务集合中的任务执行所需的资源，确定所述当前可用资源能否满足所述当前任务集合的所述资源需求。


6.根据权利要求1所述的方法，还包括：
基于所述任务处理系统当前可用的计算资源和存储资源中的至少一项，确定所述当前可用资源。


7.根据权利要求1所述的方法，其中将所述子集从所述下一任务集合移入所述待调度任务集合中包括：
将所述子集添加到所述待调度任务集合中；以及
从所述下一任务集合中删除所述子集。


8.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理...

【专利技术属性】
技术研发人员：刘金鹏，李锦，吴鹏飞，贾真，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：美国;US