【技术实现步骤摘要】
用于任务处理的方法、电子设备以及计算机程序产品
[0001]本公开的实施例总体涉及数据存储领域，更具体地，涉及用于任务处理的方法、电子设备和计算机程序产品。
技术介绍
[0002]基于用户任务的资源需求和专用处理单元的可用资源来调度深度学习(DL)模型的并行划分的方案。该方案能够以正确维持任务之间的依赖关系的方式调度并行任务，同时能够最大化利用当前可用资源。
[0003]上述方案能够并行调度来自单一用户的任务集合。然而为了在云计算服务中将DL模型并行被实现为“一切皆服务”(X as a Service，XaaS),具有不同服务水平分配(SLA)的多用户是最基本的功能。此外，针对多用户的任务所需的计算资源，任务处理系统中的可用资源的负载均衡也是一个值得考虑的问题。
技术实现思路
[0004]本公开的实施例及用于任务处理的方法、电子设备和计算机程序产品。
[0005]在本公开实施例的第一方面，提供了一种用于任务处理的方法。该方法包括响应于接收到处理多个任务集合的请求，基于所述多个任务集合的优先级和...
【技术保护点】
【技术特征摘要】
1.一种用于任务调度的方法，包括：响应于接收到处理多个任务集合的请求，基于所述多个任务集合的优先级和所述多个任务集合中的任务，在任务处理系统中创建当前待调度任务队列，所述当前待调度任务队列中的多个待调度任务在同一轮调度中被调度；分配用于调度所述多个待调度任务的计算资源；以及使得所述多个待调度任务利用所述计算资源而被调度。2.根据权利要求1所述的方法，其中创建所述当前待调度任务队列包括：确定在所述任务处理系统中是否存在未被调度的历史任务；以及根据确定不存在待被调度的历史任务，创建所述当前待调度任务队列。3.根据权利要求2所述的方法，还包括：根据确定存在待被调度的历史任务，在调度所述多个任务集合中的所述任务之前，调度所述历史任务。4.根据权利要求1所述的方法，还包括：确定为与所述多个任务集合相关联的用户所对应的服务水平；以及基于所述服务水平确定所述多个任务集合的优先级。5.根据权利要求1所述的方法，其中所述多个任务集合至少包括第一任务集合和第二任务集合，所述第一任务集合具有第一优先级，所述第二任务集合具有第二优先级，所述第一优先级高于所述第二优先级，并且其中创建所述当前待调度任务队列包括：确定所述第一任务集合中的任务的第一数目和所述第二任务集合中的任务的第二数目；以及基于所述第一优先级、所述第二优先级、所述第一数目以及所述第二数据创建所述当前待调度任务队列，以使得在所述当前待调度任务队列中的所述第一任务集合中的任务的第三数目超出所述第二任务集合中的任务的第四数目。6.根据权利要求1所述的方法，其中所述任务处理系统包括多个专用处理单元，并且其中分配所述计算资源包括：确定所述多个待调度任务所需的计算资源量；确定所述多个专用处理单元的空闲计算资源量；以及基于所述空闲计算资源量以及所述多个待调度任务所需的计算资源量，分配所述计算资源。7.根据权利要求6所述的方法，其中所述多个专用处理单元至少包括第一专用处理单元和第二专用处理单元，其中基于所述空闲计算资源量以及所述多个待调度任务所需的计算资源量分配所述计算资源包括：比较所述第一专用处理单元的第一空闲计算资源量和所述第二设备的第二空闲计算资源量；根据确定所述第一空闲计算资源量超出所述第二空闲计算资源量，从所述多个待调度任务中确定第一待调度任务，所述第一待调度任务所需的计算资源量超出阈值资源量；以及从所述第一空闲计算空间中分配用于调度所述第一待调度任务的计算资源量。8.根据权利要求6所述的方法，还包括：
确定所述空闲计算资源量是否满足所述多个待调度任务中的第一待调度任务所需的计算资源量；以及根据确定所述空闲计算资源量不满足所述第一待调度任务所需的所述计算资源量，将所述第一待调度任务加入下一轮待调度任务队列。9.一种电子设备，包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得...
【专利技术属性】
技术研发人员：李锦，刘金鹏，王汇泽，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。