用于深度学习平台的任务调度方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种用于深度学习平台的任务调度方法，从任务队列中获取耗时不低于设定耗时的目标待处理任务；从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，其中，所述N个负载门与所述深度学习平台包含的N个GPU一一对应，N为大于1的整数；将所述目标待处理任务分配给所述目标负载门对应的目标GPU进行处理。本发明专利技术公开的用于深度学习平台的任务调度方法、装置及电子设备，能够提高负载均衡的精确度，缩短任务完成的总耗时，提高处理效率。高处理效率。高处理效率。

【技术实现步骤摘要】
用于深度学习平台的任务调度方法、装置及电子设备


[0001]本专利技术涉及深度学习
，特别涉及一种用于深度学习平台的任务调度方法、装置及电子设备。

技术介绍

[0002]现有的深度学习平台中，一个服务通常需要启用多个图形处理单元(Graphics Processing Unit，简称:GPU)进行计算，而每个计算任务要部署到一个GPU上进行特征计算，且每个GPU上部署多个线程，每个线程每次可以执行一个任务计算，如此，使得每个GPU可能需要同时执行多个任务的计算。
[0003]由于每个GPU可能需要同时执行多个任务计算的情况下，需要有一种任务调度策略来平衡所有GPU上的计算负载，避免出现个别GPU负载高，计算耗时长，而其他GPU负载低，计算耗时短的情况。现有技术一般为通过轮询访问GPU各线程，为空闲线程分配任务，但此时会出现耗时高的任务集中分配到某些GPU上，而耗时低的任务分配到其他GPU上，此时，会导致某些GPU负载高某些GPU负载低，使得现有技术存在负载均衡的精确度较低的问题。

技术实现思路

[0004]本专利技术实施例提供一种用于深度学习平台的任务调度方法、装置及电子设备，能够提高负载均衡的精确度，缩短任务完成的总耗时，提高处理效率。
[0005]本专利技术实施例第一方面提供一种用于深度学习平台的任务调度方法，所述方法包括：
[0006]从任务队列中获取耗时不低于设定耗时的目标待处理任务；
[0007]从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，其中，所述N个负载门与所述深度学习平台包含的N个GPU一一对应，N为大于1的整数；
[0008]将所述目标待处理任务分配给所述目标负载门对应的目标GPU进行处理。
[0009]可选的，在从任务队列中获取耗时不低于设定耗时的目标待处理任务之前，所述方法还包括：
[0010]获取当前的所有待处理任务；
[0011]将所述所有待处理任务进行耗时排序后放入所述任务队列中。
[0012]可选的，所述获取当前的所有待处理任务，包括：
[0013]响应当前接收的请求，获取所述请求对应的多个深度学习图的计算任务，将所述多个深度学习图的计算任务作为所述所有待处理任务。
[0014]可选的，所述将所述所有待处理任务进行耗时排序后放入所述任务队列中，包括：
[0015]获取所述所有待处理任务中每个待处理任务的预期耗时；
[0016]根据每个待处理任务的预期耗时，依照预期耗时从大到小将所述所有待处理任务放入所述任务队列中。
[0017]可选的，所述根据每个待处理任务的预期耗时，依照预期耗时从大到小将所述所
有待处理任务放入所述任务队列中，包括：
[0018]根据每个待处理任务的预期耗时，依照预期耗时从大到小对所述所有待处理任务进行排序；
[0019]将排序后的所述所有待处理任务放入所述任务队列中。
[0020]可选的，所述从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，包括：
[0021]获取所述N个负载门中每个负载门对应的负载值，负载值是根据负载门的当前等待线程数量确定的；
[0022]根据每个负载门对应的负载值，从所述N个负载门中选择负载低于所述设定负载的一个负载门作为所述目标负载门。
[0023]可选的，所述从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，包括：
[0024]从所述N个负载门中选取负载最低的一个负载门作为所述目标负载门。
[0025]可选的，所述将所述目标待处理任务分配给所述目标负载门对应的目标GPU进行处理，包括：
[0026]将所述目标待处理任务分配给所述目标GPU中的一个空闲线程进行处理，并调整所述目标负载门的当前负载。
[0027]本专利技术实施例第二方面还提供一种用于深度学习平台的任务调度装置，所述装置包括：
[0028]目标任务获取单元，用于从任务队列中获取耗时不低于设定耗时的目标待处理任务；
[0029]目标负载门选取单元，用于从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，其中，所述N个负载门与所述深度学习平台包含的N个GPU一一对应，N为大于1的整数；
[0030]任务处理单元，用于将所述目标待处理任务分配给所述目标负载门对应的目标GPU进行处理。
[0031]可选的，还包括：
[0032]待处理任务获取单元，用于获取当前的所有待处理任务；
[0033]排序单元，用于将所述所有待处理任务进行耗时排序后放入所述任务队列中。
[0034]可选的，所述待处理任务获取单元，用于响应当前接收的请求，获取所述请求对应的多个深度学习图的计算任务，将所述多个深度学习图的计算任务作为所述所有待处理任务。
[0035]可选的，所述目标负载门选取单元，用于获取所述N个负载门中每个负载门对应的负载值，负载值是根据负载门的当前等待线程数量确定的；根据每个负载门对应的负载值，从所述N个负载门中选择负载低于所述设定负载的一个负载门作为所述目标负载门。
[0036]本专利技术实施例第三方面提供了一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上的程序存储于存储器中，且经配置以由一个或者一个以上的处理器执行所述一个或者一个以上的程序所包含的用于进行如第一方面提供的用于深度学习平台的任务调度方法对应的操作指令。
[0037]本专利技术实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的用于深度学习平台的任务调度方法对应的步骤。
[0038]本专利技术实施例中的上述一个或至少一个技术方案，至少具有如下技术效果：
[0039]基于上述技术方案，从任务队列中获取耗时不低于设定耗时的目标待处理任务；从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门；将所述目标待处理任务分配给所述目标负载门对应的目标GPU进行处理，如此，由于目标待处理任务的耗时不低于设定耗时，而目标负载门的负载低于设定负载，且N个负载门与N个GPU一一对应，使得耗时高的目标待处理任务分配给负载低的目标GPU进行处理，从而提高了负载均衡的精确度，在负载均衡的精确度提高的基础上，使得任务总负载的平衡性能提高，使得高耗时的任务会优先调度计算，从而能够有效缩短任务完成的总耗时，提高任务处理效率。
附图说明
[0040]图1为本专利技术实施例提供的用于深度学习平台的任务调度方法的流程示意图；
[0041]图2为本专利技术实施例提供的用于深度学习平台的任务调度装置的方框图；
[0042]图3为本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0043]下面结合附图对本专利技术实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
[0044]实施例
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于深度学习平台的任务调度方法，其特征在于，所述方法包括：从任务队列中获取耗时不低于设定耗时的目标待处理任务；从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，其中，所述N个负载门与所述深度学习平台包含的N个GPU一一对应，N为大于1的整数；将所述目标待处理任务分配给所述目标负载门对应的目标GPU进行处理。2.如权利要求1所述的方法，其特征在于，在从任务队列中获取耗时不低于设定耗时的目标待处理任务之前，所述方法还包括：获取当前的所有待处理任务；将所述所有待处理任务进行耗时排序后放入所述任务队列中。3.如权利要求2所述的方法，其特征在于，所述获取当前的所有待处理任务，包括：响应当前接收的请求，获取所述请求对应的多个深度学习图的计算任务，将所述多个深度学习图的计算任务作为所述所有待处理任务。4.如权利要求2所述的方法，其特征在于，所述将所述所有待处理任务进行耗时排序后放入所述任务队列中，包括：获取所述所有待处理任务中每个待处理任务的预期耗时；根据每个待处理任务的预期耗时，依照预期耗时从大到小将所述所有待处理任务放入所述任务队列中。5.如权利要求4所述的方法，其特征在于，所述根据每个待处理任务的预期耗时，依照预期耗时从大到小将所述所有待处理任务放入所述任务队列中，包括：根据每个待处理任务的预期耗时，依照预期耗时从大到小对所述所有待处理任务进行排序；将排序后的所述所有待处理任务放入所述任务队列中。6.如权利要求1
‑
5任一项所述的方法，其特征在于，所述从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，包括：获取所述N个负载门中每个负载门对应的负载值，负载值是根据负载门的当前等待线程数量确定的；根据每个负载门对应的负载值，从所述N个负载门中选择负载低于所述设定负载的一个负载门作为所述目标负载门。7.如权利要求6所述的方法，其特征在于，所述从N个负载门中选取负载低于设定负载的一个负载门作为目标负载门，包括：从所述N个负载门中选取...

【专利技术属性】
技术研发人员：刘鹤，沈大赛，谢远江，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：