一种任务调度方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种任务调度方法、装置、设备及介质，所述方法包括：当任务调度指令被触发时，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息；根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务；获取所述目标预测任务对应的目标任务类型，将所述目标任务类型对应的待分配预测任务作为所述待分配图形处理器对应的目标执行任务。本发明专利技术实施例提供的任务调度方法通过根据任务状态，在图形处理器资源有限的情况下，为每个图形处理器分配同一类型的待预测任务，使得在有限的图形处理器硬件资源下，实现了多种不同的模型预测，且降低了图形处理器的启停次数，提高了图形处理器的硬件使用率。

A task scheduling method, device, equipment and medium

【技术实现步骤摘要】
一种任务调度方法、装置、设备及介质
本专利技术实施例涉及数据处理领域，尤其涉及一种任务调度方法、装置、设备及介质。
技术介绍
随着图形处理器(GraphicsProcessingUnit，GPU)技术的不断进步，GPU逐渐成为计算系统中最重要的加速部件之一。目前，基于深度学习技术的学习预测任务，例如，用于疾病分析的神经网络模型预测任务等等，通常基于GPU实现硬件加速，但GPU价格不菲且资源有限，单个GPU硬件设备显存为几G至几十G不等，常用的深度学习模型占用显存从几十M至数百G，如何在有限的GPU硬件资源下，实现多种不同的模型预测，是一个亟待解决的技术问题。
技术实现思路
本专利技术实施例提供了一种任务调度方法、装置、设备及介质，以实现在有限的GPU硬件资源下，实现多种不同的模型预测，提高GPU的硬件使用率。第一方面，本专利技术实施例提供了一种任务调度方法，包括：当任务调度指令被触发时，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息；根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务；获取所述目标预测任务对应的目标任务类型，将所述目标任务类型对应的待分配预测任务作为所述待分配图形处理器对应的目标执行任务。第二方面，本专利技术实施例还提供了一种一种任务调度装置，包括：任务信息获取模块，用于当任务调度指令被触发时，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息；目标任务确定模块，用于根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务；预测任务分配模块，用于获取所述目标预测任务对应的目标任务类型，将所述目标任务类型对应的待分配预测任务作为所述待分配图形处理器对应的目标执行任务。第三方面，本专利技术实施例还提供了一种计算机设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所提供的任务调度方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所提供的任务调度方法。本专利技术实施例通过当任务调度指令被触发时，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息；根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务；获取所述目标预测任务对应的目标任务类型，将所述目标任务类型对应的待分配预测任务作为所述待分配图形处理器对应的目标执行任务，通过根据任务状态，在GPU资源有限的情况下，为每个GPU分配同一类型的待预测任务，使得在有限的GPU硬件资源下，实现了多种不同的模型预测，且降低了GPU的启停次数，提高了GPU的硬件使用率。附图说明图1是本专利技术实施例一所提供的一种任务调度方法的流程图；图2a是本专利技术实施例二所提供的一种任务调度方法的流程图；图2b是本专利技术实施例二所提供的一种任务调度算法的流程图；图3是本专利技术实施例三所提供的一种任务调度装置的结构示意图；图4是本专利技术实施例四所提供的计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一所提供的一种任务调度方法的流程图。本实施例可适用于进行任务调度，以使有限个GPU合理的执行多个深度学习预测任务时的情形。该方法可以由任务调度装置执行，该任务调度装置可以采用软件和/或硬件的方式实现，例如，该任务调度装置可配置于计算机设备中。如图1所示，所述方法包括：S110、当任务调度指令被触发时，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息。在本实施例中，通过当任务调度指令被触发时，对待预测任务进行调度，将同一类型的预测任务分配至同一图形处理器，实现待预测任务的合理分配。可选的，当任务调度指令被触发时，获取当前待分配预测任务的任务信息以及待分配图形处理器的处理器信息，以根据任务信息以及处理器信息进行任务调度。其中，任务信息可以为待分配预测任务的任务类型(如待分配预测任务对应的任务预测模型)、待分配预测任务的任务资源需求，待分配预测任务的任务执行时间等信息。待分配图形处理器的处理器信息可以包括待分配图形处理器的硬件资源，如待分配图形处理器的个数等。在本专利技术的一种实施方式中，所述任务调度指令被触发，包括：当到达设定的任务调度周期时，所述任务调度指令被触发；和/或，当未分配任务类型存在新建待预测任务时，所述任务调度指令被触发；和/或，当已分配任务类型不存在待预测任务时，所述任务调度指令被触发。一般情况下，并非所有的任务预测模型时时均有待预测任务，极端情况下，一天内可能存在极少量的第一任务预测需求，但存在大量的第二任务预测需求。示例性的，可能一天内仅有数十例CT影像预测需求，绝大部分为DR预测需求。为了使GPU的分配更加合理，提高GPU的硬件使用效率，可以根据预测任务的预测规律，预先设定任务调度周期，当到达设定的任务调度周期时，触发任务调度指令，对当前的待预测任务进行重新调度。示例性的，可以设定任务调度周期为24小时，则每隔24小时对当前的待预测任务进行重新调度。另外，还可以当未分配任务类型存在新建待预测任务时，触发任务调度指令，以使新增的待预测任务能够及时分配至GPU，保证新增的待预测任务能够及时被预测。还可以当已分配任务类型不存在待预测任务时，触发任务调度指令，以使GPU由任务执行状态变为空闲状态时，为利用空闲状态的GPU重新分配待预测任务，提高GPU的硬件使用效率。S120、根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务。在本实施例中，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息后，根据待分配预测任务的任务信息和待分配图形处理器的处理器信息从待分配预测任务中选取出一待分配预测任务作为待分配图形处理器的目标预测任务。可选的，针对每一待分配预测任务，根据该待分配预测任务的任务信息以及待分配图形处理器的处理器信息判断该待分配预测任务是否能够被执行。可选的，可以从待分配预测任务中随机选取能够被执行的待分配预测任务，将其作为目标预测任务，还可以根据设定顺序，依次判断待分配预测任务是否能够被执行，将首个能够被执行的待分配预测任务作为目标预测任务。示例性的，设定顺序的排列方式在此不做限定，例如可以根据待分配预测任务的任务执行时间将待分配预测任务进行顺序排序，或根据待分配预测任务的任务创建时间将待分配预测任务进行顺序排序，或根据待分配预测任务的任务资源需求将待分配预测任务进行顺序排序等。根据待分配预测任务的任务执行时间将待分配预测任务进行顺序排序使得本文档来自技高网...

【技术保护点】
1.一种任务调度方法，其特征在于，包括：/n当任务调度指令被触发时，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息；/n根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务；/n获取所述目标预测任务对应的目标任务类型，将所述目标任务类型对应的待分配预测任务作为所述待分配图形处理器对应的目标执行任务。/n

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：
当任务调度指令被触发时，获取待分配预测任务的任务信息以及待分配图形处理器的处理器信息；
根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务；
获取所述目标预测任务对应的目标任务类型，将所述目标任务类型对应的待分配预测任务作为所述待分配图形处理器对应的目标执行任务。


2.根据权利要求1所述的方法，其特征在于，所述任务信息包括所述待分配预测任务的任务创建时间以及所述待分配预测任务的任务资源需求，所述处理器信息包括所述待分配图形处理器的硬件资源，所述根据所述任务信息以及所述处理器信息选取一待分配预测任务作为目标预测任务，包括：
根据所述任务创建时间对所述待分配预测任务进行升序排序；
根据任务排序顺序将所述待分配预测任务进行资源匹配，将首个任务资源需求不高于所述硬件资源的待分配预测任务作为所述目标预测任务。


3.根据权利要求1所述的方法，其特征在于，还包括：
当不存在待分配预测任务时，判断是否存在空闲图形处理器；
若存在所述空闲图形处理器，则获取各任务类型对应的模型预测时间，并根据所述模型预测时间对所述任务类型进行逆序排序；
根据类型排序顺序为所述空闲图形处理器分配空闲预测任务。


4.根据权利要求3所述的方法，其特征在于，所述获取各任务类型对应的模型预测时间，包括：
针对每个所述任务类型，根据所述任务类型对应的待预测任务数量、所述任务类型的实例数以及所述任务类型的单个任务预测时间计算所述任务类型对应的模型预测时间。


5.根据权利要求3所述的方法，其特征在于，所述根据类型排序顺序为所述空闲图形处理器分配待分配预测任务，包括：
根据类型排序顺序将所述...

【专利技术属性】
技术研发人员：单亚峰，王征，颜亚军，李超明，翁黄硕羽，李新阳，王少康，陈宽，
申请(专利权)人：北京推想科技有限公司，
类型：发明
国别省市：北京;11