调度人工智能平台资源的方法、设备和计算机可读存储介质技术

本申请涉及人工智能领域，提供了调度人工智能平台资源的方法、设备和计算机可读存储介质，以合理、高效地调度AI平台的资源。所述方法包括：人工智能AI平台接收AI任务请求，其中，AI任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；根据AI任务请求对应任务的资源属性，确定AI任务请求对应任务的优先级；根据AI任务请求对应任务的优先级，优先将AI平台的资源调度给任务中优先级相对较高的任务。相比于现有技术仅仅按照任务请求的先后时间顺序来调度AI平台资源而带来的种种缺陷，本申请的技术方案始终保证优先级相对较高的任务具有资源可用，是一种合理、高效的资源调度方式。调度方式。调度方式。

【技术实现步骤摘要】
调度人工智能平台资源的方法、设备和计算机可读存储介质


[0001]本专利技术涉及人工智能领域，特别涉及一种调度人工智能平台资源的方法、设备和计算机可读存储介质。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)的飞速发展，AI技术逐渐应用到与人们生活密切相关的领域。AI平台承担着各种类型的任务，例如，有些任务属于交互式任务，有些任务属于推理型任务，有些任务则属于训练任务，等等，不同类型的任务对资源的要求不同。
[0003]现有人工智能平台在调度资源时，主要是按照时间顺序来调度，即，哪个任务对AI平台的请求在先，则先为该任务调度AI平台的资源，例如，任务A属于推理型任务，任务B属于交互式任务，并且，任务A先于任务B向AI平台申请资源，则任务A优先获取该AI平台的资源，直至任务A完成后，AI平台才释放出资源供任务B使用。
[0004]然而，上述现有调度人工智能平台资源的方法的缺陷在于，尽管任务A先于任务B向AI平台申请资源，但任务B的优先级实际上比任务A的优先级高，如此，任务A可能事先将资源耗尽，待到具有更高优先级的任务B申请AI平台的资源时将无资源可用。

技术实现思路

[0005]本申请提供一种调度人工智能平台资源的方法、装置、设备和计算机可读存储介质，以合理、高效地调度AI平台的资源。
[0006]一方面，本申请提供了一种调度人工智能平台资源的方法，包括：
[0007]人工智能AI平台接收AI任务请求，所述AI任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；
[0008]根据所述AI任务请求对应任务的资源属性，确定所述AI任务请求对应任务的优先级；
[0009]根据所述AI任务请求对应任务的优先级，优先将所述AI平台的资源调度给所述任务中优先级相对较高的任务。
[0010]另一方面，本申请提供了一种调度人工智能平台资源的装置，包括：
[0011]任务请求接收模块，用于人工智能AI平台接收至少一个AI任务请求；所接受任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；
[0012]优先级确定模块，用于根据所述AI任务请求对应任务的资源属性，确定所述AI任务请求对应任务的优先级；
[0013]调度模块，用于根据所述AI任务请求对应任务的优先级，优先将所述AI平台的资源调度给所述任务中优先级相对较高的任务。
[0014]第三方面，本申请提供了一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现
如上述调度人工智能平台资源的方法的技术方案的步骤。
[0015]第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述调度人工智能平台资源的方法的技术方案的步骤。
[0016]从上述本申请提供的技术方案可知，在人工智能AI平台接收AI任务请求后，根据AI任务请求对应任务的资源属性确定AI任务请求对应任务的优先级，然后，根据AI任务请求对应任务的优先级，优先将AI平台的资源调度给任务中优先级相对较高的任务。相比于现有技术仅仅按照任务请求的先后时间顺序来调度AI平台资源而带来的种种缺陷，本申请的技术方案始终保证优先级相对较高的任务具有资源可用，是一种合理、高效的资源调度方式。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本申请实施例提供的调度人工智能平台资源的方法的流程图；
[0019]图2是本申请实施例提供的对任务中断和重启时处理的示意图；
[0020]图3是本申请实施例提供的调度人工智能平台资源的装置的结构示意图；
[0021]图4是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
[0022]图5是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
[0023]图6是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
[0024]图7是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
[0025]图8是本申请实施例提供的设备的结构示意图。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
[0028]在本说明书中，为了便于描述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0029]本申请提出了一种调度人工智能平台资源的方法。如附图1所示，调度人工智能平台资源的方法主要包括步骤S101至S103，详述如下：
[0030]步骤S101：人工智能AI平台接收AI任务请求，其中，AI任务请求对应任务的类型包
括模型训练任务、模型推理任务或交互式任务。
[0031]在本申请实施例中，AI平台可用于完成各种类型的任务，例如，交互式任务、推理型任务和训练任务，等等。这些任务可由用户以AI任务请求的形式向AI平台发出，AI平台接收这些AI任务请求。一般而言，AI任务请求对应任务的类型可包括模型训练任务、模型推理任务或交互式任务，等等。
[0032]步骤S102：根据AI任务请求对应任务的资源属性，确定AI任务请求对应任务的优先级。
[0033]无论是AI平台正在运行的任务，还是新接收到的任务，都有优先级的区分。所谓优先级，是指先于其他任务优先处理的等级。在本申请实施例中，优先级主要包括最高优先级、中等优先级和最低优先级，其中，最高优先级的任务的最高优先级表现在除非用户自动退出该任务，否则，该任务不会被停止运行，即使AI平台收到了相同优先级的任务的请求。在本申请实施例中，可以根据AI任务请求对应任务的资源属性，确定AI任务请求对应任务的优先级，其中，任务的资源属性包括该任务的资源不可被抢占或可被抢占，或者，任务可以分为不可被抢占任务和可被抢占任务，所谓不可被抢占任务，其资源仅在该任务执行完毕后被释放，而可被抢占任务，其资源可能随时被AI平台释放。按照上述约本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度人工智能平台资源的方法，其特征在于，所述方法包括：人工智能AI平台接收AI任务请求，所述AI任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务。根据所述AI任务请求对应任务的资源属性，确定所述AI任务请求对应任务的优先级；根据所述AI任务请求对应任务的优先级，优先将所述AI平台的资源调度给所述任务中优先级相对较高的任务。2.如权利要求1所述调度人工智能平台资源的方法，其特征在于，所述根据所述AI任务请求对应任务的资源属性，确定所述AI任务请求对应任务的优先级，包括：根据所述交互式任务的不可被抢占的资源属性，将所述交互式任务的优先级确定为最高优先级；以及当所述模型训练任务和模型推理任务的资源属性为可被抢占时，将所述模型推理任务的优先级确定为中等优先级，将所述模型训练任务的优先级确定为最低优先级。3.如权利要求1所述调度人工智能平台资源的方法，其特征在于，所述根据所述AI任务请求对应任务的优先级，优先将所述AI平台的资源调度给所述任务中优先级相对较高的任务，包括：计算所述AI平台当前具有的可用资源，所述AI平台当前具有的可用资源包括空闲资源和/或较低优先级的任务正在使用的资源，所述较低优先级的任务正在使用的资源包括中等优先级和/或最低优先级的任务正在使用的资源；当所述AI任务请求对应任务包含最高优先级的任务时，若所述空闲资源能够满足所述最高优先级的任务对资源的需求，则将所述空闲资源调度给所述最高优先级的任务。4.如权利要求3所述调度人工智能平台资源的方法，其特征在于，所述方法还包括：若所述空闲资源不能满足所述最高优先级的任务对资源的需求，并且所述正在运行任务包括所述中等优先级和/或最低优先级的任务，则释放所述正在运行的中等优先级和/或最低优先级的任务所占用资源；将所述空闲资源和所述释放的资源调度给所述最高优先级的任务。5.如权利要求3所述调度人工智能平台资源的方法，其特征在于，所述方法还包括：当所述AI任务请求对应任务不包含所述最高优先级的任务时，若所述空闲资源能够满足所述中等优先级和/或最低优先级的任务，则将...

【专利技术属性】
技术研发人员：齐文，李劲，郭玮，苏力强，
申请(专利权)人：依瞳科技深圳有限公司，
类型：发明
国别省市：