一种AI算力自动调度方法、装置及介质制造方法及图纸

本发明专利技术提供了一种AI算力自动调度方法、装置、介质及设备，该方法用以实现AI算力资源的充分利用并降低计算延迟，包括：获取N个AI任务队列，其中，AI任务队列包括多个待处理的AI任务，通过调度引擎查询算力资源池中各个计算节点的运行状态和算力资源的使用情况，确定当前可用的计算资源状态，其中，算力资源池用于管理多个计算节点的计算资源；根据AI任务特征和当前可用的计算资源状态，动态调整AI任务的资源分配策略，根据调整后的AI任务的资源分配策略，为N个AI任务队列分配对应的计算资源。AI任务特征包括AI任务所在队列排序、AI任务所需算力等级和AI任务的优先级，其中，排序靠前、算力等级高和/或优先级高的AI任务优先分配计算资源。源。源。

【技术实现步骤摘要】
一种AI算力自动调度方法、装置及介质


[0001]本专利技术涉及人工智能
，尤其涉及一种AI算力自动调度方法、装置、介质及设备。

技术介绍

[0002]现有的人工智能(Artificial Intelligence，AI)算力主要是通过用户主动占用图像处理器(graphics processing unit，GPU)，获取GPU使用权限，才可以使用GPU，这样的方式相当于将GPU与用户绑定，即时当前用户没有任务需要处理，因用户未解绑，导致资源无法及时释放，大大的降低了GPU的使用率，造成GPU资源浪费。因此，亟需提供一种新的AI算力自动调度方案，来解决上述问题。

技术实现思路

[0003]本专利技术的目的在于提供一种AI算力自动调度方法、装置、介质及设备，用以实现AI算力资源的充分利用并降低计算延迟。
[0004]第一方面，本专利技术实施例提供一种AI算力自动调度方法，该方法包括：获取N个AI任务队列，其中，所述AI任务队列包括多个待处理的AI任务，N为正整数；通过调度引擎查询算力资源池中各个计算节点的运行状态和算力资源的使用情况，确定当前可用的计算资源状态，其中，所述算力资源池用于管理多个计算节点的计算资源；根据AI任务特征和当前可用的计算资源状态，动态调整AI任务的资源分配策略，根据调整后的AI任务的资源分配策略，为N个AI任务队列分配对应的计算资源。所述AI任务特征包括AI任务所在队列排序、AI任务所需算力等级和AI任务的优先级，其中，排序靠前的AI任务优先分配计算资源，所需算力等级高的AI任务优先分配计算资源，AI任务的优先级高的AI任务优先分配计算资源。
[0005]本专利技术实施例提供的AI算力自动调度方法的有益效果在于：因算力资源池中手机有各个计算节点的技术资源的运行状态和资源使用情况，所以调度引擎根据AI任务所需算力等级、优先级、当前可用的计算资源状态等因素，自动动态调整AI任务的资源分配策略，然后将待处理的任务分配至适当的计算资源上执行，以最大化算力资源利用率并降低延迟。
[0006]在一种可能的实施方案中，根据AI任务特征和当前可用的计算资源状态，动态调整AI任务的资源分配策略，包括：当AI任务的优先级为最高优先级时，则为所述AI任务优先分配VIP算力等级的计算资源，且为所述AI任务保留所述VIP算力等级的计算资源至设定时长后再释放计算资源；当AI任务的优先级不是最高优先级时，则为所述AI任务按设定算法分配实时算力等级，非实时算力等级以及夜间算力等级对应的可用计算资源。
[0007]在另一种可能的实施方案中，当AI任务的优先级不是最高优先级，按设定算法分配实时算力等级，非实时算力等级以及夜间算力等级对应的可用计算资源，包括：
[0008]当AI任务的优先级不是最高优先级时，则判断所述AI任务所需算力等级是否为实时算力等级，若是，则为所述AI任务按比例优先分配VIP算力等级和实时算力等级的计算资
源；
[0009]当所述AI任务所需算力等级不是实时算力等级且不是夜间算力等级时，则为所述AI任务按比例优先分配VIP算力等级、实时算力等级和非实时算力等级的计算资源；
[0010]当所述AI任务所需算力等级为夜间算力等级，为所述AI任务按比例优先分配VIP算力等级、实时算力等级、非实时算力等级和夜间算力等级的计算资源。
[0011]在其他可能的实施例中，上述方法还包括：当所述AI任务执行完毕后，通过调度引擎向用户反馈计算结果，并释放所述AI任务占用的计算资源。
[0012]在又一种可能的实施例中，上述方法还包括：通过监控系统收集和分析多个计算节点的运行状况和计算资源利用状况；根据计算资源利用状况确定是否增加或减少计算节点。
[0013]第二方面，本专利技术实施例还提供一种AI算力自动调度装置，该装置包括执行上述第一方面的任意一种可能的实施方式的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
[0014]第三方面，本专利技术实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括程序，当程序在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施方式的方法。
[0015]第四方面，本专利技术实施例中还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述电子设备实现如上述第一方面任意一实施例所述的方法。
[0016]第五方面，本专利技术实施例还提供一种计算机程序产品，当所述程序产品在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施方式的方法。
[0017]关于上述第二方面至第五方面的有益效果可以参见上述第一方面中的描述。
附图说明
[0018]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例提供的一种计算处理系统的架构示意图；
[0020]图2为本专利技术实施例提供的一种AI算力自动调度方法流程示意图；
[0021]图3为本专利技术实施例提供的一种AI算力自动调度装置示意图；
[0022]图4为本专利技术实施例提供的一种电子设备结构示意图。
具体实施方式
[0023]在本专利技术实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本专利技术的限制。如在本专利技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本专利技术以下各实施
例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
[0024]在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本专利技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI算力自动调度方法，其特征在于，包括：获取N个AI任务队列，其中，所述AI任务队列包括多个待处理的AI任务，N为正整数；通过调度引擎查询算力资源池中各个计算节点的运行状态和算力资源的使用情况，确定当前可用的计算资源状态，其中，所述算力资源池用于管理多个计算节点的计算资源；根据AI任务特征和当前可用的计算资源状态，动态调整AI任务的资源分配策略，所述AI任务特征包括AI任务所在队列排序、AI任务所需算力等级和AI任务的优先级，其中，排序靠前的AI任务优先分配计算资源，所需算力等级高的AI任务优先分配计算资源，AI任务的优先级高的AI任务优先分配计算资源；根据调整后的AI任务的资源分配策略，为N个AI任务队列分配对应的计算资源。2.根据权利要求1所述的方法，其特征在于，根据AI任务特征和当前可用的计算资源状态，动态调整AI任务的资源分配策略，包括：当AI任务的优先级为最高优先级时，则为所述AI任务优先分配VIP算力等级的计算资源，且为所述AI任务保留所述VIP算力等级的计算资源至设定时长后再释放计算资源；当AI任务的优先级不是最高优先级时，则为所述AI任务按设定算法分配实时算力等级，非实时算力等级以及夜间算力等级对应的可用计算资源。3.根据权利要求2所述的方法，其特征在于，当AI任务的优先级不是最高优先级，按设定算法分配实时算力等级，非实时算力等级以及夜间算力等级对应的可用计算资源，包括：当AI任务的优先级不是最高优先级时，则判断所述AI任务所需算力等级是否为实时算力等级，若是，则为所述AI任务按比例优先分配VIP算力等级和实时算力等级的计算资源；当所述AI任务所需算力等级不是实时算力等级且不是夜间算力等级时，则为所述AI任务按比例优先分配VIP算力等级、实时算力等级和非实时算力等级的计算资源；当所述AI任务所需算力等级为夜间算力等级，为所述AI任务按比例优先分配VIP算力等级、实时算力等级、非实时算力等级和夜间算力等级的计算资源。4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：当所述AI任务执行完毕后，通过调度引擎向用户反馈计算结果，并释放所述AI任务占用的计算资源。5.根据权利要求1至3任一项所述的方法，其特征在于，还包括：通过监控系统收集和分析多个计算节点的运行状况和计算资源利用状况；根据计算资源利用状况确定是否增加或减少计算节点。6.一种AI算力自动调度装置，其特征在于，包括：获取单元，...

【专利技术属性】
技术研发人员：刘斌，
申请(专利权)人：上海数珩信息科技股份有限公司，
类型：发明
国别省市：