算力调度方法以及相关装置制造方法及图纸

本申请公开了一种算力调度方法以及相关装置，上述算力调度方法包括：获取待创建任务的类型、以及算力卡集合中包含第一类型的任务的第一算力卡子集合；其中，待创建任务的类型为第一类型；响应于第一算力卡子集合中包括满足预设条件的目标算力卡，在目标算力卡上创建待创建任务。通过这种设计方式，相同类型的任务能够尽量创建在同一张算力卡上，不仅算力卡的内存利用率和CNN算力使用率能够得到提升，从而可以使得算力卡的剩余资源利用率得到提升，而且节省了首次创建任务需要的额外内存消耗。耗。耗。

【技术实现步骤摘要】
算力调度方法以及相关装置


[0001]本申请涉及AI算力调度
，特别是涉及一种算力调度方法以及相关装置。

技术介绍

[0002]近些年来，随着机器学习与深度学习的快速发展，越来越多的产品通过应用图像分析技术变得更加自动化与智能化，例如人脸识别、车牌识别等。日益增长的用户端调用数量导致许多视频智能分析平台不堪重负，迫使很多平台产商通过提高硬件设施的性能或新增硬件服务器数量来应对，但这种应对方式不仅增加了平台的成本，而且增加了平台维护的工作量。因此，研究一种能够对平台算力资源进行充分、灵活的算力调度方法对于视频智能分析平台在经济效益与资源节约方面具有较高的实用性。
[0003]目前所采用的方法一般为均衡负载，而这种方法无法使算力卡的剩余资源利用率的到充分利用。因此，亟需一种新的算力调度方法来解决上述问题。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种算力调度方法以及相关装置，可以使得算力卡的剩余资源利用率得到提升。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种算力调度方法，包括：获取待创建任务的类型、以及算力卡集合中包含第一类型的任务的第一算力卡子集合；其中，所述待创建任务为第一类型的任务；响应于所述第一算力卡子集合中包括满足预设条件的目标算力卡，在所述目标算力卡上创建所述待创建任务。
[0006]其中，所述响应于所述第一算力卡子集合中获得包括满足预设条件的目标算力卡的步骤，包括：获得所述待创建任务的单路资源消耗值和所述第一算力卡子集合中每张算力卡的剩余资源值；根据所述单路资源消耗值和所述剩余资源值从所述第一算力卡子集合中挑选出满足第一预设条件的第一备选算力卡集合；从所述第一备选算力卡集合中选定满足第二预设条件的目标算力卡。
[0007]其中，所述根据所述单路资源消耗值和所述剩余资源值从所述第一算力卡子集合中挑选出满足第一预设条件的第一备选算力卡集合的步骤，包括：响应于所述第一子算力卡集合包括仅包含所述第一类型的任务的算力卡，获得所述第一算力卡子集合中每张算力卡的所述剩余资源值与所述单路资源消耗值之间的第一差值；其中，所述第一差值包括所述算力卡的剩余内存值与非首次开启的单路内存消耗值之间的差值、剩余CPU值与单路CPU占用值之间的差值、剩余CNN算力值与单类型环境算力消耗值之间的差值中的至少一种，所述单类型环境算力消耗值为所述算力卡当前仅开启所述第一类型的任务时测得的单路CNN算力消耗值；从所述第一算力卡子集合中挑选出所述第一差值大于预设阈值的第一备选算力卡集合；和/或，响应于所述第一子算力卡集合包括包含所述第一类型的任务和其他类型任务的算力卡，获得所述第一算力卡子集合中每张算力卡的所述剩余资源值与所述单路资源消耗值之间的第二差值；其中，所述第二差值包括所述算力卡的剩余内存值与非首次开
启的单路内存消耗值之间的差值、剩余CPU值与单路CPU占用值之间的差值、剩余CNN算力值与多类型环境算力消耗值之间的差值中的至少一种，所述多类型环境算力消耗值为所述当前算力卡当前开启多种类型任务时测得的单路CNN算力消耗值，且所述多类型环境算力消耗值与所述单类型环境算力消耗值相关；从所述第一算力卡子集合中挑选出所述第二差值大于预设阈值的第一备选算力卡集合。
[0008]其中，所述从所述第一备选算力卡集合中选定满足第二预设条件的目标算力卡的步骤，包括：响应于所述第一子算力卡集合包括仅包含所述第一类型的任务的算力卡，从所述第一备选算力卡集合中选定所述剩余资源值最小的目标算力卡；和/或，响应于所述第一子算力卡集合包括包含所述第一类型的任务和其他类型任务的算力卡，从所述第一备选算力卡集合中选定当前开启所述第一类型的任务的个数最多的目标算力卡。
[0009]其中，所述剩余资源值包括剩余CNN算力值；所述获得所述第一算力卡子集合中每张算力卡的剩余资源值的步骤，包括：响应于当前算力卡仅包含所述第一类型的任务，获得一与所述当前算力卡中每个任务的单类型环境算力消耗值和任务个数的乘积之间的第三差值，并将所述第三差值作为所述当前算力卡的所述剩余CNN算力值；和/或，响应于当前算力卡包含所述第一类型的任务和其他类型的任务，获得一与所述当前算力卡中每个任务的多类型环境算力消耗值的总和之间的第四差值，并将所述第四差值作为所述当前算力卡的所述剩余CNN算力值。
[0010]其中，所述方法还包括：响应于从所述第一算力卡子集合中未确定所述目标算力卡，从所述算力卡集合中获得不包含所述第一类型的任务的第二算力卡子集合。
[0011]其中，所述从所述算力卡集合中获得不包含所述第一类型的任务的第二算力卡子集合的步骤之后，包括：响应于所述第二算力卡子集合中包括至少一个空闲算力卡，将任意所述空闲算力卡选定为所述目标算力卡，并进入在所述目标算力卡上创建所述待创建任务的步骤；其中，所述空闲算力卡当前未开启任何任务。
[0012]其中，所述从所述算力卡集合中获得不包含所述第一类型的任务的第二算力卡子集合的步骤之后，还包括：响应于所述第二算力卡子集合中包括至少一张非完全空闲算力卡，获得所述待创建任务的单路资源消耗值和所述第二算力卡子集合中每张算力卡的剩余资源值；根据所述单路资源消耗值和所述剩余资源值从所述第二算力卡子集合中挑选出满足第三预设条件的第二备选算力卡集合；从所述第二备选算力卡集合中选定满足第四预设条件的目标算力卡，并进入在所述目标算力卡上创建所述待创建任务的步骤。
[0013]其中，所述根据所述单路资源消耗值和所述剩余资源值从所述第二算力卡子集合中挑选出满足第三预设条件的第二备选算力卡集合的步骤，包括：获得所述第二算力卡子集合中每张算力卡的所述剩余资源值与所述单路资源消耗值之间的第五差值；从所述第二算力卡子集合中挑选出所述第五差值大于预设阈值的第二备选算力卡集合；其中，所述第五差值包括所述算力卡的剩余内存值与首次开启的单路内存消耗值之间的差值、剩余CPU值与单路CPU占用值之间的差值、剩余CNN算力值与多类型环境算力消耗值之间的差值中的至少一种。
[0014]其中，所述从所述第二备选算力卡集合中选定满足第四预设条件的目标算力卡，并进入在所述目标算力卡上创建所述待创建任务的步骤，包括：从所述第二备选算力卡集合中选定所述剩余资源值最大的目标算力卡，并进入在所述目标算力卡上创建所述待创建
任务的步骤。
[0015]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种算力调度装置，包括：获取模块，用于获取待创建任务的类型、以及算力卡集合中包含第一类型的任务的第一算力卡子集合；其中，所述待创建任务的类型为所述第一类型；处理模块，用于响应于所述第一算力卡子集合中包括满足预设条件的目标算力卡，在所述目标算力卡上创建所述待创建任务。
[0016]为解决上述技术问题，本申请采用的又一个技术方案是：提供一种电子设备，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现上述任一实施例所提及的算力调度方法。...

【技术保护点】

【技术特征摘要】
1.一种算力调度方法，其特征在于，包括：获取待创建任务的类型、以及算力卡集合中包含第一类型的任务的第一算力卡子集合；其中，所述待创建任务的类型为所述第一类型；响应于所述第一算力卡子集合中包括满足预设条件的目标算力卡，在所述目标算力卡上创建所述待创建任务。2.根据权利要求1所述的算力调度方法，其特征在于，所述响应于所述第一算力卡子集合中获得包括满足预设条件的目标算力卡的步骤，包括：获得所述待创建任务的单路资源消耗值和所述第一算力卡子集合中每张算力卡的剩余资源值；根据所述单路资源消耗值和所述剩余资源值从所述第一算力卡子集合中挑选出满足第一预设条件的第一备选算力卡集合；从所述第一备选算力卡集合中选定满足第二预设条件的目标算力卡。3.根据权利要求2所述的算力调度方法，其特征在于，所述根据所述单路资源消耗值和所述剩余资源值从所述第一算力卡子集合中挑选出满足第一预设条件的第一备选算力卡集合的步骤，包括：响应于所述第一子算力卡集合包括仅包含所述第一类型的任务的算力卡，获得所述第一算力卡子集合中每张算力卡的所述剩余资源值与所述单路资源消耗值之间的第一差值；其中，所述第一差值包括所述算力卡的剩余内存值与非首次开启的单路内存消耗值之间的差值、剩余CPU值与单路CPU占用值之间的差值、剩余CNN算力值与单类型环境算力消耗值之间的差值中的至少一种，所述单类型环境算力消耗值为所述算力卡当前仅开启所述第一类型的任务时测得的单路CNN算力消耗值；从所述第一算力卡子集合中挑选出所述第一差值大于预设阈值的第一备选算力卡集合；和/或，响应于所述第一子算力卡集合包括包含所述第一类型的任务和其他类型任务的算力卡，获得所述第一算力卡子集合中每张算力卡的所述剩余资源值与所述单路资源消耗值之间的第二差值；其中，所述第二差值包括所述算力卡的剩余内存值与非首次开启的单路内存消耗值之间的差值、剩余CPU值与单路CPU占用值之间的差值、剩余CNN算力值与多类型环境算力消耗值之间的差值中的至少一种，所述多类型环境算力消耗值为所述当前算力卡当前开启多种类型任务时测得的单路CNN算力消耗值，且所述多类型环境算力消耗值与所述单类型环境算力消耗值相关；从所述第一算力卡子集合中挑选出所述第二差值大于预设阈值的第一备选算力卡集合。4.根据权利要求2所述的算力调度方法，其特征在于，所述从所述第一备选算力卡集合中选定满足第二预设条件的目标算力卡的步骤，包括：响应于所述第一子算力卡集合包括仅包含所述第一类型的任务的算力卡，从所述第一备选算力卡集合中选定所述剩余资源值最小的目标算力卡；和/或，响应于所述第一子算力卡集合包括包含所述第一类型的任务和其他类型任务的算力卡，从所述第一备选算力卡集合中选定当前开启所述第一类型的任务的个数最多的目标算力卡。
5.根据权利要求2所述的算力调度方法，其特征在于，所述剩余资源值包括剩余CNN算力值；所述获得所述第一算力卡子集合中每张算力卡的剩余资源值的步骤，包括：响应于当前算力卡仅包含所述第一类型的任务，获得一与所述当前算力卡中每个任务的单类型环境算力消耗值和任务个数的乘积之间的第三差值，并将所述第三差值作为所述当前算力卡的所述...

【专利技术属性】
技术研发人员：冯亮，马东星，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：