资源分配方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了资源分配方法、装置、电子设备及存储介质，应用于数据处理技术领域，该方法包括：确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型；确定等待队列中类型为目标类型的任务的目标数量；若目标数量满足预设冷门数量规则，则清理目标计算单元中加载的算法模型，利用目标计算单元加载指定算法模型。在目标数量满足预设冷门数量规则时，说明目标类型的任务处理压力较小，可以利用目标计算单元去执行处理压力更大的任务，清理目标计算单元中加载的算法模型，清理算法模型后的目标计算单元可以加载指定算法模型，从而更合理的利用计算单元，进而提高整体的任务处理效率。

【技术实现步骤摘要】
资源分配方法、装置、电子设备及存储介质
本申请涉及数据处理
，特别是涉及资源分配方法、装置、电子设备及存储介质。
技术介绍
随着互联网技术的不断发展，网络中的数据量呈现井喷式的增长，用于处理大数据的分析系统应运而生。分析系统中包括多个计算单元，每个计算单元均可以加载独立的算法模型以处理相应的任务，此处的算法模型具体可以为深度学习算法模型。相关技术中，在处理任务前，会预测各类型的任务的占比，并为占比高的任务分配较多的计算单元，为占比低的任务分配较少的计算单元，在分配完成后便开始任务的处理，其中，为任务配置计算单元是指利用计算单元加载处理该任务的算法模型。但是采用上述方法，依赖于对任务占比的预测，在预测结果不准确时，会导致计算单元算法模型分配不准确，影响整体的任务处理效率。并且因为任务可能会存在先后关系，或各任务集中处理的时机不同，也会响整体的任务处理效率。
技术实现思路
本申请实施例的目的在于提供一种资源分配方法、装置、电子设备及存储介质，以实现提高整体的任务处理效率。具体技术方案如下：第一方面，本申请实施例提供了一种资源分配方法，应用于分析系统，所述分析系统包括多个计算单元，所述方法包括：确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型；确定等待队列中类型为所述目标类型的任务的目标数量；若所述目标数量满足预设冷门数量规则，则清理所述目标计算单元中加载的算法模型；利用所述目标计算单元加载指定算法模型。可选的，所述方法还包括：计算所述等待队列中各任务类型的任务的数量，将任务数量最多的任务类型对应的算法模型作为所述指定算法模型。可选的，在所述确定用于动态加载算法模型的各目标计算单元中加载的算法模型的任务类型，得到各目标类型之前，所述方法还包括：检测是否有未加载算法模型的空闲计算单元；所述确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型，包括：若不存在所述空闲计算单元，确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型。可选的，在所述检测是否有未加载算法模型的空闲计算单元之后，所述方法还包括：若存在所述空闲计算单元，利用所述空闲计算单元动态加载所述指定算法模型。可选的，所述若存在所述空闲计算单元，利用所述空闲计算单元动态加载所述指定算法模型，包括：获取各所述空闲计算单元的最大负载，获取各所述指定算法模型的算法负载；按照各所述空闲计算单元的最大负载及各所述指定算法模型的算法负载，确定各所述空闲计算单元各自对应的指定算法模型；利用各所述空闲计算单元各自加载对应的指定算法模型。可选的，所述方法还包括：获取预分配资源指令，其中，所述预分配资源指令包括指定计算单元与算法模型的对应关系；按照所述预分配资源指令中的对应关系，利用所述指定计算单元预加载相应的算法模型，其中，所述分析系统中除预加载算法模型的计算单元外的其他计算单元为所述目标计算单元。可选的，所述计算单元为图形处理器GPU。第二方面，本申请实施例提供了一种资源分配装置，应用于分析系统，所述分析系统包括多个计算单元，所述装置包括：目标类型确定模块，用于确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型；目标数量确定模块，用于确定等待队列中类型为所述目标类型的任务的目标数量；算法模型清理模块，用于若所述目标数量满足预设冷门数量规则，则清理所述目标计算单元中加载的算法模型；算法模型加载模块，利用所述目标计算单元加载指定算法模型。可选的，所述装置还包括：指定算法模型确定模块，用于计算所述等待队列中各任务类型的任务的数量，将任务数量最多的任务类型对应的算法模型作为所述指定算法模型。可选的，所述装置还包括：空闲单元检测模块，用于检测是否有未加载算法模型的空闲计算单元；所述目标数量确定模块，具体用于：若不存在所述空闲计算单元，确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型。可选的，所述装置还包括：指定算法模型加载模块，用于若存在所述空闲计算单元，利用所述空闲计算单元动态加载所述指定算法模型。可选的，所述指定算法模型加载模块，具体用于：获取各所述空闲计算单元的最大负载，获取各所述指定算法模型的算法负载；按照各所述空闲计算单元的最大负载及各所述指定算法模型的算法负载，确定各所述空闲计算单元各自对应的指定算法模型；利用各所述空闲计算单元各自加载对应的指定算法模型。可选的，所述装置还包括：指令获取模块，用于获取预分配资源指令，其中，所述预分配资源指令包括指定计算单元与算法模型的对应关系；单元配置模块，用于按照所述预分配资源指令中的对应关系，利用所述指定计算单元预加载相应的算法模型，其中，所述分析系统中除预加载算法模型的计算单元外的其他计算单元为所述目标计算单元。可选的，所述计算单元为图形处理器GPU。第三方面，本申请实施例提供了一种电子设备，包括处理器及存储器；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的资源分配方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的资源分配方法。本申请实施例提供的资源分配方法、装置、电子设备及存储介质，确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型；确定等待队列中类型为目标类型的任务的目标数量；若目标数量满足预设冷门数量规则，则清理目标计算单元中加载的算法模型；利用目标计算单元加载指定算法模型。在目标数量满足预设冷门数量规则时，说明目标类型的任务处理压力较小，可以利用目标计算单元去执行处理压力更大的任务，清理目标计算单元中加载的算法模型，清理算法模型后的目标计算单元可以加载指定算法模型，从而更合理的利用计算单元，进而提高整体的任务处理效率。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例的资源分配方法的第一种示意图；图2为本申请实施例的资源分配方法的第二种示意图；图3为本申请实施例的资源分配方法的第三种示意图；图4为本申请实施例的资源分配装置的一种示意图；图5为本申请实施例的电子设备的一种示意图。本文档来自技高网...

【技术保护点】
1.一种资源分配方法，其特征在于，应用于分析系统，所述分析系统包括多个计算单元，所述方法包括：/n确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型；/n确定等待队列中类型为所述目标类型的任务的目标数量；/n若所述目标数量满足预设冷门数量规则，则清理所述目标计算单元中加载的算法模型；/n利用所述目标计算单元加载指定算法模型。/n

【技术特征摘要】
1.一种资源分配方法，其特征在于，应用于分析系统，所述分析系统包括多个计算单元，所述方法包括：
确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型；
确定等待队列中类型为所述目标类型的任务的目标数量；
若所述目标数量满足预设冷门数量规则，则清理所述目标计算单元中加载的算法模型；
利用所述目标计算单元加载指定算法模型。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
计算所述等待队列中各任务类型的任务的数量，将任务数量最多的任务类型对应的算法模型作为所述指定算法模型。


3.根据权利要求1所述的方法，其特征在于，在所述确定用于动态加载算法模型的各目标计算单元中加载的算法模型的任务类型，得到各目标类型之前，所述方法还包括：
检测是否有未加载算法模型的空闲计算单元；
所述确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型，包括：
若不存在所述空闲计算单元，确定用于动态加载算法模型的目标计算单元中加载的算法模型的任务类型，得到目标类型。


4.根据权利要求3所述的方法，其特征在于，在所述检测是否有未加载算法模型的空闲计算单元之后，所述方法还包括：
若存在所述空闲计算单元，利用所述空闲计算单元动态加载所述指定算法模型。


5.根据权利要求4所述的方法，其特征在于，所述若存在所述空闲计算单元，利用所述空闲计算单元动态加载所述指定算法模型，包括：
获取各所述空闲计算单元的最大负载，获取各所述指定算法模型的算法负载；
按照各所述空闲计算单元的最大负载及各所述指定算法模型的算法负载，确定各所述空闲计算单元各自对应的指定算法模型；
利用各所述空闲计算单元各自加载对应的指定算法模型。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预分配资源指令，其中，所述预分配资源指令包括指定计算单元与算法模型的对应关系；
按照所述预分配资源指令中的对应关系，利用所述指定计算单元预加载相应的算法模型，其中，所述分析系统中除预加载算法模型的计算单元外的其他计算单元为所述目标计算单元。


7.根据权利要求1-6任一所述的方法，其特征在于，所述计算单元为图形处理...

【专利技术属性】
技术研发人员：胡双，方家乐，俞阳，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33