【技术实现步骤摘要】
一种GPU和CPU负载调度方法、装置、设备和介质
[0001]本申请涉及处理器
，尤其涉及一种GPU和CPU负载调度方法、装置、设备和介质。
技术介绍
[0002]随着CPU多核架构处理器和GPU众核架构处理器的普及，这种GPU与CPU协作的方式在AI算法中得到了应用。在大型应用场景中，硬件资源的合理利用至关重要，因此，对GPU和CPU的混合负载的均衡化调度提出了更高的要求。
[0003]现有技术没有考虑不同时间段下不同场景的目标数量波动情况，在目标数量较多的情况下，每类目标的数量可能极不平衡，例如，某人脸识别和行人识别两者之间待处理的目标数量非常大，在进行目标特征提取时，会造成其中一张显卡满负载运行，而另外一张则几乎处于空闲状态，使得GPU之间的资源极度不平衡。同理，对于CPU的使用，不同类型目标之间相互独立，需要分别进行各自的特征比对任务，使得CPU的调度极不均衡。
技术实现思路
[0004]本申请提供了一种GPU和CPU负载调度方法、装置、设备和介质，用于解决现有技术中GPU和CPU负载之...
【技术保护点】
【技术特征摘要】
1.一种GPU和CPU负载调度方法，其特征在于，包括：获取当前待处理队列中的目标数量、目标特征数量和当前资源空闲率；当对GPU和CPU进行独立调度时，在满足各类目标和目标特征的截止期以及当前资源空闲率的条件下，采用最大吞吐量策略选择若干目标分派到GPU进行特征提取，或采用最大吞吐量策略选择若干目标特征分派到CPU进行特征比对；当对GPU和CPU进行协同调度时，根据GPU和CPU的数据处理速度，选择GPU和CPU中的一个采用最大吞吐量策略进行目标或目标特征的数量分派，另一个在满足各类型目标的总截止期和当前资源空闲率的条件下采用局部最大吞吐量策略进行目标特征或目标的数量分派。2.根据权利要求1所述的GPU和CPU负载调度方法，其特征在于，当对GPU和CPU进行独立调度时，在满足各类目标和目标特征的截止期以及当前资源空闲率的条件下，采用最大吞吐量策略选择若干目标分派到GPU进行特征提取，或采用最大吞吐量策略选择若干目标特征分派到CPU进行特征比对，包括：当对GPU和CPU进行独立调度时，在满足各类目标和目标特征的截止期以及当前资源空闲率的条件下，通过GPU查询表查找所有类型目标的最大吞吐量，将该最大吞吐量对应批次大小的目标分派到GPU进行特征提取，或，通过CPU查询表查找所有类型目标特征的最大吞吐量，将该最大吞吐量对应批次大小的目标特征分派到CPU进行特征比对。3.根据权利要求1所述的GPU和CPU负载调度方法，其特征在于，当对GPU和CPU进行协同调度时，根据GPU和CPU的数据处理速度，选择GPU和CPU中的一个采用最大吞吐量策略进行目标或目标特征的数量分派，另一个在满足各类型目标的总截止期和当前资源空闲率的条件下采用局部最大吞吐量策略进行目标特征或目标的数量分派，包括：当对GPU和CPU进行协同调度时，获取GPU和CPU的数据处理速度；当CPU的数据处理速度比GPU的数据处理速度快时，在满足各类型目标的总截止期和当前资源空闲率的条件下，通过GPU查询表查找所有类型目标的最大吞吐量，将该最大吞吐量对应批次大小b0的目标分派到GPU进行特征提取，得到b0个目标特征；通过CPU查询表查找批次大小小于或等于b0的局部最大吞吐量，将该局部最大吞吐量对应批次大小b1的目标特征分派到CPU进行特征比对，再通过CPU查询表查找批次大小小于或等于b0‑
b1的局部最大吞吐量，将该局部最大吞吐量对应批次大小b0‑
b1的目标特征分派到下一个CPU进行特征比对，直至该批次大小b0的目标特征全部分派完毕；当CPU的数据处理速度比GPU的数据处理速度慢时，在满足各类型目标的总截止期和当前资源空闲率的条件下，通过CPU查询表查找所有类型目标特征的最大吞吐量对应的批次大小b2，将该批次大小b2的目标分派到GPU进行特征提取，得到b2个目标特征，再将批次大小b2的目标特征分派到CPU进行特征比对。4.根据权利要求2或3所述的GPU和CPU负载调度方法，其特征在于，GPU查询表和CPU查询表的配置过程为：在各类目标进行特征提取任务时，测量各类目标在GPU上的吞吐量、截止期、资源占用率与批次大小的关系，生成GPU查询表；在各类目标特征进行特征比对任务时，测量各类目标特征在CPU上的吞吐量、截止期、资源占用率与批次大小的关系，生成CPU查询表。
5.一种GPU和CPU负载调度装...
【专利技术属性】
技术研发人员：朱贵冬，刘圣阳，郑进锋，秦丹峰，周炜，高山，
申请(专利权)人：广州海格星航信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。