深度学习推理引擎的调度方法、装置、设备和介质制造方法及图纸

本申请公开了一种深度学习推理引擎的调度方法、装置、设备和介质，涉及人工智能、深度学习和芯片技术。具体实现方案为：响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；计算每个推理引擎执行所述类型的当前推理任务后的总负载；比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；将所述目标推理引擎的索引返回至所述应用层，其中，所述索引表示推理引擎的调用路径。本申请实施例能根据各推理引擎实际的算力来分配推理引擎，从而提高系统性能。并且，在推理引擎应用于人脸识别时，能提高人脸识别的速度和执行效率。

【技术实现步骤摘要】
深度学习推理引擎的调度方法、装置、设备和介质
本申请涉及计算机领域，尤其涉及一种人工智能、深度学习和芯片技术，具体涉及一种深度学习推理引擎的调度方法、装置、设备和介质。
技术介绍
随着深度学习技术的不断发展和成熟，深度学习技术不断被应用于解决各行各业各场景遇到的问题，比如人脸识别等。其中，使用专用的AI(ArtificialIntelligence，人工智能)芯片来运行深度学习模型的推理逐渐成为主流。一般来讲，用于运行深度学习模型的AI芯片和CPU一样，会有很多个物理核，同时也可能有多个深度学习模型运行在同一个AI芯片上，且每个深度学习模型的运行时间不一样。那么，如何充分利用AI芯片所有物理核的算力来尽可能地提高系统性能，成为重中之重。
技术实现思路
本申请实施例提供一种深度学习推理引擎的调度方法、装置、设备和介质，以提高系统性能。第一方面，本申请实施例提供了一种深度学习推理引擎的调度方法，包括：响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；计算每个推理引擎执行所述本文档来自技高网...

【技术保护点】
1.一种深度学习推理引擎的调度方法，包括：/n响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；/n计算每个推理引擎执行所述类型的当前推理任务后的总负载；/n比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；/n将所述目标推理引擎的索引返回至所述应用层，其中，所述索引用于表示推理引擎的调用路径。/n

【技术特征摘要】
1.一种深度学习推理引擎的调度方法，包括：
响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；
计算每个推理引擎执行所述类型的当前推理任务后的总负载；
比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；
将所述目标推理引擎的索引返回至所述应用层，其中，所述索引用于表示推理引擎的调用路径。


2.根据权利要求1所述的方法，其中，所述计算每个推理引擎执行所述类型的当前推理任务后的总负载，包括：
获取所述每个推理引擎的历史负载，和每个推理引擎执行所述类型的推理任务的负载；
分别计算所述每个推理引擎的历史负载与其执行所述类型的推理任务的负载的和值，将所述和值作为所述每个推理引擎执行所述类型的当前推理任务后的总负载。


3.根据权利要求2所述的方法，其中，所述每个推理引擎执行所述类型的推理任务的负载，包括：
每个推理引擎执行所述类型的推理任务的历史平均负载；或者
每个推理引擎上一次执行所述类型的推理任务的负载。


4.根据权利要求1-3中任一项所述的方法，还包括：
接收所述每个推理引擎执行每个推理任务的负载反馈消息，其中，所述负载反馈消息中包括推理任务的类型和负载；
根据所述负载反馈消息，保存所述每个推理引擎执行过的推理任务类型及其负载。


5.根据权利要求1所述的方法，其中，所述根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎，包括：
将所述总负载中值最小的总负载对应的推理引擎，作为执行所述当前推理任务的目标推理引擎。


6.一种深度学习推理引擎的调度装置，包括：
类型确定模块，用于响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；
计算模块，用于计算每个推理引擎执行所述类型的当前推理任务后的总负载；
比较模块，用于比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当...

【专利技术属性】
技术研发人员：杨洪天，何声一，汪学军，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11