推理引擎的适配方法、装置及电子设备制造方法及图纸

本说明书实施例提出了一种推理引擎的适配方法、装置以及电子设备。该方法包括：获取待推理数据；根据预设引擎适配策略，确定用于对所述待推理数据进行推理计算的推理引擎；调用所述推理引擎完成推理计算，输出推理结果数据。由于在说明书本实施例中统一了推理接口，算法实现方可以使用统一的推理接口实现深度学习模型的推理，而不用关注各推理引擎的细节，实现推理接口的复用；另一方面，推理引擎方只需要实现统一的引擎接口，即可支持已有的推理方案。理方案。理方案。

【技术实现步骤摘要】
推理引擎的适配方法、装置及电子设备


[0001]本说明书实施例涉及人工智能
，更具体的，涉及一种推理引擎的适配方法、一种推理引擎的适配装置、电子设备及计算机可读存储介质。

技术介绍

[0002]当前，越来越多的深度学习场景应用于AIoT(artificial intelligence&internet of things，人工智能物联网)，为了让深度学习模型在低成本方案上取得较好的效果，各公司开发了不同的推理引擎，这些推理引擎的侧重点各有不同。
[0003]推理引擎是用于深度学习模型推理的程序模块。有的推理引擎支持的深度学习模型比较全面，有的推理引擎只在图形处理器(Graphics Processing Unit，GPU)端具有出众的效果。
[0004]而在实际应用中，为了优化深度学习模型性能，不同的深度学习模型在不同的时机可能会使用不同的推理引擎。然而，该方案中，在实现深度学习模型推理时，需要针对不同的推理引擎分别设计推理引擎接口，推理引擎接口无法复用，兼容性差。

技术实现思路

[0005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理引擎的适配方法，包括：获取待推理数据；根据预设引擎适配策略，确定用于对所述待推理数据进行推理计算的推理引擎；调用所述推理引擎完成推理计算，输出推理结果数据。2.根据权利要求1所述的方法，其中，所述根据预设引擎适配策略，确定用于对所述待推理数据进行推理计算的推理引擎，包括：将所述待推理数据中所指定的推理引擎确定为用于对所述待推理数据进行推理计算的推理引擎。3.根据权利要求1所述的方法，其中，所述根据预设引擎适配策略，确定用于对所述待推理数据进行推理计算的推理引擎，包括：根据推理引擎类型确定用于对所述待推理数据进行推理计算的推理引擎。4.根据权利要求1所述的方法，其中，所述根据预设引擎适配策略，确定用于对所述待推理数据进行推理计算的推理引擎，包括：根据推理引擎的当前性能指标，确定用于对所述待推理数据进行推理计算的推理引擎。5.根据权利要求4所述的方法，其中，所述推理引擎的当前性能指标至少包括：所述推理引擎的当前推理速度，和/或，所述推理引擎的当前负载大小。6.根据权利...

【专利技术属性】
技术研发人员：孙卓金，林世勤，熊健，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：