一种推理引擎开发平台、方法、电子设备及存储介质技术

本公开提供了一种推理引擎开发平台、方法、电子设备及存储介质，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域。具体实现方案为：推理引擎开发平台，包括：跨平台推理模块、推理引擎调用模块；跨平台推理模块，用于跨平台定义推理引擎基类，其中，推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎；推理引擎调用模块，用于获取针对待配置推理引擎的配置信息，基于推理引擎基类下推理引擎子类的定义，调用待配置推理引擎，并利用配置信息对待配置推理引擎进行配置，得到目标推理引擎。实现了推理引擎的开发。发。发。

【技术实现步骤摘要】
一种推理引擎开发平台、方法、电子设备及存储介质


[0001]本公开涉及人工智能
，具体为深度学习、计算机视觉


技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)的发展，过去常用的将AI能力部署在服务器端，通过用户上传的数据来运行得到结果并返回至用户的AI技术处理方式，由于时延大、网络依赖性高、数据安全难以保证，已不再满足当前人们的需求。得益于半导体技术的蓬勃发展，AI技术能够通过AI专用芯片及其对应的推理引擎来实现，从而为AI技术打开了新的局面。

技术实现思路

[0003]本公开提供了一种推理引擎开发平台、方法、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种推理引擎开发平台，包括：
[0005]跨平台推理模块、推理引擎调用模块；
[0006]跨平台推理模块，用于跨平台定义推理引擎基类，其中，推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎；
[0007]推理引擎调用模块，用于获取针对待配置推理引擎的配置信息，基于推理引擎基类下推理引擎子类的定义，调用待配置推理引擎，并利用配置信息对待配置推理引擎进行配置，得到目标推理引擎。
[0008]根据本公开的另一方面，提供了一种推理引擎开发方法，应用于推理引擎开发平台，包括：
[0009]利用跨平台推理模块，跨平台定义推理引擎基类，其中，推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎；
[0010]利用推理引擎调用模块，获取针对待配置推理引擎的配置信息，基于推理引擎基类下推理引擎子类的定义，调用待配置推理引擎，并利用配置信息对待配置推理引擎进行配置，得到目标推理引擎。
[0011]本公开提供的推理引擎开发平台，包括：跨平台推理模块、推理引擎调用模块；其中，跨平台推理模块用于跨平台定义推理引擎基类，其中，推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎；推理引擎调用模块用于获取针对待配置推理引擎的配置信息，基于推理引擎基类下推理引擎子类的定义，调用待配置推理引擎，并利用配置信息对待配置推理引擎进行配置，得到目标推理引擎。实现了推理引擎的开发。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开实施例提供的一种推理引擎开发平台的结构示意图；
[0015]图2是根据本公开实施例提供的第一种推理引擎开发方法的流程示意图；
[0016]图3是根据本公开实施例提供的第二种推理引擎开发方法的流程示意图；
[0017]图4是用来实现本公开实施例的推理引擎开发方法的电子设备的框图。
具体实施方式
[0018]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0019]相关技术中，种类繁多的AI芯片拥有各自对应的AI推理引擎，当应用AI芯片进行产品开发时，开发者需要了解各种推理引擎及其对应的AI芯片的特征、参数等配置信息以及数据结构、使用方式等等。由于各种推理引擎及其对应的AI芯片各具特色，差异巨大，并且AI推理引擎及AI芯片的种类仍在不断增加中，这给开发者的前期开发、后期维护以及随着时间的迭代更新等都带来了巨大的挑战。
[0020]为了解决这个问题，本公开提供了一种推理引擎开发平台，包括：
[0021]跨平台推理模块、推理引擎调用模块；
[0022]跨平台推理模块，用于跨平台定义推理引擎基类，其中，推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎；
[0023]推理引擎调用模块，用于获取针对待配置推理引擎的配置信息，基于推理引擎基类下推理引擎子类的定义，调用待配置推理引擎，并利用配置信息对待配置推理引擎进行配置，得到目标推理引擎。
[0024]由上可见，本公开提供的推理引擎开发平台，利用跨平台推理模块来跨平台定义推理引擎基类，能够将多种不同的推理引擎集成在本公开提供的推理引擎开发平台，实现了推理引擎的跨平台使用。通过推理引擎调用模块获取针对待配置推理引擎的配置信息，调用待配置推理引擎，并利用配置信息对待配置推理引擎进行配置，得到目标推理引擎，从而实现了基于本公开提供的推理引擎开发平台即可配置、调用多种推理引擎，并且，利用不同的配置信息可以灵活地配置得到所需的推理引擎，有效地提高了通过不同推理引擎开发AI应用的开发效率。
[0025]下面通过具体实施例对本公开提供的推理引擎开发平台进行详细说明。
[0026]参见图1，图1为本公开实施例的一种推理引擎开发平台的结构示意图，包括：跨平台推理模块、推理引擎调用模块；
[0027]跨平台推理模块，用于跨平台定义推理引擎基类，其中，推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎。
[0028]在人工智能领域，推理引擎用于将逻辑规则应用于知识库以推断新信息的系统中，可以是一种深度学习框架，能够用以开发AI应用。基础的推理引擎包括多个类型，不同类型的推理引擎可以分别对应一个推理引擎基类，因此，跨平台推理模块进行跨平台定义的推理引擎基类可以包括多个类型的推理引擎各自对应的推理引擎基类。每一个推理引擎基类下包括多个推理引擎子类，不同的推理引擎子类对应不同的推理引擎。
[0029]一个例子中，推理引擎基类可以包括paddleInference(模型推理)、Paddlelite(飞浆)、Amba(一种推理框架)、Nnie(一种推理框架)、Rknn(一种推理框架)、Tensorrt(加速深度学习框架)六种类型的推理引擎对应的推理引擎基类。
[0030]推理引擎调用模块，用于获取针对待配置推理引擎的配置信息，基于推理引擎基类下推理引擎子类的定义，调用待配置推理引擎，并利用配置信息对待配置推理引擎进行配置，得到目标推理引擎。
[0031]上述配置信息可以根据需求进行设定，不同的配置信息所配置得到的推理引擎是不同的，同一推理引擎基类下所包括的不同推理引擎子类分别对应具有同类型基础，且配置信息不同的推理引擎。
[0032]一个例子中，上述配置信息的类型可以包括：class AmbaConfig(amba对应的配置信息)、class PaddleLiteConfig(飞浆对应的配置信息类型)、class PaddleInferenceConfig(模型推理对应的配置信息)、class RknnConfig(Rknn对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理引擎开发平台，包括：跨平台推理模块、推理引擎调用模块；所述跨平台推理模块，用于跨平台定义推理引擎基类，其中，所述推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎；所述推理引擎调用模块，用于获取针对待配置推理引擎的配置信息，基于所述推理引擎基类下推理引擎子类的定义，调用待配置推理引擎，并利用所述配置信息对所述待配置推理引擎进行配置，得到目标推理引擎。2.根据权利要求1所述的平台，所述平台还包括：跨平台编译模块，所述跨平台编译模块包括由交叉编译工具链打包得到的交叉编译Docker容器；所述跨平台编译模块，具体用于利用所述交叉编译Docker容器完成所述配置信息的跨平台转换。3.根据权利要求1所述的平台，所述平台还包括：跨平台转换模块，所述跨平台转换模块包括由平台转换工具打包得到的平台转换Docker容器；所述跨平台转换模块，具体用于利用所述平台转换Docker容器完成所述目标推理引擎的跨平台转换。4.根据权利要求1所述的平台，所述推理引擎调用模块，具体用于获取针对待配置推理引擎的配置信息；基于所述推理引擎基类下推理引擎子类的定义，调用所述待配置推理引擎，并利用所述配置信息对所述待配置推理引擎进行配置，得到目标推理引擎；在所述推理引擎基类中添加所述目标推理引擎的推理引擎子类。5.根据权利要求4所述的平台，所述推理引擎调用模块还用于：基于定义的所述目标推理引擎的推理引擎子类，获取所述目标推理引擎的目标引擎指针；获取目标图像数据；按照所述目标引擎指针调用所述目标推理引擎对所述目标图像数据进行处理，得到图像推理结果；按照所述目标引擎指针导出所述目标图像数据的图像推理结果。6.根据权利要求5所述的平台，所述推理引擎调用模块具体用于：获取待推理图像数据，将所述待推理图像数据转换为多维矩阵的形式，得到目标图像数据。7.一种推理引擎开发方法，应用于推理引擎开发平台，包括：利用跨平台推理模块，跨平台定义推理引擎基类，其中，所述推理引擎基类下包括多个推理引擎子类，不同推理引擎子类对应不同的推理引擎；利用推理引擎调用模块，获取针对待配置推理引擎的...

【专利技术属性】
技术研发人员：王常凯，黄雷，陈龙，季映羽，袁野，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：