一种基于ONNX的深度学习推理引擎的使用方法技术

本发明专利技术公开了一种基于ONNX的深度学习推理引擎的使用方法，包括以下步骤：S100、将训练好的深度学习模型导出为ONNX格式的文件；S200、推理引擎加载ONNX格式的文件，并转换成可执行的结构；S300、推理引擎根据文件的信息，直接在硬件上执行推理计算，输出推理结果；S400、生成程序文件；S500、程序文件可任意复制到多种工程中应用。本发明专利技术的技术方案能够基于ONNX模型作为推理模型，ONNX兼容性广，适用于各种框架互换模型，有较强的通用性，且容易转换，采用纯C语言编写，符合C99标准，具有很强的移植性，支持多种硬件加速接口，可拓展性强，生成的程序文件可以任意复制到各种工程使用，绝对最小依赖，为开发者提供了一种方便、高效的嵌入式系统使用AI模型的解决方案。

【技术实现步骤摘要】

本专利技术涉及人工智能，特别涉及一种基于onnx的深度学习推理引擎的使用方法。

技术介绍

1、深度学习(dl，deep learning)是机器学习(ml，machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标—人工智能(ai，artificialintelligence)，深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

2、在人工智能领域，深度学习算法已经在许多领域超越了传统的专家算法，在算法开发和训练阶段，开发人员一般会选择成熟度、稳定性相对高的传统深度学习推理引擎，如pytorch、tensorflow、mxnet等，它们提供丰富的api和功能，可进行各种自定义的优化和调整，以满足特定需求，而在算法部署与生产应用环节，开发人员更倾向于选择轻量级的推理引擎，如tensorrt、openvino、coreml等，这些框架拥有庞大的社区支持和丰富的生态系本文档来自技高网...

【技术保护点】

1.一种基于ONNX的深度学习推理引擎的使用方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于ONNX的深度学习推理引擎的使用方法，其特征在于，所述步骤S100中，所述文件包含模型的结构和参数。

3.根据权利要求1所述的基于ONNX的深度学习推理引擎的使用方法，其特征在于，所述步骤S200中，所述推理引擎采用纯C语言进行编写，所述纯C语言符合C99标准。

4.根据权利要求3所述的基于ONNX的深度学习推理引擎的使用方法，其特征在于，所述推理引擎主要包括两个核心C文件和多个算子，采用ONNX开放交换模型作为算法载体。>

5.根据权利...

【技术特征摘要】

1.一种基于onnx的深度学习推理引擎的使用方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于onnx的深度学习推理引擎的使用方法，其特征在于，所述步骤s100中，所述文件包含模型的结构和参数。

3.根据权利要求1所述的基于onnx的深度学习推理引擎的使用方法，其特征在于，所述步骤s200中，所述推理引擎采用纯c语言进行编写，所述纯c语言符合c99标准。

4.根据权利要求3所述的基于onnx的深度学习推理引擎的使用方法，其特征在于，...

【专利技术属性】
技术研发人员：蒋建军，曾华燊，
申请(专利权)人：深圳市九鼎创展科技有限公司，
类型：发明
国别省市：