神经网络模型推理方法、装置、电子设备及可读介质制造方法及图纸

本发明专利技术提供了一种神经网络模型推理方法、装置、电子设备及可读介质，涉及神经网络的技术领域，其中方法包括获取待识别图片；采用流水线方法对待识别图片进行预处理；将预先训练好的神经网络模型加载到神经网络推理加速引擎中；采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。本发明专利技术采用流水线方法对图片预处理进行并行处理，充分利用了CPU资源，提高了推理性能，采用神经网络推理加速引擎推理加速引擎,提升了神经网络模型推理速度。

Neural network model reasoning method, device, electronic equipment and readable medium

【技术实现步骤摘要】
神经网络模型推理方法、装置、电子设备及可读介质
本专利技术涉及神经网络
，尤其是涉及一种神经网络模型推理方法、装置、电子设备及可读介质。
技术介绍
在家装设计领域中，目前采用ResNet-50在基于深度学习框架PyTorch对图片进行推理，随着推理图片数量的增加，推理时间也较长，平均每张图片的推理时间达到了18ms，推理效率低下。因此，亟需提升神经网络的推理性能。
技术实现思路
本专利技术的目的在于提供神经网络模型推理方法、装置、电子设备及可读介质，能够有效降低图片的推理时间，提高推理性能。第一方面，本专利技术实施例提供的一种神经网络模型推理方法，包括：获取待识别图片；采用流水线方法对待识别图片进行预处理；将预先训练好的神经网络模型加载到神经网络推理加速引擎中；采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。本实施例采用流水线方法对图片预处理进行预处理，充分利用了CPU资源，提高了推理性能，同时采用神经网络推理加速引擎，提升了神经网络模型推理本文档来自技高网...

【技术保护点】
1.一种神经网络模型推理方法，其特征在于，包括：/n获取待识别图片；/n采用流水线方法对待识别图片进行预处理；/n将预先训练好的神经网络模型加载到神经网络推理加速引擎中；/n采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。/n

【技术特征摘要】
1.一种神经网络模型推理方法，其特征在于，包括：
获取待识别图片；
采用流水线方法对待识别图片进行预处理；
将预先训练好的神经网络模型加载到神经网络推理加速引擎中；
采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。


2.根据权利要求1所述的方法，其特征在于，采用流水线方法对待识别图片进行预处理的步骤包括：
将对同一张待识别图片的预处理任务划分成多个处理阶段，为每个处理阶段创建相对应的进程，将创建的进程按预设顺序构建成流水线队列；
根据构建的流水线队列并发处理待识别图片。


3.根据权利要求1所述的方法，其特征在于，所述神经网络模型为残差网络模型；所述流水线方法为pipeline方法，所述推理加速引擎为TensorRT。


4.根据权利要求3所述的方法，其特征在于，将预先训练好的神经网络模型加载到神经网络推理加速引擎中的步骤包括：
将残差网络模型转换为TensorRT支持的解析模型，得到解析后的残差网络模型；
创建TensorRT引擎，并将解析后的残差网络模型加载到TensorRT引擎中，得到TensorRT推理加速引擎。


5.一种神经网络模型推理装置，其特征在于，包括：
获取模块，用于获取待识别图片；
预处理模块，用于采用流水线方法对待识别图片进行预处理；
加速模块，用于将预先训练好...

【专利技术属性】
技术研发人员：杨嘉华，王胜，
申请(专利权)人：广东三维家信息科技有限公司，
类型：发明
国别省市：广东;44