卷积神经网络模型推理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种卷积神经网络模型推理方法、装置、设备及存储介质。该方法包括：将训练后的卷积神经网络模型进行加载，读取训练后的卷积神经网络模型对应的模型参数，并获取训练后的卷积神经网络模型对应的标准化参数；确定训练后的卷积神经网络模型中与输入层直接相连的卷积层，从模型参数中获取与卷积层相对应的卷积层参数；基于预定的标准化公式以及卷积公式，将标准化参数融合到卷积层参数中，得到融合后的卷积层参数；利用融合后的卷积层参数对训练后的卷积神经网络模型进行更新，得到新的卷积神经网络模型，将图像数据直接作为新的卷积神经网络模型的输入，利用新的卷积神经网络模型进行推理。本申请提升了模型的推理速度以及推理效率。以及推理效率。以及推理效率。

【技术实现步骤摘要】
卷积神经网络模型推理方法、装置、设备及存储介质


[0001]本申请涉及卷积神经网络模型
，尤其涉及一种卷积神经网络模型推理方法、装置、设备及存储介质。

技术介绍

[0002]随着深度学习技术的飞速发展，卷积神经网络越来越多的被应用到工业界，目前的深度学习模型由于其计算复杂性高、参数冗余，对硬件平台的内存、带宽等条件要求较高，从而导致在一些场景或设备上的推理部署存在限制。近几年来模型推理的优化方法包括模型压缩、软件库优化、异构计算、硬件加速等技术。
[0003]目前常用的几种用于模型推理的优化方法均无法达到预期效果，例如，在模型压缩技术中，需要特殊的软硬件支持才能完成推理部署与加速，导致部署成本增加，压缩后的模型一般需要重训练，而重训练不当的情况下在一定程度上会导致模型精度损失，并且这些网络模型大部分仍要对输入的原始数据进行标准化处理，因此无法从根本上加快模型推理的速度；因此，现有的模型推理方法不仅具有较高的部署成本，而且无法从根本上提升模型的推理速度，还需要对模型进行重训练，降低了模型的推理效率。
专利
技术实现思路

[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络模型推理方法，其特征在于，包括：将训练后的卷积神经网络模型进行加载，读取所述训练后的卷积神经网络模型对应的模型参数，并获取所述训练后的卷积神经网络模型对应的标准化参数；确定所述训练后的卷积神经网络模型中与输入层直接相连的卷积层，从所述模型参数中获取与所述卷积层相对应的卷积层参数；基于预定的标准化公式以及卷积公式，将所述标准化参数融合到所述卷积层参数中，得到融合后的卷积层参数；利用融合后的卷积层参数对所述训练后的卷积神经网络模型进行更新，得到新的卷积神经网络模型，将图像数据直接作为所述新的卷积神经网络模型的输入，利用所述新的卷积神经网络模型对所述图像数据进行推理。2.根据权利要求1所述的方法，其特征在于，所述将训练后的卷积神经网络模型进行加载，读取所述训练后的卷积神经网络模型对应的模型参数，包括：利用预先配置的程序加载所述训练后的卷积神经网络模型，并读取所述训练后的卷积神经网络模型对应的模型参数；其中，所述训练后的卷积神经网络模型是利用训练数据对预先建立的卷积神经网络模型进行训练后得到的模型。3.根据权利要求2所述的方法，其特征在于，所述获取所述训练后的卷积神经网络模型对应的标准化参数，包括：在利用训练数据对预先建立的卷积神经网络模型进行训练时，对所述训练数据进行标准化处理得到与所述训练后的卷积神经网络模型相对应的标准化参数；其中，所述训练数据包括用于模型训练的样本图像数据，所述标准化参数包括均值和标准差。4.根据权利要求1所述的方法，其特征在于，所述确定所述训练后的卷积神经网络模型中与输入层直接相连的卷积层，从所述模型参数中获取与所述卷积层相对应的卷积层参数，包括：基于所述训练后的卷积神经网络模型的内部结构，确定与所述训练后的卷积神经网络模型内的输入层直接相连的一个或多个卷积层，并从所述模型参数中读取与每个所述卷积层分别对应的卷积层参数；其中，所述卷积层参数包括权重参数和偏置参数，每个所述卷积层对应一组由所述权重参数和偏置参数所组成的卷积层参数。5.根据权利要求1所述的方法，其特征在于，将所述标准化公式和卷积公式分别表示为：标准化公式：卷积公式：Y＝W*X+B其中，A表示对训练数据进...

【专利技术属性】
技术研发人员：兰婷婷，曾祥永，支涛，
申请(专利权)人：河南云迹智能技术有限公司，
类型：发明
国别省市：