一种神经网络优化方法和装置制造方法及图纸

本发明专利技术公开了一种神经网络优化方法和装置。其中，所述方法包括：基于多分支的可融合残差结构进行模型训练，并提取训练后的模型参数；利用融合算子对训练后的可融合残差结构型进行结构转换，以得到单分支残差结构；将所述单分支残差结构部署到目标设备上并执行目标任务的推理步骤。本发明专利技术通过设计实现了可融合残差模块，对残差模块进行结构替换，充分利用了多分支结构和单分支结构的优点，提高网络部署运行时的内存效率和并行度，节省网络资源消耗，加快网络推理速度；采用重参数化的方法进行参数压缩，减少了因裁剪参数和连接带来的精度下降问题。度下降问题。度下降问题。

【技术实现步骤摘要】
一种神经网络优化方法和装置


[0001]本专利技术实施例涉及神经网络
，尤其涉及一种神经网络优化方法和装置。

技术介绍

[0002]近年来，随着深度学习的快速发展，深度学习已在许多任务取得了优异的性能表现，使其越来越多的应用在众多生活与工业领域。目前部署深度神经网络模型分为Online在线部署和Offline离线部署两种方式。在大多实际工业生产环境下通常使用Offline部署，它本地处理数据而不经过网络，安全性与实时性能够得到保障。但是对于计算资源有限的嵌入式端侧设备来说，深度神经网络对计算力的海量需求是不可接受的。同时，对于使用电池的嵌入式移动设备来说，繁重的计算会很快耗尽其有限的电池电量。
[0003]要解决深度神经网络在嵌入式设备的部署困境，仅仅靠传统的方法已经出现瓶颈。简单的增加嵌入式设备的DRAM内存容量和加强CPU运算能力，并不能匹配神经网络的发展速度。并且在许多工业场景下，对嵌入式设备有严格的体积和功耗限制，这对神经网络在嵌入式设备上的部署提出了巨大挑战。要解决神经网络在嵌入式设备上的部署内存和功耗的限制要求，因此，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络优化方法，其特征在于，包括：基于多分支的可融合残差结构进行模型训练，并提取训练后的模型参数；利用融合算子对训练后的可融合残差结构型进行结构转换，以得到单分支残差结构；将所述单分支残差结构部署到目标设备上并执行目标任务的推理步骤。2.根据权利要求1所述的方法，其特征在于，所述可融合残差结构由残差结构去掉两个连续卷积核之间的relu层得到。3.根据权利要求1所述的方法，所述可融合残差结构中的卷积核结构包括：一个1乘1卷积核、接在所述1乘1卷积核后面的一个3乘3卷积核、以及接在所述3乘3卷积核后面的一个1乘1卷积核。4.根据权利要求1所述的方法，其特征在于，利用融合算子对训练后的可融合残差结构型进行结构转换，包括：遍历神经网络中所有的可融合残差结构；将所述可融合残差结构中的卷积核输入带入到批归一化层的公式中，以得到融合了批归一化层的卷积核。5....

【专利技术属性】
技术研发人员：徐友庆，高成，关晨，孟祥峰，
申请(专利权)人：深圳朴生智能科技有限公司，
类型：发明
国别省市：