基于非均匀分组的多尺度轻量型深度卷积神经网络模型制造技术

本发明专利技术公开了基于非均匀分组的多尺度轻量型深度卷积神经网络模型,属于神经网络结构优化加速研究领域。本发明专利技术基于非均匀分组的多尺度轻量化特征融合卷积层，减少神经网络的参数量以及运算量。模块主要由1*1的点卷积层，神经网络模型(M_blockNet_v1)，深度卷积层以及基于非均匀分组的多尺度融合层构成；神经网络模型(M_blockNet_v1)，应用于CASIA‑HWDB1.1手写汉字的数据集、Facial Keypoints Detection数据集以及Celeba数据集三个数据集上与经典的轻量型神经网络进行。其显著效果是提高神经网络的运算效率以及精度，在对精度影响较小的情况下，极大的提升了网络的运算速度。

【技术实现步骤摘要】
基于非均匀分组的多尺度轻量型深度卷积神经网络模型
本专利技术涉及多尺度轻量型深度卷积神经网络模型，尤其涉及基于非均匀分组的多尺度轻量型深度卷积神经网络模型，属于神经网络结构优化加速研究领域。
技术介绍
在神经网络的优化加速主要有轻量型神经网络结构设计、权重分解、权重剪枝、知识提取、量化加速等方面。权重分解大多数是在训练后对神经网络的权重进行低秩分解，用两个较小的权重矩阵来替代原有的大的卷积核，其会影响网络的精度。权重剪枝的训练过程需要经过预训练、剪枝、微调训练等3个步骤的循环，因此其训练过程比较复杂。神经网络知识提取需要首先训练一个大的教师网络，之后在通过大的教师网络训练小的学生网络，因此其训练过程也比较复杂。神经网络量化加速则是通过减少权值种类的数目来保存权值，减少了网络的存储量，但是会对精度产生较大的影响。神经网络卷积结构设计则是通过直接设计轻量型的卷积结构来达到直接的加速效果，没有复杂的训练过程，同时对精度的影响不大。在神经网络知识提取中主要研究通过首先训练一个大的神经网络，然后用其来训练一个较小的网络。将本文档来自技高网...

【技术保护点】
1.基于非均匀分组的多尺度轻量型深度卷积神经网络模型,首先采用基于膨胀卷积的多尺度特征融合层(1*1点卷积、3*3普通卷积和3*3的膨胀卷积)代替原有的1*1的点卷积的特征融合层；其次采用非均匀分组的方法以减少计算量以及参数量：其特征在于，输入通道分成三组，1*1点卷积包含输入输出通道数的2/3，3*3普通卷积包含输入输出通道数的1/6，3*3膨胀卷积包含输入输出通道数的1/6，将不同尺度分组得到的特征进行连接得到最终输出，具体包括一下步骤；/n步骤1、对膨胀卷积的多尺度特征融合层中每个尺度的卷积核输入包含全部的输入通道，在基于非均匀分组的多尺度特征融合中每个尺度的卷积核输入仅包含部分输入通道...

【技术特征摘要】
1.基于非均匀分组的多尺度轻量型深度卷积神经网络模型,首先采用基于膨胀卷积的多尺度特征融合层(1*1点卷积、3*3普通卷积和3*3的膨胀卷积)代替原有的1*1的点卷积的特征融合层；其次采用非均匀分组的方法以减少计算量以及参数量：其特征在于，输入通道分成三组，1*1点卷积包含输入输出通道数的2/3，3*3普通卷积包含输入输出通道数的1/6，3*3膨胀卷积包含输入输出通道数的1/6，将不同尺度分组得到的特征进行连接得到最终输出，具体包括一下步骤；
步骤1、对膨胀卷积的多尺度特征融合层中每个尺度的卷积核输入包含全部的输入通道，在基于非均匀分组的多尺度特征融合中每个尺度的卷积核输入仅包含部分输入通道；
步骤2、特征融合中采用基于膨胀卷积的多尺度特征融合层(1*1点卷积、3*3普通卷积和3*3的膨胀卷积)代替原有的1*1的点卷积的特征融合层；
步骤3、采用非均匀分组的方法以减少计算量以及参数量；
步骤4、不同尺度分组得到的特征进行连接得到最终输出特征。


2.根据权利要求1所述基于非均匀分组的多尺度轻量型深度卷积神经网络模型，其特征在于，所述模块主要由1*1的点卷积层、深度卷积层以及基于非均匀分组的多尺度特征融合层构成其中包括；
M_block_v1和M_block_v2(图3)；(a)图表示M_block_v1，(b)图表示M_block_v2，I表示输入特征图通道数，h与w表示特征图的宽和高，c表示卷积核的大小，s表示卷积运算的步长，Dw表示深度卷积，Conv1、Conv2以及Conv3共同构成基于非均匀分组的多尺度...

【专利技术属性】
技术研发人员：王彬，向甜，吕艺东，江巧永，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61