基于DS结构的CNN模型压缩方法、装置及存储介质制造方法及图纸

本发明专利技术涉及神经网络技术领域，提出一种基于DS结构的CNN模型压缩方法、装置及存储介质，其中的方法包括：S110、通过普通卷积和批标准化BN运算，将DW卷积和SE Module形成DS卷积块；其中，DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SE Module、卷积Conv_2和批标准化BN；S120、将DS卷积块有序堆叠形成神经网络结构；S130、在神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。本发明专利技术通过在神经网络中应用DS卷积块结构，在保证图片特征提取能力的同时，大大减少了神经网络的参数数量。

CNN model compression method, device and storage medium based on DS structure

【技术实现步骤摘要】
基于DS结构的CNN模型压缩方法、装置及存储介质
本专利技术涉及神经网络
，尤其涉及一种基于DS结构的CNN模型压缩方法、装置及存储介质。
技术介绍
尽管卷积神经网络(CNN)在诸如计算机视觉、自然语言处理等领域均取得了出类拔萃的效果，但其动辄过亿的参数数量却使得诸多实际应用(特别是基于嵌入式设备的应用)望而却步。以经典的VGG16网络为例,其参数数量达到了1亿3千多万，占用超500MB的存储空间，需要进行309亿次浮点运算才能完成一张图像的识别任务。如此巨大的存储代价以及计算开销，严重制约了深度网络在移动端等小型设备上的应用。鉴于此，神经网络的压缩逐渐成为当下深度学习领域的热门研究课题，综合现有的深度模型压缩方法，主要分为四类：参数修剪和共享、低秩因子分解、转移和紧凑卷积滤波器以及知识蒸馏。基于参数修剪和共享的方法针对模型参数的冗余性，试图去除冗余和不重要的项。基于低秩因子分解的技术使用矩阵/张量分解来估计深度学习模型的信息参数。基于传输/紧凑卷积滤波器的方法设计了特殊的结构卷积滤波器来降低存储和计算复杂度。知识蒸馏方法通过学习本文档来自技高网...

【技术保护点】
1.一种基于DS结构的CNN模型压缩方法，应用于电子装置，其特征在于，所述方法包括：/nS110、通过普通卷积和批标准化BN运算，将DW卷积和SE Module形成DS卷积块；其中，所述DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SEModule、卷积Conv_2和批标准化BN；/nS120、将所述DS卷积块有序堆叠形成神经网络结构；/nS130、在所述神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。/n

【技术特征摘要】
1.一种基于DS结构的CNN模型压缩方法，应用于电子装置，其特征在于，所述方法包括：
S110、通过普通卷积和批标准化BN运算，将DW卷积和SEModule形成DS卷积块；其中，所述DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SEModule、卷积Conv_2和批标准化BN；
S120、将所述DS卷积块有序堆叠形成神经网络结构；
S130、在所述神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。


2.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，
当所述DS卷积块为所述神经网络模型的第一个卷积块时，所述卷积Conv_1的过滤器数量为2的倍数；
当所述DS卷积块为所述神经网络模型的除第一个之外的其他的卷积块时，所述卷积Conv_1的过滤器数量等于上一个卷积块的输出通道数量的6倍。


3.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，所述激活函数为Swish激活函数，
所述Swish激活函数的公式为：
f(x)＝x×sigmoid(βx)
其中，β为x的缩放参数，β＝1；Sigmoid是非线性的激活函数。


4.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，所述DW卷积包括一个深度卷积及一个加在所述深度卷积前的1*1的卷积。


5.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，所述SEModule包括reduce_conv和expand_conv两个卷积层；其中，
所述reduce_conv卷积层的过滤器数量为所述卷积Conv_1的过滤器数量的1/24；
所述expand_conv卷积层的过滤器数量等于所述卷积Conv_1...

【专利技术属性】
技术研发人员：朱锦祥，单以磊，臧磊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44