基于DS结构的CNN模型压缩方法、装置及存储介质制造方法及图纸

本发明专利技术涉及神经网络技术领域，提出一种基于DS结构的CNN模型压缩方法、装置及存储介质，其中的方法包括：S110、通过普通卷积和批标准化BN运算，将DW卷积和SE Module形成DS卷积块；其中，DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SE Module、卷积Conv_2和批标准化BN；S120、将DS卷积块有序堆叠形成神经网络结构；S130、在神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。本发明专利技术通过在神经网络中应用DS卷积块结构，在保证图片特征提取能力的同时，大大减少了神经网络的参数数量。

CNN model compression method, device and storage medium based on DS structure

【技术实现步骤摘要】
基于DS结构的CNN模型压缩方法、装置及存储介质
本专利技术涉及神经网络
，尤其涉及一种基于DS结构的CNN模型压缩方法、装置及存储介质。
技术介绍
尽管卷积神经网络(CNN)在诸如计算机视觉、自然语言处理等领域均取得了出类拔萃的效果，但其动辄过亿的参数数量却使得诸多实际应用(特别是基于嵌入式设备的应用)望而却步。以经典的VGG16网络为例,其参数数量达到了1亿3千多万，占用超500MB的存储空间，需要进行309亿次浮点运算才能完成一张图像的识别任务。如此巨大的存储代价以及计算开销，严重制约了深度网络在移动端等小型设备上的应用。鉴于此，神经网络的压缩逐渐成为当下深度学习领域的热门研究课题，综合现有的深度模型压缩方法，主要分为四类：参数修剪和共享、低秩因子分解、转移和紧凑卷积滤波器以及知识蒸馏。基于参数修剪和共享的方法针对模型参数的冗余性，试图去除冗余和不重要的项。基于低秩因子分解的技术使用矩阵/张量分解来估计深度学习模型的信息参数。基于传输/紧凑卷积滤波器的方法设计了特殊的结构卷积滤波器来降低存储和计算复杂度。知识蒸馏方法通过学习一个蒸馏模型，训练一个更紧凑的神经网络来重现一个更大的网络的输出。上述神经网络压缩方法，通过将一个庞大而复杂的预训练模型转化为一个精简的小模型而实现压缩目的；在追求模型高准确度的同时，尽可能地降低其复杂度，以期达到性能与开销上的平衡。但是上述方法存在的弊端如下：1、压缩的效果参差不齐；2、压缩后的模型存在较严重的精度损失。所以，亟需一种高压缩性和高精度的CNN模型压缩方法。
技术实现思路
本专利技术提供一种基于DS结构的CNN模型压缩方法、电子装置及计算机可读存储介质，其主要通过在深度神经网络中应用DS卷积块结构，在保证图片特征提取能力的同时，大大减少了神经网络的参数数量。为实现上述目的，本专利技术还提供一种基于DS结构的CNN模型压缩方法，应用于电子装置，方法包括：S110、通过普通卷积和批标准化BN运算，将DW卷积和SEModule形成DS卷积块；其中，DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SEModule、卷积Conv_2和批标准化BN；S120、将DS卷积块有序堆叠形成神经网络结构；S130、在神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。进一步，优选的，当DS卷积块为神经网络模型的第一个卷积块时，DS卷积块的过滤器数量为2的倍数；当DS卷积块为神经网络模型的除第一个卷积块之外的其他卷积块时，DS卷积块的过滤器数量等于上一个卷积块的输出通道数量的6倍。进一步，优选的，激活函数为Swish激活函数，Swish激活函数的公式为：f(x)＝x×slgmoid(βx)其中，β为x的缩放参数，β＝1；Sigmoid是非线性的激活函数。进一步，优选的，DW卷积包括一个深度卷积及一个加在深度卷积前的1*1的卷积。进一步，优选的，SEModule包括reduce_conv和expand_conv两个卷积层；其中，reduce_conv卷积层的过滤器数量为卷积Conv_1的过滤器数量的1/24；expand_conv卷积层的过滤器数量等于卷积Conv_1的过滤器数量。为实现上述目的，本专利技术提供一种电子装置，该电子装置包括：存储器、处理器，存储器中存储有基于DS结构的CNN模型压缩程序，基于DS结构的CNN模型压缩程序被处理器执行时实现如下步骤：S110、通过普通卷积和批标准化BN运算，将DW卷积和SEModule形成DS卷积块；其中，DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SEModule、卷积Conv_2和批标准化BN；S120、将DS卷积块有序堆叠形成神经网络结构；S130、在神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。优选的，当所述DS卷积块为所述神经网络模型的第一个卷积块时，DS卷积块的过滤器数量为2的倍数；当所述DS卷积块为所述神经网络模型的第一个卷积块之外的其他卷积块时，DS卷积块的过滤器数量等于上一个卷积块的输出通道数量的6倍。优选的，所述激活函数为Swish激活函数，所述Swish激活函数的公式为：f(x)＝x×sigmoid(βx)其中，β为x的缩放参数，β＝1；Sigmoid是非线性的激活函数。优选的，所述DW卷积包括一个深度卷积及一个加在所述深度卷积前的1*1的卷积。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括基于DS结构的CNN模型压缩程序，所述基于DS结构的CNN模型压缩程序被处理器执行时，实现上述的基于DS结构的CNN模型压缩方法的步骤。本专利技术提出的基于DS结构的CNN模型压缩方法、电子装置及计算机可读存储介质，基于深度可分离卷积(Depthwise-Pointwise)和轻量级注意力结构(Squeeze-Excitation)，联合使用普通卷积和BatchNorm操作运算，最终设计出紧凑型的CNN组件-DS卷积块，将卷积块的有序堆叠可实现参数量较少但是精度基本不受损的神经网络模型；有益效果如下：(1)、在神经网络结构中将DS卷积块作为CNN组件，可以在保证图片特征提取能力的同时，减少神经网络参数的数量；(2)、大大降低神经网络模型的显存占用和浮点运算量，从而实现CNN模型的存储和运算优化；(3)、将本专利技术的压缩方法应用于ArcFace人脸识别项目中，可实现320维的人脸特征数据特征提取，使用CASIA-Webface公开数据集训练得到新模型；在准确率方面，新模型在lfw验证集上的准确率达99.52％，与原模型的准确率相当；但在参数数量方面，新模型参数只有5.1兆，相较于原模型的54兆，新模型的参数压缩率达到了10倍左右。附图说明图1为本专利技术基于DS结构的CNN模型压缩方法较佳实施例的流程图；图2为本专利技术的DS卷积块的较佳实施例的结构示意图；图3为本专利技术的神经网络模型的较佳实施例的结构示意图；图4为本专利技术的电子装置的较佳实施例的结构示意图；本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。现有的神经网络在压缩时，通常是将一个庞大而复杂的预训练模型转化为一个精简的小模型以实现压缩目的，但是这种压缩方法不仅压缩的效果参差不齐，压缩后的模型也存在较严重的精度损失。本专利技术基于深度可分离卷积(Depthwise-Pointwise)和轻量级注意力结构(Squeeze-Excitation)，联合使用普通卷积和BN(BatchNorm)操作运算，最终设计出紧凑型的CNN组件-DS卷积块，该DS卷积块的有本文档来自技高网...

【技术保护点】
1.一种基于DS结构的CNN模型压缩方法，应用于电子装置，其特征在于，所述方法包括：/nS110、通过普通卷积和批标准化BN运算，将DW卷积和SE Module形成DS卷积块；其中，所述DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SEModule、卷积Conv_2和批标准化BN；/nS120、将所述DS卷积块有序堆叠形成神经网络结构；/nS130、在所述神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。/n

【技术特征摘要】
1.一种基于DS结构的CNN模型压缩方法，应用于电子装置，其特征在于，所述方法包括：
S110、通过普通卷积和批标准化BN运算，将DW卷积和SEModule形成DS卷积块；其中，所述DS卷积块包括：卷积Conv_1、批标准化BN、激活函数、DW卷积、批标准化BN、激活函数、SEModule、卷积Conv_2和批标准化BN；
S120、将所述DS卷积块有序堆叠形成神经网络结构；
S130、在所述神经网络结构上加入输入层、池化层、全连接层及分类层，形成神经网络模型。


2.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，
当所述DS卷积块为所述神经网络模型的第一个卷积块时，所述卷积Conv_1的过滤器数量为2的倍数；
当所述DS卷积块为所述神经网络模型的除第一个之外的其他的卷积块时，所述卷积Conv_1的过滤器数量等于上一个卷积块的输出通道数量的6倍。


3.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，所述激活函数为Swish激活函数，
所述Swish激活函数的公式为：
f(x)＝x×sigmoid(βx)
其中，β为x的缩放参数，β＝1；Sigmoid是非线性的激活函数。


4.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，所述DW卷积包括一个深度卷积及一个加在所述深度卷积前的1*1的卷积。


5.根据权利要求1所述的基于DS结构的CNN模型压缩方法，其特征在于，所述SEModule包括reduce_conv和expand_conv两个卷积层；其中，
所述reduce_conv卷积层的过滤器数量为所述卷积Conv_1的过滤器数量的1/24；
所述expand_conv卷积层的过滤器数量等于所述卷积Conv_1...

【专利技术属性】
技术研发人员：朱锦祥，单以磊，臧磊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44