【技术实现步骤摘要】
一种基于拼接卷积的神经网络模型压缩方法
本专利技术属于信息
，涉及机器学习和深度学习技术，特别涉及一种基于拼接卷积的神经网络模型压缩方法。
技术介绍
卷积神经网络是处理图像任务的一个前沿且有效的方法，通过利用卷积操作提取图像特征，可以使得不用人工的操作就能达到预期的效果。目前此领域大多是基于深度且复杂的卷积神经网络去处理视觉任务。如resnet(He,Kaiming,XiangyuZhang,ShaoqingRen,andJianSun."Deepresiduallearningforimagerecognition."InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,pp.770-778.2016.)和densenet(Huang,Gao,ZhuangLiu,LaurensVanDerMaaten,andKilianQ.Weinberger."Denselyconnectedconvolutionalnetworks."InPr...
【技术保护点】
1.一种基于拼接卷积的神经网络模型压缩方法，其特征在于，包括以下步骤：/nS1、构建卷积神经网络的特征层；/nS2、采用打乱顺序的拼接卷积替换特征层中传统的标准卷积和深度可分离卷积；/nS3、对特征层进行卷积操作，改变特征层的维度数目；/nS4、将卷积神经网络最后一层网络的神经单元进行全连接操作，输出x个分类单元。/n
【技术特征摘要】
1.一种基于拼接卷积的神经网络模型压缩方法，其特征在于，包括以下步骤：
S1、构建卷积神经网络的特征层；
S2、采用打乱顺序的拼接卷积替换特征层中传统的标准卷积和深度可分离卷积；
S3、对特征层进行卷积操作，改变特征层的维度数目；
S4、将卷积神经网络最后一层网络的神经单元进行全连接操作，输出x个分类单元。
2.根据权利要求1所述的一种基于拼接卷积的神经网络模型压缩方法，其特征在于，步骤S1中，卷积神经网络的输入为图像即彩色RGB三色图，卷积神经网络第一层的卷积为普通的3x3卷积，利用多个标准的3x3卷积核操作实现升高维度的操作，得到DHxDWxDM大小的特征图(featuremap)，其中DH和DW为特征图的长和宽，DM为特征图的维度通道数目，DM>3。
3.根据权利要求1所述的一种基于拼接卷积的神经网络模型压缩方法，其特征在于，步骤S2中，所述标准卷积的结构为：卷积核的每个通道在不同的特征图通道上滑动操作，对当前输入的部分元素进行矩阵乘法，产生各自的结果；然后将每个通道处理的结果汇在一起形成一个通道；卷积核各自产生一个对应通道的输出，最后整个卷积核产生一个总的输出通道；
标准卷积层将DH×DW×DM特征图(featuremap)F作为输入并生成DH×DW×DN特征映射G，其中DH和DW是输入的宽度和高度，DM是输入通道的数量(输入深度)，DN是输出通道的数量(输出深度)；标准卷积层由大小为DK×DK×DM×DN的卷积核K参数化，其中DK是假定为正方形的核的尺寸大小，DM是输入通道的数量，DN是先前定义的输出通道的数量；
标准卷积的计算成本为：
FLS为标准卷积计算中卷积核大小为DK的计算量，其中DK大小为3。
4.根据权利要求1所述的一种基于拼接卷积的神经网络模型压缩方法，其特征在于，步骤S2中，所述深度可分离卷积结构为：特征图每一个通道对应卷积核的每一个通道，其操作为一一对应关系；每一个卷积核的通道对应在特征图的每一个通道上进行卷积操作，其中卷积核的大小全部为3x3大小，最终得到输出为与输入相同的通道数目的特征图；
在深度可分离卷积上，每个卷积核分别对应着各自的特征图的通道，输出的通道与输入的通道一致，最后通过1x1的逐点卷积进行升维或者是降维；因此，使用标准卷积的计算方法，深度可分解卷积的运算如下：
FLK为深度可分离卷积计算中卷积核大小为DK的计算量，其中DK大小为3，FL1为1x1逐点卷积的计算量；
通过比较传统标准卷积和深度可分卷积计算减少R(reduction)，R代表reduction即表示减少量，计算公式如下：
RDwConv/Conv为深度可分离卷积相对于标准卷积的减少量，通过分子分母相除做比较；RDwConv/Conv<1代表深度可分离卷积的计算量小于标准的卷积。
5.根据权利要求1所述的一种基于拼接卷积的神经网络模型压缩...
【专利技术属性】
技术研发人员：朱金辉，苏宇堃，张梅，闵华清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。