一种对翻转残差线性卷积模块的量化友好型剪枝方法技术

本发明专利技术提供一种对翻转残差线性卷积模块的量化友好型剪枝方法，属于神经网络压缩技术领域，本发明专利技术利用一种剪枝方法针对逐通道卷积这一典型结构进行剪枝，按照通道去除卷积核中的冗余连接。同时，该方法在剪枝过程中加入了量化指标，剪枝不仅对模型进行压缩，也对逐通道卷积核权重的分布做了调整，使其成为一种量化友好型模型。

A Quantitative Friendly Pruning Method for Flipping Residual Linear Convolution Module

【技术实现步骤摘要】
一种对翻转残差线性卷积模块的量化友好型剪枝方法
本专利技术涉及神经网络压缩技术，尤其涉及一种对翻转残差线性卷积模块的量化友好型剪枝方法。
技术介绍
MobileNetV2模型是一种专为移动手机等资源受限的嵌入式设备设计的深度神经网络模型。该模型通过新提出的翻转残差线性模块(InvertedResidualandLinearBottlenecksmodule)大大降低了卷积的计算量和权重个数，是一种小型精巧模型。相比于经典卷积运算，该模型降低了对终端的计算和存储资源的需求，加快了模型推理速度，是一种移动友好型模型。MobileNetV2主要由一系列连接的翻转残差线性模块组合而成，翻转残差线性模块包含3个连续的卷积和激活运算层。相比于经典的残差模组，该模组第一层是一个1x1的经典卷积层，第一层的特点是对输入的特征图进行通道扩张，即衍生更多特征图；第二层是逐通道(depth-wise)3x3卷积，对每一个通道进行独立的卷积，同时通道数保持不变；第三层是1x1的线性卷积，该层完成对特征图的压缩，即减小通道数量。翻转残差线性模块能够降低计算量和权重数量的主要原因在于其模组中第二层采用了逐通道卷积，这是一种非常轻量的卷积形式。由于逐通道卷积采用了对输入的每个通道单独进行卷积运算，使得各个卷积的权重较于经典卷积的权重分布更加不相关，从而造成了不同的卷积核的权重数值范围相差较大。对于高精度的计算，例如单精度浮点数float32，模型的推理结果不会受到权重数值分布过大的影响，但是对于量化后的低精度模型，例如无符号uint8类型，模型的推理精度将会受到严重影响。一种可行的方案是对模型的每个通道进行量化，但相较于逐层量化，逐通道量化增加了量化的复杂度，在推理时需要加入繁琐的量化范围转化，这就降低了模型的推理速度。
技术实现思路
为了消除逐通道卷积对量化的不友好性，也进一步增加模型的推理速度和小型化程度，本专利技术提出了一种对翻转残差线性卷积模块的量化友好型剪枝方法，基于逐通道卷积剪枝的方法，继续提出了对常规卷积运算的剪枝方法。一方面，该方法能够减小冗余连接，并且是一种结构化剪枝，能够删除不重要的特征图的通道，达到删除神经元的目的；另一方面，在剪枝过程中加入对量化的考量，减小卷积核权重数值分布范围的偏差，使得模型更加利于逐层量化。本专利技术的技术方案是：一种对翻转残差线性卷积模块的量化友好型剪枝方法，具体指利用一种剪枝方法针对逐通道卷积这一典型结构进行剪枝，按照通道去除卷积核中的冗余连接。同时，该方法在剪枝过程中加入了量化指标，剪枝不仅对模型进行压缩，也对逐通道卷积核权重的分布进行调整，使其成为一种量化友好型模型。包括两部分：1)逐通道卷积剪枝对翻转残差线性模组中的逐通道卷积的第二层卷积核权重的值分布进行统计，计算第二层卷积核权重中所有卷积核的绝对值的中位数作为每个卷积核的中心，删除中心值较小的卷积核，从而降低第二层卷积核权重的第三维度，也就是该层的卷积核个数；2)常规卷积剪枝在删除逐通道卷积层中的部分卷积核之后，输出的特征图通道数量减小，因此继续删除后续的卷积运算中所有卷积核上对应的通道；同时，删除这些通道的卷积核。设一个翻转残差线性模组，用IRLB为表示。其对应的映射函数为表示该IRLB模组的输入特征图，其中h、w、c分别表示特征图高度、宽度和通道数，表示该IRLB模组的输出特征图，p、q、k分别表示输出特征图的高度、宽度和通道数。根据翻转残差线性模组的运算过程，可知其中W、U、V分别为IRLB模组的第一、二、三层的卷积核权重参数，n是IRLB模组第一个卷积Conv的输出特征图的通道数；Conv(x；W)表示卷积运算和激活；Conv′(x；V)表示卷积运算，无激活；Dw(x；U)表示逐通道卷积运算和激活。1、预训练。使用训练集对深度神经网络模型M预训练，在验证集上达到满意精度后停止预训练。2、剪枝。找到模型M中所有翻转残差线性模块，设定剪枝阈值r∈(0，1]，对所有翻转残差线性模块进行剪枝。对任一翻转残差线性模块IRLB的剪枝方法如下：a、对IRLB中的逐通道卷积进行剪枝。令为逐通道卷积剪枝后输出的通道数。计算卷积核组中n个卷积核的中位数作为每个卷积核中心ui,i＝1，2，...，n。降序排序后取其前m个，记其下表集合为J＝{j|1≤j≤n}。则集合J中元素为U中保留的卷积核，其余卷积核被剪枝，更新b、对IRLB中的线性卷积进行剪枝。对Conv′的卷积核组对每一个j∈J，删除每个卷积核中的第j个通道参数，更新c、对IRLB中的卷积进行剪枝。对Conv的卷积核组对每一个j∈J，删除卷积核组W中的第j个卷积核，更新3、剪枝后训练。对需要剪枝的翻转残差线性模块进行剪枝后，模型M精度损失，对其进行再训练，观测评价指标。4、多次重复以上2、3步骤，直到剪枝达到预定要求。本专利技术的有益效果是弥补了针对逐通道卷积量化不友好的缺陷。本方法剪枝后的模型可进一步量化压缩，适配资源受限的嵌入式终端。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提出的一种对翻转残差线性卷积模块的量化友好型剪枝方法。基于逐通道卷积剪枝的方法，继续提出了对常规卷积运算的剪枝方法。一方面，该方法能够减小冗余连接，并且是一种结构化剪枝，能够删除不重要的特征图的通道，达到删除神经元的目的；另一方面，在剪枝过程中加入对量化的考量，减小卷积核权重数值分布范围的偏差，使得模型更加利于逐层量化。设一个翻转残差线性模组，用IRLB为表示。其对应的映射函数为表示该IRLB模组的输入特征图，其中h、w、c分别表示特征图高度、宽度和通道数，表示该IRLB模组的输出特征图，p、q、k分别表示输出特征图的高度、宽度和通道数。根据翻转残差线性模组的运算过程，可知其中W、U、V分别为IRLB模组的第一、二、三层的卷积核权重参数，n是IRLB模组第一个卷积Conv的输出特征图的通道数；Conv(x；W)表示卷积运算和激活；Conv′(x；W)表示卷积运算，无激活；Dw(x；U)表示逐通道卷积运算和激活。逐通道卷积剪枝方法：根据翻转残差线性模组的定义，本专利技术提出引入量化指标的剪枝方法，对翻转残差线性模组中的逐通道卷积的卷积核权重U的值分布进行统计，计算U中所有卷积核的绝对值的中位数作为每个卷积核的中心，删除中心值较小的卷积核，从而降低U的第三维度，也就是该层的卷积核个数。常规卷积剪枝方法：在删除逐通道卷积层Dw中的部分卷积核之后，输出的特征图通道数量减小，因此继续删除后续的卷积运算Conv′中所有卷积核上对应的通道。同时，因为Dw中的部分卷积核被删除，其对应的输入没有参与后续计算，因此在Conv中也不需要计算这些通道，从而可以删除这些通道的卷积核。其优点显而易见，一方面直接减小了翻转残差线性模组中的逐通道卷积Dw的卷积核个数；另一方面，因为这是一种结构化剪枝，逐通道卷积输出的特征图通道数量减小，从而V中所有卷积核相应的通道上的权重也被删除，降低了翻转残差本文档来自技高网...

【技术保护点】
1.一种对翻转残差线性卷积模块的量化友好型剪枝方法，其特征在于，利用剪枝方法针对逐通道卷积这一典型结构进行剪枝，按照通道去除卷积核中的冗余连接；同时，在剪枝过程中加入量化指标，剪枝不仅对模型进行压缩，也对逐通道卷积核权重的分布做调整。

【技术特征摘要】
1.一种对翻转残差线性卷积模块的量化友好型剪枝方法，其特征在于，利用剪枝方法针对逐通道卷积这一典型结构进行剪枝，按照通道去除卷积核中的冗余连接；同时，在剪枝过程中加入量化指标，剪枝不仅对模型进行压缩，也对逐通道卷积核权重的分布做调整。2.根据权利要求1所述的方法，其特征在于，包括两部分：1)逐通道卷积剪枝；2)常规卷积剪枝。3.根据权利要求2所述的方法，其特征在于，关于逐通道卷积剪枝，对翻转残差线性模组中的逐通道卷积的第二层卷积核权重的值分布进行统计，计算第二层卷积核权重中所有卷积核的绝对值的中位数作为每个卷积核的中心，删除中心值降序排序后数位卷积核，从而降低第二层卷积核权重的第三维度，也就是该层的卷积核个数。4.根据权利要求3所述的方法，其特征在于，关于常规卷积剪枝，在删除逐通道卷积层中的卷积核之后，输出的特征图通道数量减小，因此继续删除后续的卷积运算中所有卷积核上对应的通道；同时，删除这些通道的卷积核。5.根据权利要求4所述的方法，其特征在于，设一个翻转残差线性模组，用IRLB为表示；其对应的映射函数为表示该IRLB模组的输入特征图，其中h、w、c分别表示特征图高度、宽度和通道数，表示该IRLB模组的输出特征图，p、q、k分别表示输出特征图的高度、宽度和通道数；根据翻转残差线性模组的运算过程，可知其中W、U、V分别为IRLB模组的第一、二、三层的卷积核权重参数，n是IRL...

【专利技术属性】
技术研发人员：高岩，姜凯，于治楼，李朋，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37