一种针对图像复原卷积神经网络的压缩方法及装置制造方法及图纸

本发明专利技术公开了一种针对图像复原卷积神经网络的压缩方法及装置，该方法包括：获取待压缩的图像复原卷积神经网络并以非正方形卷积核的侧窗核代替正方形卷积核，得到侧窗核替换后的卷积神经网络；将侧窗核替换后的卷积神经网络的卷积层分解为通道方向空间卷积和线性投影卷积，得到卷积层分解后的卷积神经网络；基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络。该装置包括存储器以及用于执行上述针对图像复原卷积神经网络的压缩方法的处理器，本发明专利技术作为一种针对图像复原卷积神经网络的压缩方法及装置，可广泛应用于网络压缩领域。网络压缩领域。网络压缩领域。

【技术实现步骤摘要】
一种针对图像复原卷积神经网络的压缩方法及装置


[0001]本专利技术涉及网络压缩领域，尤其涉及一种针对图像复原卷积神经网络的压缩方法及装置。

技术介绍

[0002]自从针对图像超分辨率任务设计的3层卷积神经网络SRCNN和针对图像去压缩伪影任务设计的4层卷积神经网络ARCNN被提出后，CNN开始展现其有效性并在图像复原领域占据主导地位，然而，更深的网络具有更多的参数和计算成本，这阻碍了它们在计算和内存资源有限情况下的应用，为了在模型大小、计算效率和性能之间找到一个平衡点，人们提出了各种模型压缩解决方案，现有的大部分模型压缩方法都是针对高级视觉任务，如图像分类、目标检测等，因此直接用于低级视觉任务时可能无法保持良好性能。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供一种针对图像复原卷积神经网络的压缩方法及装置，在提高网络计算效率的同时提升网络输出性能。
[0004]本专利技术所采用的第一技术方案是：一种针对图像复原卷积神经网络的压缩方法，包括以下步骤：
[0005]获取待压缩的图像复原卷积神经网络并以非正方形卷积核的侧窗核代替正方形卷积核，得到侧窗核替换后的卷积神经网络；
[0006]将侧窗核替换后的卷积神经网络的卷积层分解为通道方向空间卷积和线性投影卷积，得到卷积层分解后的卷积神经网络；
[0007]基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络。
[0008]进一步，所述侧窗核包括上侧窗核、下侧窗核、左侧窗核和右侧窗核。
[0009]进一步，侧窗核替换后的卷积神经网络使用侧窗核卷积的压缩率计算公式如下：
[0010][0011]所述CR1表示使用侧窗核卷积的压缩率，所述N
in
表示为输入通道数，所述N
out
表示为输出通道数，所述k
×
k表示为原始卷积核尺寸，所述表示为侧窗核尺寸。
[0012]进一步，所述基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络这一步骤，其具体包括：
[0013]获取卷积层分解后的卷积神经网络并按预设规则对卷积层分解后的卷积神经网络中的卷积层设置不同的扩张率；
[0014]在卷积层分解后的卷积神经网络网络末端添加注意力块，得到压缩后的图像复原
卷积神经网络。
[0015]进一步，所述预设规则具体包括扩张卷积的扩张率为对称方式、扩张卷积的扩张率顺序为先增加后减少和扩张卷积中每隔一段插入扩张率为1的卷积层。
[0016]进一步，所述注意力块中的注意力机制包括加权步骤和缩放步骤。
[0017]进一步，所述加权步骤采用核大小为预设值的卷积层学习注意力图，所述缩放步骤为对输入特征图和注意力图之间进行矩阵点乘，生成输出特征图。
[0018]进一步，所述卷积层分解后的卷积神经网络的压缩率计算公式如下：
[0019][0020]所述CR2表示为卷积层分解后的卷积神经网络的压缩率，所述N
in
表示为输入通道数，所述N
out
表示为输出通道数，所述k
×
k表示为原始卷积核尺寸，所述表示为侧窗核尺寸。
[0021]本专利技术所采用的第二技术方案是：一种针对图像复原卷积神经网络的压缩装置，包括：
[0022]至少一个处理器；
[0023]至少一个存储器，用于存储至少一个程序；
[0024]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种针对图像复原卷积神经网络的压缩方法。
[0025]本专利技术方法及装置的有益效果是：本专利技术通过在卷积核层面替换侧窗核的非正方形卷积核来减少网络参数，在卷积层级将标准卷积分解为通道空间卷积和线性投影卷积，在卷积块层面采用对称的扩张卷积和注意力块来修改网络以达到提升网络性能目的。
附图说明
[0026]图1是本专利技术一种针对图像复原卷积神经网络的压缩方法的步骤流程图；
[0027]图2是本专利技术具体实施例四种侧窗核类型；
[0028]图3是本专利技术具体实施例替换侧窗核后的卷积运算步骤示意图；
[0029]图4是本专利技术具体实施例卷积层分解后的卷积运算步骤示意图；
[0030]图5是本专利技术具体实施例注意力块的注意力机制示意图。
具体实施方式
[0031]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0032]本专利专利技术提出了一种针对图像复原任务的卷积神经网络通用压缩方法及装置，可用于图像去噪、图像超分辨率以及图像去压缩伪影等任务。本方法从微观到宏观分为三个层次，分别在卷积核级、卷积层级和卷积块级对卷积神经网络进行压缩。
[0033]如图1所示，本专利技术提供了一种针对图像复原任务的卷积神经网络通用压缩方法，
该方法包括以下步骤：
[0034]S101、获取待压缩的图像复原卷积神经网络并以非正方形卷积核的侧窗核代替正方形卷积核，得到侧窗核替换后的卷积神经网络；
[0035]具体地，卷积核层面的模型压缩由提出的侧窗核来实现。与常见的正方形卷积核不同，侧窗核是非正方形的。
[0036]S102、将侧窗核替换后的卷积神经网络的卷积层分解为通道方向空间卷积和线性投影卷积，得到卷积层分解后的卷积神经网络；
[0037]具体地，为了进一步压缩网络，在卷积层级，SWConv被分解为两步：通道方向空间卷积和线性投影卷积，分解后的SWConv被称为SWConv-F。
[0038]如图4所示，在SWConv-F中，标准卷积被分解为通道空间卷积和线性投影卷积。在通道空间卷积中，我们将输入的N
in
个特征图分为N
in
组，每组用一种类型的侧窗核进行卷积计算并得到对应的输出。为了从每种类型的侧窗核中获得相等的信息，四分之一的组应用一种类型的侧窗核。因此，在通道空间卷积中，有N
in
个侧窗核和N
in
个输出通道。此后，我们应用1
×
1卷积核与前面通道空间卷积得到的N
in
个特征图进行卷积，得到最终的N
out
个输出特征图。通常采用SWConv-F作为一个网络的中间层。
[0039]S103、基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络。
[0040]具体地，通过侧窗核和卷积层分解对网络进行压缩后，由于像素信息有一定的丢失，压缩后的网络性能有所下降。为了保持与原始网络类似的复原性能，我们采用了对称扩张卷积和注意力机制。
[0041]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对图像复原卷积神经网络的压缩方法，其特征在于，包括以下步骤：获取待压缩的图像复原卷积神经网络并以非正方形卷积核的侧窗核代替正方形卷积核，得到侧窗核替换后的卷积神经网络；将侧窗核替换后的卷积神经网络的卷积层分解为通道方向空间卷积和线性投影卷积，得到卷积层分解后的卷积神经网络；基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络。2.根据权利要求1所述一种针对图像复原卷积神经网络的压缩方法，其特征在于，所述侧窗核包括上侧窗核、下侧窗核、左侧窗核和右侧窗核。3.根据权利要求2所述一种针对图像复原卷积神经网络的压缩方法，其特征在于，侧窗核替换后的卷积神经网络使用侧窗核卷积的压缩率计算公式如下：所述CR1表示使用侧窗核卷积的压缩率，所述N
in
表示为输入通道数，所述N
out
表示为输出通道数，所述k
×
k表示为原始卷积核尺寸，所述表示为侧窗核尺寸。4.根据权利要求3所述一种针对图像复原卷积神经网络的压缩方法，其特征在于，所述基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络这一步骤，其具体包括：获取卷积层分解后的卷积神经网络并按预设规则对卷积层分解后的卷积神经网络中的卷积层设置不同的扩张率；在卷积层分解后的卷积神经网...

【专利技术属性】
技术研发人员：金枝，肖洁，庞雨贤，
申请(专利权)人：中山大学，
类型：发明
国别省市：