一种基于递进蒸馏网络的轻量化图像超分辨率重建方法技术

本公开是关于一种基于递进蒸馏网络的轻量化图像超分辨率重建方法，涉及图像超分辨率重建技术领域，包括：对现有超分辨率卷积神经网络模型进行改进，包括：根据不同扩张率卷积核的感受野递进原理，利用两种不同的递进蒸馏连接组合代替原有的特征蒸馏连接，采用非对称扩展卷积残差块使得网络在极少参数的情况下能够充分提取图像的边缘和纹理特征信息；利用通道混洗结构改进蒸馏网络连接的层级特征，进一步改善通道间的特征共享性，从而提升图像超分辨率重建的精确度；并进一步采用多尺度空间注意力机制模块，可以自适应地重新校准融合特征的权重；后上采样重建部分为上采样

【技术实现步骤摘要】
一种基于递进蒸馏网络的轻量化图像超分辨率重建方法


[0001]本公开涉及图像超分辨率重建
，尤其涉及一种基于递进蒸馏网络的轻量化图像超分辨率重建方法。

技术介绍

[0002]随着各式图像显示设备、移动设备和网络建设的普及与快速发展，对图像、视频质量的要求不断提高，如何得到效果更好且更加经济适用的高分辨率图像或视频，变得越来越重要。然而，实际中数字图像的采集和处理会受到诸多因素影响，从而导致图像质量降低，在图像显示设备上往往得不到理想的图像。因此，如何获取经济有效的高质量图像成为了一个亟需解决的问题。
[0003]单图像超分辨率是通过恒等映射函数从低分辨率图像重建成高分辨率图像的技术，但这是一个病态问题，因为一张低分辨率图像可以重建出多张高分辨率图像。为了解决这个问题，基于深度学习的图像超分辨率重建方法，是通过大量的外部数据来学习低分图像到高分图像之间的非线性映射关系，从而借助学习到的对应关系来直接获取高分图像。此类算法一般由训练和重建两个过程所构成，训练用于学习映射关系，重建用于得到最终结果。

技术实现思路

[0004]为克服相关技术中存在的问题，一种基于递进蒸馏网络的轻量化图像超分辨率重建方法。
[0005]根据本公开实施例的第一方面，提供一种基于递进蒸馏网络的轻量化图像超分辨率重建方法，包括；
[0006]通过设置递进蒸馏模块实现将通道分离机制并行解耦为1
×
1卷积和核心特征提取模块；
[0007]通过设置注意力上采样模块重建出高分辨率图像；
[0008]通过对卷积神经网络进行训练，得到高分辨率图像；
[0009]根据训练后的卷积神经网络对图像的超分辨率进行重建。
[0010]可选地，在一种实现方式中，所述通过设置递进蒸馏模块实现将通道分离机制并行解耦为1
×
1卷积和核心特征提取模块，包括：
[0011]所述1
×
1卷积的输出通道为输入通道的一半，且产生的图像特征用于通道合并；所述核心特征提取模块产生的图像特征则用来进一步提炼上一层处理过的特征；
[0012]循环迭代执行上述操作三次，并将3
×
3卷积层进入通道合并层，得到合并后的图像特征。
[0013]可选地，在一种实现方式中，所述注意力上采样模块采用三维像素注意力机制。
[0014]可选地，在一种实现方式中，核心特征提取模块包括带有扩张卷积的非对称卷积残差模块和非对称卷积残差模块，其中：
[0015]带有扩张卷积的非对称卷积残差模块由1
×
3DConv、3
×
1DConv、ReLU和恒等映射四个部分组成；
[0016]非对称卷积残差模块，由1
×
3Conv、3
×
1Conv、ReLU和恒等映射四个部分组成。
[0017]可选地，在一种实现方式中，所述通过设置注意力上采样模块重建出高分辨率图像，包括：
[0018]6个递进蒸馏模块，其中，前3个的核心提取模块采用不带有扩张卷积的非对称卷积残差模块，后3个的核心提取模块采用带有扩张卷积的非对称卷积残差模块。
[0019]可选地，在一种实现方式中，对合并的图像特征采用通道混洗层操作，得到处理后的合并图像。
[0020]可选地，在一种实现方式中，对所述处理后的合并图像采用多尺度空间注意力机制，得到输出特征图。
[0021]可选地，在一种实现方式中，所述对所述处理后的合并图像采用多尺度空间注意力机制，得到输出特征图，包括：
[0022]通过设置1
×
1卷积，实现通道数的减少；
[0023]通过设置跨步卷积和Maxpooling组合，实现注意力机制的感受视野的增大；
[0024]并且通过扩张卷积、上采样函数和1
×
1卷积进行设置调整：
[0025]通过1
×
1卷积对通道关系建模，输出特征图。
[0026]可选地，在一种实现方式中，所述并且通过扩张卷积、上采样函数和1
×
1卷积进行设置调整，包括：
[0027]通过不同扩展率的扩张卷积，实现感受野的进一步放大；
[0028]通过上采样函数和1
×
1卷积，实现恢复空间维度和通道维度；
[0029]于所述输入特征上应用可忽略参数的1
×
1卷积和depth
‑
wise卷积组合，实现特征的关键信息的权重的增强。
[0030]可选地，在一种实现方式中，所述根据训练后的卷积神经网络对图像的超分辨率进行重建，包括：
[0031]将需要超分的图像I
LR
输入已经训练好的卷积神经网络，得到输出图像I
SR
；
[0032]对图像I
LR
进行双线性插值上采样，得到与I
SR
相同尺寸的图像I
BI
；
[0033]将I
BI
与I
SR
对应的像素点的像素值进行相加，得到超分辨率图像I
F
。
[0034]本公开的实施例提供的技术方案可以包括以下有益效果：本公开根据不同扩张率卷积核的感受野递进原理，利用非对称扩展卷积残差快作为蒸馏网络的核心提取特征模块，同时，我们利用通道混洗结构改进蒸馏网络连接的层级特征，进一步改善通道间的特征共享性，从而提升图像超分辨率重建的精确度，且本公开利用注意力机制原理，可以自适应地重新校准融合特征的权重。本公开方法能够在相对于传统网络，可以有效地提升超分重建后的图像质量，同时减少了网络参数且加快了计算速度，整体提高了超分辨率图像重建的效率。
[0035]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0036]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0037]图1是根据一示例性实施例示出的一种基于递进蒸馏网络的轻量化图像超分辨率重建方法的流程图。
[0038]图2是根据一示例性实施例示出的单个局部递进蒸馏网络模块结构图。
[0039]图3是根据一示例性实施例示出的网络架构图。
[0040]图4是根据一示例性实施例示出的不同模型对同一图像的超分辨率重建效果图。
[0041]图5是根据一示例性实施例示出的与现有方法在2
×
,3
×
,4
×
超分辨率任务表格。
具体实施方式
[0042]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于递进蒸馏网络的轻量化图像超分辨率重建方法，其特征在于：通过设置递进蒸馏模块实现将通道分离机制并行解耦为1
×
1卷积和核心特征提取模块；通过设置注意力上采样模块重建出高分辨率图像；通过对卷积神经网络进行训练，得到高分辨率图像；根据训练后的卷积神经网络对图像的超分辨率进行重建。2.根据权利要求1所述的方法，其特征在于，所述通过设置递进蒸馏模块实现将通道分离机制并行解耦为1
×
1卷积和核心特征提取模块，包括：所述1
×
1卷积的输出通道为输入通道的一半，且产生的图像特征用于通道合并；所述核心特征提取模块产生的图像特征则用来进一步提炼上一层处理过的特征；循环迭代执行上述操作三次，并将3
×
3卷积层进入通道合并层，得到合并后的图像特征。3.根据权利要求1所述的方法，其特征在于，所述注意力上采样模块采用三维像素注意力机制。4.根据权利要求2所述的方法，其特征在于，核心特征提取模块包括带有扩张卷积的非对称卷积残差模块和非对称卷积残差模块，其中：带有扩张卷积的非对称卷积残差模块由1
×
3DConv、3
×
1DConv、ReLU和恒等映射四个部分组成；非对称卷积残差模块，由1
×
3Conv、3
×
1Conv、ReLU和恒等映射四个部分组成。5.根据权利要求2所述的方法，其特征在于，所述通过设置注意力上采样模块重建出高分辨率图像，包括：6个递进蒸馏模块，其中，前3个的核心提取模块采用不带有扩张卷积的非对称卷积残差模块，后3个的核心提取模块采用带有扩张卷积的非对称卷积残差模块。6.根据权利要求2所述的方法，其特征在于，对合并的图像特征...

【专利技术属性】
技术研发人员：范科峰，洪开，徐洋，孙文龙，
申请(专利权)人：中国电子技术标准化研究院，
类型：发明
国别省市：