一种轻量化超分辨率重建方法技术

本发明专利技术公开了一种轻量化超分辨率重建方法，通过将待处理图像输入至深度特征提取网络，得到图像深度特征；并根据图像深度特征和待处理图像，得到超分辨率重建图像；其中，深度特征提取网络包括n个深度特征转换块，每个深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取待处理图像的多尺度特征信息；本发明专利技术提供的超分辨率重建方法，在提升模型性能的同时，利用深度可分离卷积和线性变换模块大幅度降低模型参数量。降低模型参数量。降低模型参数量。

【技术实现步骤摘要】
一种轻量化超分辨率重建方法


[0001]本专利技术涉及深度学习与计算机视觉
，更具体的说是涉及一种轻量化超分辨率重建方法。

技术介绍

[0002]图像超分辨率重建(Super
‑
Resolution,SR)的根本任务是将低分辨率图像恢复到期望的高分辨率图像。
[0003]随着卷积神经网络的兴起和图形处理单元的空前改进，越来越多基于深度学习的SR模型被提出，这种方法可以通过组合多种功能块提高特征提取模块的映射能力，可以通过组合更多的特征提取模块提高网络的重建性能，但是模块的堆砌会带来较高的计算复杂度和高量级的参数量，导致网络的实时性和适用性不足。
[0004]同时，由于图像超分辨率重建任务的根本目的是图像尺寸的放大，图像上采样部分在重建过程中极为重要，当前常用的上采样方法有基于插值的上采样、转置卷积和亚像素卷积三种方法。由于亚像素卷积使用的重建信息完全由原图像获得，有利于图像的细节恢复，目前该方法在SR任务中最常使用，但是这种上采样方法仍有一个尚未解决的问题，重建结果中存在明显的不平滑。因此，解决当前上采样问题，对于提升SR的重建效果也极为重要。
[0005]因此，针对现有技术中的上述缺陷，如何提供一种轻量化的超分辨率重建方法，以至少部分解决上述问题，是本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种轻量化的超分辨率重建方法，旨在提升模型性能的同时，利用深度可分离卷积和线性变换模块减少模型参数量。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种轻量化超分辨率重建方法，包括，
[0009]将待处理图像输入至深度特征提取网络，得到图像深度特征；所述深度特征提取网络包括n个深度特征转换块，每个所述深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取所述待处理图像的多尺度特征信息即图像深度特征；
[0010]根据所述图像深度特征和所述待处理图像，得到超分辨率重建图像。
[0011]优选的，所述待处理图像输入至所述深度特征提取网络前，先进入浅层特征提取网络，提取所述待处理图像的浅层特征。
[0012]优选的，所述浅层特征提取网络包括一层3
×
3卷积和一层1
×
1卷积。
[0013]优选的，所述深度图像特征的提取步骤包括：
[0014]所述待处理图像进入所述渐进式细化模块后，经通道分离得到精细特征和粗糙特征，所述精细特征进入所述线性变换模块，得到变换后的精细特征；所述粗糙特征进行卷积
下采样，得到多尺度深度特征；
[0015]变换后的所述精细特征和对应的所述多尺度深度特征，共同进入所述多尺度特征融合模块进行拼接融合，得到融合后的图像深度特征。
[0016]优选的，所述融合，是从尺度最小的深度特征开始，依次进行上采样并与对应的变换后的所述精细特征拼接融合，逐层向上传递，直至每个分支的特征全部拼接后进行通道混洗，输出融合后的所述图像深度特征。
[0017]优选的，所述线性变换模块的数量取决于不同尺度的精细特征的分支数量；即分支中的图像尺寸越小，使用的线性变换越多，以充分利用渐进细化模块和多尺度特征融合模块之间的时间差；对不同分支的精细特征分别进行对应的线性变换，可有效提高网络的特征映射能力；
[0018]优选的，所述图像深度特征在进行超分辨率重建之前，依次经过多个基本transformer块进行注意力计算。基于transformer块进行通道层面的注意力计算，可根据信道级的全局信息共享获得更多相关的特征图，从而减少亚像素重建图像中的不光滑现象，同时减小注意力图的大小、降低计算复杂度。
[0019]优选的，每两个所述基本transformer块之间设有非线性转换层，用于共享参数进行注意力计算，在减少计算量的同时保证每次的参数不完全一致，进而保证模型的表达能力。
[0020]优选的，所述基本transformer块进行注意力计算的过程包括：
[0021]所述图像深度特征增加通道数量后，使用通道分离计算注意力分量Q、分量K和分量V，
[0022]所述分量K转置后依次与所述分量Q和所述分量V相乘，得到经注意力计算的特征信息。
[0023]优选的，根据所述深度图像特征和所述待处理图像，得到超分辨率重建图像的过程，包括：
[0024]所述深度图像特征经亚像素卷积上采样层放大，得到深层语义特征；所述待处理图像经双线性插值上采样，得到原始结构信息，将所述深层语义特征和所述原始结构信息相加，得到所述待处理图像的超分辨率重建图像。本申请使用拼接操作代替相加操作，可减少计算量；同时，应用逐点卷积，可充分混合特征信息。
[0025]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种轻量化的超分辨率重建方法，通过结合不同的线性变化模块提高网络的特征映射能力，并使用U型特征蒸馏提取多尺度特征信息，利用深度可分离卷积和线性变换模块大幅度降低超分辨率重建网络的参数量；
[0026]另一方面，本专利技术利用轻量化的递归transformer块在通道层面上的注意力计算，可根据信道级的全局信息共享获得更多相关的特征图，从而保证已提取特征的高效利用，进而通过捕捉不同图像块之间的长距离信息弥补亚像素上采样中不同图像块之间不平滑的问题，并减小注意力图的大小、降低计算复杂度、有效保证网络的重建性能。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0028]图1为本专利技术提供的轻量化超分辨率重建网络结构示意图；
[0029]图2为本专利技术提供的深层特征转换块结构的示意图；
[0030]图3为本专利技术提供的递归transformer模块结构的示意图；
[0031]图4为本专利技术提供的轻量化超分辨率重建方法总体流程图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]本专利技术实施例提供了一种轻量化超分辨率重建方法，主要包括如下步骤：
[0034]将待处理图像输入至深度特征提取网络，得到图像深度特征；深度特征提取网络包括n个深度特征转换块，每个深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取待处理图像的多尺度特征信息，即图像深度特征；
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量化超分辨率重建方法，其特征在于，包括，将待处理图像输入至深度特征提取网络，得到图像深度特征；所述深度特征提取网络包括n个深度特征转换块，每个所述深度特征转换块包括渐进式细化模块、线性变换模块和多尺度特征融合模块，用于通过U型特征蒸馏提取所述待处理图像的图像深度特征；根据所述图像深度特征和所述待处理图像，得到超分辨率重建图像。2.根据权利要求1所述的一种轻量化超分辨率重建方法，其特征在于，所述待处理图像输入至所述深度特征提取网络前，先输入至浅层特征提取网络，提取所述待处理图像的浅层特征，然后将所述浅层特征输入至所述深度特征提取网络。3.根据权利要求2所述的一种轻量化超分辨率重建方法，其特征在于，所述浅层特征提取网络包括一层3
×
3卷积和一层1
×
1卷积。4.根据权利要求1所述的一种轻量化超分辨率重建方法，其特征在于，所述深度图像特征的提取步骤包括：所述待处理图像进入所述渐进式细化模块后，经通道分离得到精细特征和粗糙特征，所述精细特征进入所述线性变换模块，得到变换后的精细特征；所述粗糙特征进行卷积下采样，得到多尺度深度特征；变换后的所述精细特征和对应的所述多尺度深度特征，共同进入所述多尺度特征融合模块进行拼接融合，融合后得到所述图像深度特征。5.根据权利要求4所述的一种轻量化超分辨率重建方法，其特征在于，所述融合，是从尺度最小的...

【专利技术属性】
技术研发人员：周明亮，杨燕杰，蒲华燕，罗均，张太平，尚赵伟，向涛，房斌，
申请(专利权)人：重庆大学，
类型：发明
国别省市：