一种基于神经网络的图像超分辨率模型的构建方法技术

本发明专利技术为一种基于神经网络的图像超分辨率模型的构建方法。包括如下步骤：(1)准备数据集；(2)训练数据预处理；(3)构建轻量化深度学习模型DLGSANet：构建拥有动态权重生成网络的局部信息提取子模型；构建设有稀疏注意力机制的全局信息提取子模型；结合局部信息提取子模型和全局信息提取子模型组成基础模块HDTB；通过堆叠基础模块堆叠成混合动态Transformer模块组RHDTG，将提出的残差混合动态Transformer模块组RHDTG制定为端到端的深度CNN模型DLGSANet；(4)深度学习模型参数训练；(5)模型封装。本发明专利技术拥有非常小的参数量和非常少的计算量，能有效地融合局部信息和全局信息，在有限的开销下能达到非常好的图像超分辨性能。限的开销下能达到非常好的图像超分辨性能。限的开销下能达到非常好的图像超分辨性能。

【技术实现步骤摘要】
一种基于神经网络的图像超分辨率模型的构建方法


[0001]本专利技术属于图像处理领域，具体涉及一种基于神经网络的图像超分辨率模型的构建方法。

技术介绍

[0002]图像超分辨率是计算机视觉底层视觉领域非常重要的一块内容，对输入的低分辨率图像通过算法进行像素填补和完善生成拥有更多图像细节的超分辨率图像。图像超分辨率广泛地应用在诸多实际问题中，例如安防摄像头中对图片进行超分辨率操作获取更加清晰且具有细节信息的高分辨率图像，移动端中对摄影产生的图像进行超分辨率操作获取更高分辨率的图像，网络应用中通过超分辨率算法对网络传输所压缩过的低分辨率图像进行超分辨率操作获取高分辨率图像等等。
[0003]在过去的几年中，随着深度学习机器学习等发展，图像超分辨率技术也得到空前的发展，但是如何通过低分辨率图像提供的有限的信息生成更高分辨率的图片一直是一个具有挑战性的问题。传统的图像超分辨率方法通过插值方法(最近邻插值，双三次插值等)生成高分辨率图像，随着深度学习方法的引入，通过构建更深及拥有更强学习能力的卷积神经网络可以对输入的低分辨率图像通过网络生成高分辨率图像，而且所生成的高分辨率图像质量显著提升。但是卷积神经网络的学习能力受限于其固定的权重矩阵，因此，随着计算机视觉的发展，拥有动态权重的Transformer被引入到了计算机视觉中，其动态权重能很好从低分辨率图像所提供的有限信息中挖掘出更多结构信息及高频信息，能很好地恢复细节，生成更高质量的高分辨率图像。但是无论是卷积神经网络方法以及Transformer方法，都面临着需要通过大量的参数及计算量去维持生成高分辨率图像的模型性能。
[0004]同时，现有的方法几乎都只局限于局部信息或者全局信息提取，并未考虑局部信息和全局信息的融合，所以面临一定的性能瓶颈。
[0005]而且随着科技的发展，移动端等设备发展达到前所未有的体量，对轻量化高效的深度学习模型的需求越来越大，传统的高性能的图像超分辨率深度学习算法模型在模型参数量和计算量开销上不能很好地满足轻量化且高效的要求。

技术实现思路

[0006]本专利技术的目的在于提供一种基于神经网络的图像超分辨率模型的构建方法。
[0007]实现本专利技术目的的技术解决方案为：一种基于神经网络的图像超分辨率模型的构建方法，包括如下步骤：
[0008]步骤(1)：准备数据集；
[0009]步骤(2)：训练数据预处理；
[0010]步骤(3)：构建轻量化深度学习模型DLGSANet：构建拥有动态权重生成网络的局部信息提取子模型MHDLSA；构建设有稀疏注意力机制的全局信息提取子模型SparseGSA；结合局部信息提取子模型MHDLSA和全局信息提取子模型SparseGSA组成基础模块HDTB；通过堆
叠基础模块HDTB堆叠成混合动态Transformer模块组RHDTG，将提出的混合动态Transformer模块组RHDTG制定为端到端的深度CNN模型即轻量化深度学习模型DLGSANet；
[0011]步骤(4)：深度学习模型参数训练：利用步骤(2)处理好的训练数据对步骤(3)构建的深度学习模型DLGSANet进行训练；
[0012]步骤(5)：模型封装。
[0013]进一步的，步骤(1)中使用开源的数据集进行训练数据集和验证数据集，该类数据集由数据对组成，对于高分辨率图像，通过双三次插值的方法对图像进行下采样生成对应下采样尺度的低分辨率图像。
[0014]进一步的，步骤(2)中对步骤(1)中的训练数据集中的数据对进行裁切处理，将图片裁切为同样大小的子数据对，构成训练数据集。
[0015]进一步的，步骤(3)中的“构建拥有动态权重生成网络的局部信息提取子模型MHDLSA”具体为：
[0016]给定特征Y
in
∈R
H
×
W
×
C
由归一化(norm)层和一个1
×
1卷积生成，设计一个没有任何归一化层和非线性激活的挤压和激励网络SENet作为动态权重生成网络；在SENet中使用深度卷积层；
[0017]动态权重生成网络通过以下方式实现：
[0018]Y＝DConv7×7(Conv1×1(Y
in
)),Y∈R
H
×
W
×
γC
[0019][0020][0021]其中R表示实数域空间，H
×
W表示图像长宽范围，C表示通道数目，γ表示压缩因子；DConv7×7表示过滤器大小为7
×
7像素的深度卷积；Conv1×1表示滤波器大小为1
×
1像素的卷积；表示重构函数；x表示像素索引，Y
out
为生成的动态权重；每个像素都有一个相关的K
×
K动态内核用于动态卷积；
[0022]使用生成的像素级权重W，通过以下方式获得聚合特征
[0023][0024]其中表示动态卷积，对每组中的每个通道具有权重共享机制；
[0025]将改进的前馈网络应用于聚合特征
[0026][0027]其中FFN(
·
)表示FeedForward Network前馈网络；X
l
为经过前馈网络的特征。
[0028]进一步的，步骤(3)中的“构建设有稀疏注意力机制的全局信息提取子模型SparseGSA”具体为：
[0029]给定由MHDLSA模块生成的归一化特征X
l
∈R
H
×
W
×
C
，使用1
×
1卷积，然后是3
×
3深度卷积生成查询query Q∈R
H
×
W
×
C
，键key K∈R
H
×
W
×
C
，和值value V∈R
H
×
W
×
C
；
[0030]分别对查询Q、键K和值V应用重构函数，得到和
[0031]通过以下方式计算自注意力：
[0032][0033]其中ReLU表示非线性激活单元，α是可学习的参数，有估计的注意力A，生成输出聚合特征然后将前馈网络应用于以生成输出X
g
；
[0034]通过全局信息提取子模型SparseGSA，保留高分辨率图像重建有用的特征。
[0035]进一步的，步骤(3)中的“结合局部信息提取子模型MHDLSA和全局信息提取子模型SparseGSA组成基础模块HDTB；通过堆叠基础模块HDTB堆叠成混合动态Transformer模块组RHDTG，将提出的混合动态Transformer模块组RHDTG制定为端到端的深度CNN模型即轻量化深度学习模型DLGSANet”具体为：
[0036]开发包含全局信息提取子模型MHDL本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的图像超分辨率模型的构建方法，其特征在于，包括如下步骤：步骤(1)：准备数据集；步骤(2)：训练数据预处理；步骤(3)：构建轻量化深度学习模型DLGSANet：构建拥有动态权重生成网络的局部信息提取子模型MHDLSA；构建设有稀疏注意力机制的全局信息提取子模型SparseGSA；结合局部信息提取子模型MHDLSA和全局信息提取子模型SparseGSA组成基础模块HDTB；通过堆叠基础模块HDTB堆叠成混合动态Transformer模块组RHDTG，将提出的混合动态Transformer模块组RHDTG制定为端到端的深度CNN模型即轻量化深度学习模型DLGSANet；步骤(4)：深度学习模型参数训练：利用步骤(2)处理好的训练数据对步骤(3)构建的深度学习模型DLGSANet进行训练；步骤(5)：模型封装。2.根据权利要求1所述的方法，其特征在于，步骤(1)中使用开源的数据集进行训练数据集和验证数据集，该类数据集由数据对组成，对于高分辨率图像，通过双三次插值的方法对图像进行下采样生成对应下采样尺度的低分辨率图像。3.根据权利要求2所述的方法，其特征在于，步骤(2)中对步骤(1)中的训练数据集中的数据对进行裁切处理，将图片裁切为同样大小的子数据对，构成训练数据集。4.根据权利要求3所述的方法，其特征在于，步骤(3)中的“构建拥有动态权重生成网络的局部信息提取子模型MHDLSA”具体为：给定特征Y
in
∈R
H
×
W
×
C
由归一化(norm)层和一个1
×
1卷积生成，设计一个没有任何归一化层和非线性激活的挤压和激励网络SENet作为动态权重生成网络；在SENet中使用深度卷积层；动态权重生成网络通过以下方式实现：动态权重生成网络通过以下方式实现：动态权重生成网络通过以下方式实现：其中R表示实数域空间，H
×
W表示图像长宽范围，C表示通道数目，γ表示压缩因子；DConv7×7表示过滤器大小为7
×
7像素的深度卷积；Conv1×1表示滤波器大小为1
×
1像素的卷积；表示重构函数；x表示像素索引，Y
out
为生成的动态权重；每个像素都有一个相关的K
×
K动态内核用于动态卷积；使用生成的像素级权重W，通过以下方式获得聚合特征使用生成的像素级权重W，通过以下方式获得聚合特征其中表示动态卷积，对每组中的...

【专利技术属性】
技术研发人员：李翔，唐金辉，潘金山，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：