一种基于轻量型IRN的图像超分辨率重建方法技术

本发明专利技术属于图像处理技术领域，具体地涉及一种基于轻量型IRN的图像超分辨率重建方法。包括以下步骤：步骤1：选取训练集；步骤2：构建轻量型IRN网络；步骤3：将训练集中的高分辨率图像作为输入数据，对步骤2构建的IRN网络进行训练；步骤4：利用步骤3训练好的IRN网络进行图像的超分辨率重建，逆向输出得到超分辨率图像。用小波域高频子带插值改进模型的潜在变量，能保存并处理LR图像边缘值，增强嵌入高频信息能力。用注意力机制和扩展卷积设计特征提取块，降低模型的参数量并且提高训练时对图像细节的注意力。细节的注意力。细节的注意力。

【技术实现步骤摘要】
一种基于轻量型IRN的图像超分辨率重建方法


[0001]本专利技术属于图像处理
，具体地涉及一种基于轻量型IRN 的图像超分辨率重建方法。

技术介绍

[0002]单幅图像超分辨率重建(SISR)是对缩小的单幅低分辨率(LR)图 像获取放大或者原尺寸的高分辨率(HR)图像。由于LR图像缺失许多 图像细节，在重建超分辨率(SR)图像时产生不适定性。因此改善不 适定性问题是SISR的研究重点及挑战。
[0003]2014年，Dong等人首次应用卷积神经网络在图像超分辨率任务 上，提出SRCNN算法，该算法通过对图像块特征提取、非线性映射 和重构三步骤重建图像，奠定了卷积神经网络应用于图像超分辨率 的基础。
[0004]自SRCNN提出后，很多学者聚焦基于深度学习的超分辨率任 务，不断提出新的优化算法提高重建图像性能。肖进胜等人调整卷 积核大小和加入池化层改进SRCNN算法，降低了算法的参数量和计 算复杂度。龚兰兰等人在SRCNN的基础上，增加特征提取层数，采 用AdaDelta和SGD方法优化网络参数，加快了模型的训练速度。Kim 等人先后引入残差结构和递归神经网络，分别提出了VDSR和DRCN算 法，进一步加深了网络结构，扩展网络感受野，缓解深层网络梯度 消失或爆炸问题。受到生成对抗网络的启发，Ledig等人在超分辨率 重建问题引入生成对抗网络提出了SRGAN，提出损失函数对抗损失和 内容损失，得到重建纹理更逼真的重建图像。受可逆网络的启发， Xiao等人提出IRN算法，该算法统一建模图像缩小和放大任务，捕 捉并嵌入丢失的高频信息，兼容了图像降尺度操作，获取重建视觉 质量好的图像。
[0005]但是，在实验中发现IRN模型的潜在变量无法保存LR图像的高 频信息，导致嵌入的高频信息效果一般，影响模型重建SR图像的性 能。
[0006]经本文对IRN模型的组件研究，从两个部分改进IRN，首先，用 小波域高频子带插值改进模型的潜在变量，能保存并处理LR图像边 缘值，增强嵌入高频信息能力。其次，本文使用注意力机制和扩展 卷积设计特征提取块，降低模型的参数量并且提高训练时对图像细 节的注意力。

技术实现思路

[0007]本专利技术的目的是针对目前IRN模型的潜在变量无法保存LR图像 的高频信息，导致嵌入的高频信息效果一般，影响模型重建SR图像 的性能的问题，提供一种基于轻量型IRN的图像超分辨率重建方法， 从两个部分改进IRN，首先，用小波域高频子带插值改进模型的潜在 变量，能保存并处理LR图像边缘值，增强嵌入高频信息能力。其次， 本专利技术使用注意力机制和扩展卷积设计特征提取块，降低模型的参数 量并且提高了训练时对图像细节的注意力。
[0008]为了实现上述目的，本专利技术所采用的技术方案如下：
[0009]一种基于轻量型IRN的图像超分辨率重建方法，包括以下步骤：
[0010]步骤1：选取训练集；
[0011]步骤2：构建轻量型IRN网络；
[0012]步骤3：将训练集中的高分辨率图像作为输入数据，对步骤2构 建的IRN网络进行训练；
[0013]步骤4：利用步骤3训练好的IRN网络进行图像的超分辨率重建。
[0014]优选地，所述步骤1中，选取训练集的具体操作为：使用DIV2K 数据集作训练集，DIV2K数据集一共有800张高分辨率图像和对应 的双三次插值采样的低分辨率图像，对DIV2K训练集图像进行随机 平移、翻转、裁剪操作，扩充训练集至32593张，并且统一为480
×
480 像素的图像，作为最终的训练集，训练集中的高分辨率图像样本 {P
h1
,P
h2
,
…
P
hi
,
…
,P
hn
}作为网络的前向过程输入数据，将低分辨率图 像样本{P
l1
,P
l2
,
…
P
li
,
…
,P
ln
}作为网络计算前向误差函数的数据。
[0015]优选地，所述步骤2构建IRN网络的具体操包括：
[0016]步骤2.1：一个小波变换和8个相同的可逆构建块堆叠组成一个 降尺度模块；
[0017]步骤2.2：步骤2.1中的两个降尺度模块组成轻量型IRN网络， 训练集中的高分辨率图像样本{P
h1
,P
h2
,
…
P
hi
,
…
P
hn
}作为第一个降尺 度模块的输入，第一个降尺度模块输出的降尺度低分辨率特征图像集 作为第二个降尺度模块的输入，第二个降尺度模块输出低分辨率图像 集{Y
o1
,Y
o2
,
…
,Y
on
}。
[0018]优选地，所述步骤2.1的具体操作包括：
[0019]步骤2.1.1：小波变换作为降尺度模块第一层，将训练集的高分 辨率图像样本P
hi
进行分解：
[0020][0021]其中，LL：低频分量，HH：水平低频垂直高频分量，HL：水平 高频垂直低频HL，HH：对角方向高频分量；H和G分别为一维尺 度函数和一维小波函数对应的滤波器系数矩阵，且HH*+GG*＝I，上 标符号*表示矩阵的共轭转置，将分量LL、LH、HL、HH按公式(2) 拼接成一个张量X：
[0022]X＝F
cat
((LL,LH,HL,HH),1)
ꢀꢀ
(2)
[0023]其中，F
cat
表示拼接函数，函数中的1代表在1维进行拼接；
[0024]步骤2.1.2：将张量X输入第一个可逆构建块，可逆构建块的操 作公式由(3)和(4)表示：
[0025][0026][0027]其中，公式(3)是可逆构建块的前向计算过程，公式(4)是可逆构 建块的逆向计算过程；k1和k2代表可逆构建块内部耦合计算公式，K 表示可逆构建块输出，exp代表以自然常数e为底的指数函数，X[:,:3] 表示张量X的前3维数据，X[:,3:]表示张量X的后3维数据，
⊙
表示 张量间的乘，表示张量间的除，Φ、η表示特征提取网络，且Φ、 η是相同的；
[0028]步骤2.1.3：将第一个可逆构建块的输出作为第二个构建块的输 入，依此类推，堆叠8个可逆构建块，进而组成一个降尺度模块。
[0029]优选地，所述步骤2.1.2的特征提取网络具体操作包括：
[0030]步骤2.1.2.1：将输入的张量X经过3个密集连接的卷积层，密集 连接的每一层都接受前面所有层的特征作为输入，卷积层的操作由公 式(5)和(6)表示：
[0031]F1＝σ(W
c(1)
*X+b1)
ꢀꢀ
(5)
[0032]F
i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量型IRN的图像超分辨率重建方法，其特征在于：包括以下步骤：步骤1：选取训练集；步骤2：构建轻量型IRN网络；步骤3：将训练集中的高分辨率图像作为输入数据，对步骤2构建的IRN网络进行训练；步骤4：利用步骤3训练好的IRN网络进行图像的超分辨率重建。2.根据权利要求1所述的一种基于轻量型IRN的图像超分辨率重建方法，其特征在于：所述步骤1中，选取训练集的具体操作为：使用DIV2K数据集作训练集，DIV2K数据集一共有800张高分辨率图像和对应的双三次插值采样的低分辨率图像，对DIV2K训练集图像进行随机平移、翻转、裁剪操作，扩充训练集至32593张，并且统一为480
×
480像素的图像，作为最终的训练集，训练集中的高分辨率图像样本{P
h1
,P
h2
,
…
P
hi
,
…
,P
hn
}作为网络的前向过程输入数据，将低分辨率图像样本{P
l1
,P
l2
,
…
P
li
,
…
,P
ln
}作为网络计算前向误差函数的数据。3.根据权利要求2所述的一种基于轻量型IRN的图像超分辨率重建方法，其特征在于：所述步骤2构建IRN网络的具体操包括：步骤2.1：一个小波变换和8个相同的可逆构建块堆叠组成一个降尺度模块；步骤2.2：步骤2.1中的两个降尺度模块组成轻量型IRN网络，训练集中的高分辨率图像样本{P
h1
,P
h2
,
…
P
hi
,
…
P
hn
}作为第一个降尺度模块的输入，第一个降尺度模块输出的降尺度低分辨率特征图像集作为第二个降尺度模块的输入，第二个降尺度模块输出低分辨率图像集{Y
o1
,Y
o2
,
…
,Y
on
}。4.根据权利要求3所述的一种基于轻量型IRN网络的图像超分辨率重建方法，其特征在于：所述步骤2.1的具体操作包括：步骤2.1.1：小波变换作为降尺度模块第一层，将训练集的高分辨率图像样本P
hi
进行分解：其中，LL：低频分量，HH：水平低频垂直高频分量，HL：水平高频垂直低频HL，HH：对角方向高频分量；H和G分别为一维尺度函数和一维小波函数对应的滤波器系数矩阵，且HH*+GG*＝I，上标符号*表示矩阵的共轭转置，将分量LL、LH、HL、HH按公式(2)拼接成一个张量X：X＝F
cat
((LL,LH,HL,HH),1)
ꢀꢀ
(2)其中，F
cat
表示拼接函数，函数中的1代表在1维进行拼接；步骤2.1.2：将张量X输入第一个可逆构建块，可逆构建块的操作公式由(3)和(4)表示：
其中，公式(3)是可逆构建块的前向计算过程，公式(4)是可逆构建块的逆向计算过程；k1和k2代表可逆构建块内部耦合计算公式，K表示可逆构建块输出，exp代表以自然常数e为底的指数函数，X[:,:3]表示张量X的前3维数据，X[:,3:]表示张量X的后3维数据，
⊙
表示张量间的乘，表示张量间的除，Φ、η表示特征提取网络，且Φ、η是相同的；步骤2.1.3：将第一个可逆构建块的输出作为第二个构建块的输入，依此类推，堆叠8个可逆构建块，进而组成一个降尺度模块。5.根据权利要求4所述的一种基于轻量型IRN网络的图像超分辨率重建方法，其特征在于：所述步骤2.1.2的特征提取网络具体操作包括：步骤2.1.2.1：将输入的张量X经过3个密集连接的卷积层，密集连接的每一层都接受前面所有层的特征作为输入，卷积层的操作由公式(5)和(6)表示：F1＝σ(W
c(1)
*X+b1)
ꢀꢀ
(5)F
i
＝σ(W
c(i)
*F
i
‑1+b
i
)
ꢀꢀ
(6)F1表示第一个卷积层的输出，F
i
表示第i个卷积层的输出，F
i
‑1表示第i
‑
1个卷积层的输出，上一层的输出作为下一层的输入，W
c(1)
代表第一个卷积层的权重，W
c(i)
代表第i个卷积层的权重，卷积权重对应的是一个数...

【专利技术属性】
技术研发人员：莫太平，陈德鸿，张向文，伍锡如，位政贤，党选举，黄品高，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：