一种基于元迁移的残差通道注意力水下图像超分辨率方法技术

本发明专利技术涉及图像处理和深度学习领域，提出了一种基于元迁移的残差通道注意力水下图像超分辨率方法。本发明专利技术通过引入元迁移学习方法，基于残差通道注意力图像超分辨率网络进行了预训练，增加了网络的性能，提高了网络收敛速度，使得网络适应新任务的能力获得了提升。使得网络适应新任务的能力获得了提升。使得网络适应新任务的能力获得了提升。

【技术实现步骤摘要】
一种基于元迁移的残差通道注意力水下图像超分辨率方法


[0001]本专利技术涉及图像处理和深度学习领域，更具体的说，本专利技术面向水下图像的超分辨率重建任务。

技术介绍

[0002]随着海洋资源的不断开采，水下机器人技术也随之不断发展。水下机器人被广泛应用于海洋资源探索等方面，水下退化图像的增强和复原技术由于其对于海洋探索开发利用的重要意义而备受关注。海洋环境复杂度多样，多重不利因素如光在水中传输时又会受到水的吸收、反射和散射等影响而发生严重的衰减,采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调以及噪声等问题。

技术实现思路

[0003]本专利技术的目的在于提出一种新的高效的针对水下图像超分辨率重建模型。
[0004]一种基于元迁移的残差通道注意力水下图像超分辨率方法,包括以下步骤：
[0005]S1、建立模型框架：本专利技术提出一种基于元迁移的残差通道注意力水下图像超分辨率方法，网络主要由4个模块组成，分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块以及图像重建模块；浅层特征提取模块使用了一个卷积层从输入的LR图像中提取浅层特征F0:
[0006]F0＝H
SF
(I
LR
),
[0007]其中，H
SF
为卷积运算，F0作为后续双重残差模块的深度特征提取中的输入。
[0008]深度特征提取使用包含多个残差组的双重残差(RIR)模块：
[0009]F
DF
＝H
RIR
(F0),
[0010]双重残差结构包含G个残差组和一个长跳跃连接，每一个残差组具有B个包含段跳跃连接的残差通道注意模块；残差组表示如下：
[0011]F
g
＝H
g
(F
g
‑1)＝H
g
(H
g
‑1(
…
H1(F0)
…
)),
[0012]其中，H
g
表示为第g个残差块，F
g
‑1和F
g
为H
g
的输入和输出。长跳跃连接：
[0013]F
DF
＝F0+W
LSC
F
g
＝F0+W
LSC
H
g
(H
g
‑1(
…
H1(F0)
…
)),
[0014]其中，W
LSC
为与最后一个双重残差模块连接的卷积层权重。
[0015]在每个残差块中有着多个残差信道注意块；第g个残差块中的第b个残差通道注意力块表示为：
[0016]F
g,b
＝H
g,b
(F
g,b
‑1)＝H
g,b
(H
g,b
‑1(
…
H
g,1
(F
g
‑1)
…
),
[0017]其中，F
g,b
‑1和F
g,b
分别表示为第g个残差块中的第b个残差通道注意力块的输入和输出。残差通道注意力块使用短跳跃连接：
[0018]F
g
＝F
g
‑1+W
g
F
g,B
＝F
g
‑1+W
g
H
g,B
(H
g,B
‑1(
…
H
g,1
(F
g
‑1)
…
)),
[0019]其中，W
g
为第g个残差块的尾部卷积层权重；最后将提取到的特征经过图像上采样模块以及图像重建模块获得最终的超分辨率图像。
[0020]S2、添加元迁移学习预训练模块：对需要训练的成对的图像训练数据集，将其经过双三次下采样的低分辨率图像(LR)和原始图像(高分辨率图像，HR)两两配对；这里将成对的数据集称为D；使用L1损失函数来优化双三次下采样退化模型，优化的目标是使得L1损失最小化：
[0021][0022]接下来合成用于元迁移学习的图像数据集D
m
，由成对的高分辨率图像和低分辨率图像构成对，其中低分辨率图像的退化由不同种模糊核决定，使用了各向同性和各向异性的高斯核；模糊核分布方面，使用一个协方差矩阵∑决定，
[0023][0024]其中λ1和λ2均为随机特征值，定义为λ1～U(1,2.5s),λ2～U(1,λ1)，s为缩放因子。
[0025]针对参数θ的新任务T
i
的适应是一个或多个梯度下降更新。对于一个梯度更新，新的适应参数θ
i
是通过在任务T
i
上执行梯度下降来计算得到的：
[0026][0027]其中α为任务的学习率。训练中的优化目标为
[0028][0029]对于随机梯度下降，参数更新可以表示为：
[0030][0031]其中β为元学习率。
[0032]相对于现有技术，本专利技术所述的一种基于元迁移的残差通道注意力水下图像超分辨率方法具有以下优点：
[0033]本专利技术所述的一种基于元迁移的残差通道注意力水下图像超分辨率方法，通过引入了元迁移学习预训练方法，使得网络收敛加快，能够快速适应新的图像超分辨率重建任务。
附图说明
[0034]图1为本专利技术所述的一种基于元迁移的残差通道注意力水下图像超分辨率方法实现逻辑图。
具体实施方式
[0035]如图1所示，一种基于元迁移的残差通道注意力水下图像超分辨率方法具有如下步骤：
[0036]S1、建立模型框架：本专利技术提出一种基于元迁移的残差通道注意力水下图像超分辨率方法，网络主要由4个模块组成，分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块以及图像重建模块；浅层特征提取模块使用了一个卷积层从输入的LR图像中提取浅层特征F0:
[0037]F0＝H
SF
(I
LR
),
[0038]其中，H
SF
为卷积运算，F0作为后续双重残差模块的深度特征提取中的输入；
[0039]深度特征提取使用包含多个残差组的双重残差(RIR)模块：
[0040]F
DF
＝H
RIR
(F0),
[0041]双重残差结构包含G个残差组和一个长跳跃连接，每一个残差组具有B个包含段跳跃连接的残差通道注意模块；残差组表示如下：
[0042]F
g
＝H
g
(F
g
‑1)＝H
g
(h
g
‑1(
...

【技术保护点】

【技术特征摘要】
1.一种基于元迁移的残差通道注意力水下图像超分辨率方法，其特征在于，具体实现步骤如下：S1、建立模型框架：本发明提出一种基于元迁移的残差通道注意力水下图像超分辨率方法，网络主要由4个模块组成，分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块以及图像重建模块；浅层特征提取模块使用了一个卷积层从输入的LR图像中提取浅层特征F0：F0＝H
SF
(I
LR
)，其中，H
SF
为卷积运算，F0作为后续双重残差模块的深度特征提取中的输入；深度特征提取使用包含多个残差组的双重残差(RIR)模块：F
DF
＝H
RIR
(F0)，双重残差结构包含G个残差组和一个长跳跃连接，每一个残差组具有B个包含段跳跃连接的残差通道注意模块；残差组表示如下：F
g
＝H
g
(F
g
‑1)＝H
g
(H
g
‑1(
…
H1(F0)
…
))，其中，H
g
表示为第g个残差块，F
g
‑1和F
g
为H
g
的输入和输出；长跳跃连接：F
DF
＝F0+W
LsC
F
g
＝F0+W
LsC
H
g
(H
g
‑1(
…
H1(F0)
…
))，其中，W
LSC
为与最后一个双重残差模块连接的卷积层权重；在每个残差块中有着多个残差信道注意块；第g个残差块中的第b个残差通道注意力块表示为：F
g，b
＝H
g，b
(F
g，b
‑1)＝H
g，b
(H
g，b
‑1(
…
H
...

【专利技术属性】
技术研发人员：罗笑南，鲁家豪，
申请(专利权)人：桂林慧谷人工智能产业技术研究院，
类型：发明
国别省市：