基于CRCSAN网络的图像重建系统及方法技术方案

本发明专利技术涉及图像超分辨率重建技术领域，具体涉及基于交叉残差信道

【技术实现步骤摘要】
基于CRCSAN网络的图像重建系统及方法


[0001]本专利技术涉及图像超分辨率重建
，具体涉及一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统及方法。

技术介绍

[0002]单图像超分辨率重建表示对低分辨率图像进行相应尺度上采样，得到高分辨率图像。
[0003]单幅图像超分辨率重建是一个严重的病态问题，因为对单幅低分辨率图像在分辨率增加的过程中可能会存在多个不同的高分辨率图像与之对应，换句话说，会存在有多个解。因此，为了解决上述问题，大量的基于卷积神经网络的单幅图像超分辨率重建方法被提了出来。然而在现存的基于卷积神经网络的单幅图像超分辨率重建方法中，绝大多数方法都忽略了图像中不同成分之间特征的差异性，而是平等地对待图像中不同成分的特征，导致网络缺乏区别学习的能力，阻碍了卷积神经网络性能的提升。因此现存的基于卷积神经网络的单幅图像超分辨率方法的性能仍具有较大的提升空间。

技术实现思路

[0004]为了解决上述问题，本专利技术提出了一种交叉残差信道-空间注意力CRCSAN网络的图像重建系统及方法用于单幅图像超分辨率重建。
[0005]一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，包括：浅层特征提取模块、深度特征提取模块、上采样模块和重构模块，所述深层特征提取模块包括分频模块和交叉残差组。浅层特征提取模块中包括一个卷积层，用于提取低分辨率输入图像的浅层特征。
[0006]深度特征提取模块中包括G个分频模块和G个交叉残差组，分频模块和交叉残差组交错级联，深度特征提取模块用于对浅层特征模块的输出的浅层特征进行深层特征提取，输出深层特征。分频模块用于将图像特征分为高频信息和低频信息，所述分频模块包括卷积层和反卷积层，反卷积层用于上采样，将上采样的输出结果视为低频信息；卷积层用于下采样，将上采样的输入F
g-1
与下采样的输出DOWN
g
相减的结果F
FSM,g
视为高频信息。所述交叉残差组包括B个残差通道-空间注意力模块，所述残差通道-空间注意力模块用于自适应的调整通道和空间维度上的像素特征；残差通道-空间注意力模块中包括通道注意力机制模块和空间注意力机制模块，通道注意力机制模块和空间注意力机制模块并联集成设置在残差块中，用于学习通道维度和空间维度上更具有丰富信息的特征，过滤掉冗余信息的特征。
[0007]上采样模块中包括亚像素卷积层，上采样模块用于对输入的深层特征进行上采样；
[0008]重构模块中包括亚像素卷积层，用于对经过上采样后的特征进行特征重构，输出高分辨率图像。
[0009]进一步的，深度特征提取模块中包括低频信息融合模块和高频信息融合模块，所
述低频信息融合模块包括第一连接模块和第一卷积模块；所述高频信息融合模块包括第二连接模块和第二卷积模块；所述第一连接模块用于拼接图像特征的低频信息；所述第二连接模块用于拼接图像特征的高频信息；所述第一卷积模块与所述第一连接模块连接，所述第一卷积模块用于压缩拼接的低频特征图的通道数量，增强图像低频信息的特征；所述第二卷积模块与所述第二连接模块连接，所述第二连接模块用于压缩拼接的高频特征图的通道数量，增强图像高频信息的特征。
[0010]进一步的，所述分频模块采用一个n
×
n反卷积进行上采样，采用一个n
×
n的卷积进行下采样，上采样的输出结果UP
g
视为低频信息，被直接传到低频信息融合模块；上采样的输入F
g-1
与下采样的输出DOWN
g
相减的结果F
FSM,g
视为高频信息，作为第g个交叉残差组的输入进行深层学习，交叉残差组的输出输入高频信息融合模块中进行融合。
[0011]进一步的，所述交叉残差组中还包括两个3
×
3的卷积层，所述卷积层用于对每一个残差通道-空间注意力模块的输出进行交叉连接，使得浅层特征被无损传输到深层模块中。
[0012]进一步的，去除残差块中的批量归一化层，用于减少参数。
[0013]一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，包括以下步骤：
[0014]S1、将低分辨率图像输入到浅层特征模块中进行浅层特征提取，得到图像的浅层特征；在浅层特征模块中使用一个卷积层提取低分辨率图像的浅层特征，表达式如下：
[0015]F0＝H
FM
(I
LR
)
[0016]其中，F0表示低分辨率图像的浅层特征，H
FM
代表浅层特征提取模块，也即是一个卷积层的卷积操作；I
LR
作为低分辨率的输入图像；
[0017]S2、将浅层特征F0输入到深度特征提取模块进行深度特征提取，得到图像的深层特征，深度特征提取表达式如下：
[0018]F
DF
＝H
FDRL
(F0)
[0019]其中，F
DF
表示图像的深层特征，H
FDRL
表示深层特征提取模块；
[0020]S3、将学习到的深层特征F
DF
输入上采样模块，上采样模块中进行亚像素卷积处理，得到经过上采样后的特征：
[0021]F
UP
＝H
UP
(F
DF
)
[0022]其中，H
UP
表示上采样模块的上采样操作，这里使用的上采样操作是亚像素卷积，F
UP
是经过上采样之后得到的特征；
[0023]S4、将经过上采样后的特征F
UP
输入到重构层，重构层利用亚像素卷积进行处理，生成最终的超分辨率图像：
[0024]I
SR
＝H
R
(F
UP
)＝H
CRCSAN
(I
LR
)
[0025]其中，I
SR
表示最终重建的高分辨率图像，H
R
表示重建层的卷积操作函数，H
CRCSAN
表示本专利技术提出的交叉残差信道-空间注意力CRCSAN网络的处理函数；
[0026]S5、使用损失函数对CRCSAN网络进行优化，包括：先输入N个低分辨率图像，重建N个超分辨率图像之后，然后计算这N个输出的超分辨率图像块和真实的高分辨率图像块的绝对平均误差，并采用反向传播策略和随机梯度下降算法对CRCSAN网络的参数Θ进行优化，最终得到训练好的CRCSAN。
[0027]进一步的，使用的损失函数是平均绝对误差MAE，损失函数L(Θ)的表达式如下：
[0028][0029]其中，Θ表示本专利技术提出的网络的参数，I
SR
表示经过CRCSAN网络重建的超分辨率图像，I
HR
表示真实的高分辨率图像，表示给定含有N个低分辨率和真实的高分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，包括：浅层特征提取模块、深度特征提取模块、上采样模块和重构模块，其特征在于，所述深层特征提取模块包括分频模块和交叉残差组；浅层特征提取模块中包括一个卷积层，用于提取低分辨率输入图像的浅层特征；深度特征提取模块中包括G个分频模块和G个交叉残差组，分频模块和交叉残差组交错级联，深度特征提取模块用于对浅层特征模块的输出的浅层特征进行深层特征提取，输出深层特征；分频模块用于将图像特征分为高频信息和低频信息，所述分频模块包括卷积层和反卷积层，反卷积层用于上采样，将上采样的输出结果视为低频信息；卷积层用于下采样，将上采样的输入F
g-1
与下采样的输出DOWN
g
相减的结果F
FSM,g
视为高频信息；所述交叉残差组包括B个残差通道-空间注意力模块，所述残差通道-空间注意力模块用于自适应的调整通道和空间维度上的像素特征；残差通道-空间注意力模块中包括通道注意力机制模块和空间注意力机制模块，通道注意力机制模块和空间注意力机制模块并联集成设置在残差块中，用于学习通道维度和空间维度上更具有丰富信息的特征，过滤掉冗余信息的特征；上采样模块中包括亚像素卷积层，上采样模块用于对输入的深层特征进行上采样；重构模块中包括亚像素卷积层，用于对经过上采样后的特征进行特征重构，输出高分辨率图像。2.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，深度特征提取模块中包括低频信息融合模块和高频信息融合模块，所述低频信息融合模块包括第一连接模块和第一卷积模块；所述高频信息融合模块包括第二连接模块和第二卷积模块；所述第一连接模块用于拼接图像特征的低频信息；所述第二连接模块用于拼接图像特征的高频信息；所述第一卷积模块与所述第一连接模块连接，所述第一卷积模块用于压缩拼接的低频特征图的通道数量，增强图像低频信息的特征；所述第二卷积模块与所述第二连接模块连接，所述第二连接模块用于压缩拼接的高频特征图的通道数量，增强图像高频信息的特征。3.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，所述分频模块采用一个n
×
n反卷积进行上采样，采用一个n
×
n的卷积进行下采样，上采样的输出结果UP
g
视为低频信息，被直接传到低频信息融合模块；上采样的输入F
g-1
与下采样的输出DOWN
g
相减的结果F
FSM,g
视为高频信息，作为第g个交叉残差组的输入进行深层学习。4.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，所述交叉残差组中还包括两个3
×
3的卷积层，所述卷积层用于对每一个残差通道-空间注意力模块的输出进行交叉连接，使得浅层特征被无损传输到深层模块中。5.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统，其特征在于，去除残差块中的批量归一化层，用于减少参数。6.一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法，其特征在于，包括以下步骤：S1、将低分辨率图像输入到浅层特征模块中进行浅层特征提取，得到图像的浅层特征；
在浅层特征模块中使用一个卷积层提取低分辨率图像的浅层特征，表达式如下：F0＝H
FM
(I
LR
)其中，F0表示低分辨率图像的浅层特征，H
FM
代表浅层特征提取模块，也即是一个卷积层的卷积操作；I
LR
作为低分辨率的输入图像；S2、将浅层特征F0输入到深度特征提取模块进行深度特征提取，得到图像的深层特征，深度特征提取表达式如下：F
DF
＝H
FDRL
(F0)其中，F
DF
表示图像的深层特征，H
FDRL
表示深层特征提取模块；S3、将学习到的深层特征F
DF
输入上采样模块，上采样模块中进行亚像素卷积处理，得到经过上采样后的特征：F
UP
＝H
UP
(F
DF
)其中，H
UP
表示上采样模块的上采样操作，这里使用的上采样操作是亚像素卷积，F
UP
是经过上采样之后得到的特征；S4、将经过上采样后的特征F
U...

【专利技术属性】
技术研发人员：唐述，杨书丽，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：