一种图像超分辨率重建方法及系统技术方案

本发明专利技术涉及一种图像超分辨率重建方法及系统，属于图像重建领域，采用跳连接技术的残差密集块构建用于图像超分辨率重建的基本网络模型，借助通道注意力机制计算输入特征的权重参数，并且构建考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异的反投影损失函数，使得本发明专利技术重建的超分辨率图像更接近于原始的高分辨率图像，具有更加精细的高频纹理细节。细的高频纹理细节。细的高频纹理细节。

【技术实现步骤摘要】
一种图像超分辨率重建方法及系统


[0001]本专利技术涉及图像重建领域，特别是涉及一种图像超分辨率重建方法及系统。

技术介绍

[0002]随着深度学习的发展，越来越多的学者开始关注使用深度神经网络解决SR(super resolution，超分辨率)问题。基于深度学习的SR算法与传统方法相比，性能显著提升。其中，SRGAN(Super Resolution Generative Adversarial Network，超分辨率生成对抗网络)、ESRGAN(Enhanced SRGAN，改进的超分辨率生成对抗网络)等算法采取感知损失作为优化目标，通过在特征空间而不是像素空间中最小化误差，提高了重建图像的视觉效果。然而，高频纹理细节信息丢失的问题并没有得到最优解决。现有的工作在SR领域取得了卓越的成绩，但在纹理细节方面尚存在些许不足，重建的图像存在高频纹理细节光滑的问题。

技术实现思路

[0003]本专利技术的目的是提供一种图像超分辨率重建方法及系统，以重建出具有更加精细的高频纹理细节的图像。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种图像超分辨率重建方法，包括：
[0006]搭建用于图像超分辨率重建的基本网络模型；所述基本网络模型包括依次连接的特征提取层、多个残差密集块、通道注意力模块和上采样层；
[0007]考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，构建反投影损失函数，并基于反投影损失函数建立基本网络模型训练时的总损失函数；
[0008]基于所述总损失函数，对所述基本网络模型进行训练，获得图像超分辨率重建网络模型；
[0009]将待重建的低分辨率图像输入所述图像超分辨率重建网络模型，输出超分辨率图像。
[0010]可选的，所述考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，构建反投影损失函数，并基于反投影损失函数建立基本网络模型训练时的总损失函数，具体包括：
[0011]基于平均绝对误差距离定义一个像素级别的内容损失函数为l1＝E||I
SR
‑
I
HR
||1；其中，l1表示内容损失，E表示期望，I
HR
表示真实的高分辨率图像，I
SR
表示超分辨率图像；
[0012]考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，定义反投影损失函数为l
BP
＝E||σ(I
SR
)
‑
σ(I
HR
)||1；其中，l
BP
表示反投影损失，σ(I
SR
)表示超分辨率图像到低分辨率图像的投影函数，σ(I
HR
)表示真实的高分辨率图像到低分辨率图像的投影函数；
[0013]根据所述内容损失函数和所述反投影损失函数，构建总损失函数为l
total
＝l
BP
+l
per
+λl1+ηl
GAN
；其中，l
total
表示总损失，l
per
表示基于VGG网络定义的感知损失，l
GAN
表示生成
器与判别器的对抗损失，λ、η分别表示第一、第二平衡系数。
[0014]可选的，所述残差密集块采取残差缩放技术，残差缩放系数β＝0.2；
[0015]残差密集块的数量为23。
[0016]可选的，所述将待重建的低分辨率图像输入所述图像超分辨率重建网络模型，输出超分辨率图像，具体包括：
[0017]利用公式对待重建的低分辨率图像进行特征提取；其中，表示提取的特征，f3×3表示卷积核大小为3
×
3的卷积运算，I
LR
表示待重建的低分辨率图像；
[0018]将提取的特征经过多个残差密集块进行特征映射，并利用公式得到高级语义特征；其中，表示经过第i+1个残差密集块后的高级语义特征，表示经过第i个残差密集块后的高级语义特征，g(
·
)表示Dense Block的内部运算函数，β表示残差缩放系数，λ表示经过第i+1个残差密集块内部的第二个Dense Block后得到的特征，μ表示经过第i+1个残差密集块内部的第一个Dense Block后得到的特征，
[0019]根据高级语义特征，利用通道注意力计算函数获得经过通道注意力模块后的特征；其中，表示经过通道注意力模块后的特征，CA()表示通道注意力计算函数，表示经过23个残差密集块后的高级语义特征；
[0020]根据经过通道注意力模块后的特征，利用上采样运算输出超分辨率图像；其中，I
SR
表示超分辨率图像，Sam表示上采样运算。
[0021]一种图像超分辨率重建系统，包括：
[0022]基本网络模型搭建模块，用于搭建用于图像超分辨率重建的基本网络模型；所述基本网络模型包括依次连接的特征提取层、多个残差密集块、通道注意力模块和上采样层；
[0023]反投影损失函数构建模块，用于考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，构建反投影损失函数，并基于反投影损失函数建立基本网络模型训练时的总损失函数；
[0024]训练模块，用于基于所述总损失函数，对所述基本网络模型进行训练，获得图像超分辨率重建网络模型；
[0025]超分辨率图像输出模块，用于将待重建的低分辨率图像输入所述图像超分辨率重建网络模型，输出超分辨率图像。
[0026]可选的，所述反投影损失函数构建模块，具体包括：
[0027]内容损失函数定义子模块，用于基于平均绝对误差距离定义一个像素级别的内容损失函数为l1＝E||I
SR
‑
I
HR
||1；其中，l1表示内容损失，E表示期望，I
HR
表示真实的高分辨率图像，I
SR
表示超分辨率图像；
[0028]反投影损失函数建立子模块，用于考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，定义反投影损失函数为l
BP
＝E||σ(I
SR
)
‑
σ(I
HR
)||1；其中，l
BP
表示反投影损失，σ(I
SR
)表示超分辨率图像到低分辨率图像的投影函数，σ(I
HR
)表示真实的高分辨率图像到低分辨率图像的投影函数；
[0029]总损失函数构建子模块，用于根据所述内容损失函数和所述反投影损失函数，构建总损失函数为l
total
＝l
BP
+l
per
+λl1+ηl
GAN
；其中，l
total
表示总损失，l
per
表示基于V本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：搭建用于图像超分辨率重建的基本网络模型；所述基本网络模型包括依次连接的特征提取层、多个残差密集块、通道注意力模块和上采样层；考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，构建反投影损失函数，并基于反投影损失函数建立基本网络模型训练时的总损失函数；基于所述总损失函数，对所述基本网络模型进行训练，获得图像超分辨率重建网络模型；将待重建的低分辨率图像输入所述图像超分辨率重建网络模型，输出超分辨率图像。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，构建反投影损失函数，并基于反投影损失函数建立基本网络模型训练时的总损失函数，具体包括：基于平均绝对误差距离定义一个像素级别的内容损失函数为l1＝E||I
SR
‑
I
HR
||1；其中，l1表示内容损失，E表示期望，I
HR
表示真实的高分辨率图像，I
SR
表示超分辨率图像；考虑超分辨率图像投影的低分辨率图像与输入的低分辨率图像间的感知差异，定义反投影损失函数为l
BP
＝E||σ(I
SR
)
‑
σ(I
HR
)||1；其中，l
BP
表示反投影损失，σ(I
SR
)表示超分辨率图像到低分辨率图像的投影函数，σ(I
HR
)表示真实的高分辨率图像到低分辨率图像的投影函数；根据所述内容损失函数和所述反投影损失函数，构建总损失函数为l
total
＝l
BP
+l
per
+λl1+ηl
GAN
；其中，l
total
表示总损失，l
per
表示基于VGG网络定义的感知损失，l
GAN
表示生成器与判别器的对抗损失，λ、η分别表示第一、第二平衡系数。3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述残差密集块采取残差缩放技术，残差缩放系数β＝0.2；残差密集块的数量为23。4.根据权利要求3所述的图像超分辨率重建方法，其特征在于，所述将待重建的低分辨率图像输入所述图像超分辨率重建网络模型，输出超分辨率图像，具体包括：利用公式对待重建的低分辨率图像进行特征提取；其中，表示提取的特征，f3×3表示卷积核大小为3
×
3的卷积运算，I
LR
表示待重建的低分辨率图像；将提取的特征经过多个残差密集块进行特征映射，并利用公式得到高级语义特征；其中，表示经过第i+1个残差密集块后的高级语义特征，表示经过第i个残差密集块后的高级语义特征，g(
·
)表示Dense Block的内部运算函数，β表示残差缩放系数，λ表示经过第i+1个残差密集块内部的第二个Dense Block后得到的特征，μ表示经过第i+1个残差密集块内部的第一个Dense Block后得到的特征，根据高级语义特征，利用通道注意力计算函数获得经过通道注意力模块后的特征；其中，表示经过通道注意力模块后的特征，CA()表示通道注意力计算函数，表示经过23个残差密集块后的高级语义特征；
根据经过通道注意力模块后的特征，利用上采样运算输出超分辨率图像；其中，I
SR
表示超分辨率图像，Sam表示上采样运算。5.一种图像超分辨率重建系统，其特征在于，包括：基本网络模...

【专利技术属性】
技术研发人员：李敏，时帅兵，苟瑶，蔡伟，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：