基于深度学习的大视场天文图像复原和超分辨率重建方法技术

本发明专利技术属于图像处理领域，具体为一种基于深度学习的大视场天文图像复原和超分辨率重建方法，该方法包括

【技术实现步骤摘要】
基于深度学习的大视场天文图像复原和超分辨率重建方法


[0001]本专利技术属于图像处理领域，尤其涉及图像的复原与重建，具体为一种基于深度学习的大视场天文图像复原和超分辨率重建方法
。

技术介绍

[0002]近几十年，通过国内外大量专家的介入研究，图像的复原与超分辨率重建技术取得了巨大的进步，特别是随着深度卷积神经网络的兴起，各种基于卷积神经网络的框架被提出，经检索发现专利号为：
CN116523759A
的专利文件公开了一种基于频率分解与重启机制的图像超分辨率重建方法，该方法包括提取低分辨率图像的浅层特征，将浅层特征动态的分解为不同的频率分量，将所有频率分量分别利用同一尺度内的自注意力和不同尺度间的交互进行更新和再分配，得到新的不同频率分量，将新的不同频率分量进行融合，并再循环进行分解
、
交互再分配和融合操作，最后进行拼接并进行图像重建，得到最终的图像残差，将低分辨率图进行上采样以得到高分辨率图，将最终的图像残差与高分辨率图进行叠加以得到超分辨率重建的图像
。
然而该方法存在下述问题：
(1)
没有充分利用不同分辨率的浅层特征，这对于图像中微弱源的恢复是不利的，
(2)
该方法所针对的主要是自然图像，不适用于大视场天文图像
。
现有天文图像复原及超分辨率重建方法在处理大视场图像时普遍存在效率低
、
效果差的问题，
2023
年，
Wang
等人提出的条件去噪扩散概率模型利用可见度数据将信号与噪声分离并保留降质图像中的空间信息，在单目标图像中去除伪影
、
恢复微弱原方面非常有效，但是对于场景复杂的多目标天文图像该方法具有局限性
。2022
年，
Nammour
等人所提出的稀疏反卷积框架能更好的保留星系的形状，减少像素误差，但是该方法在特征提取时会将图像中的有些信息误作为噪声去除掉，因此该方法并不能很好的复原微弱源；
2022
年，
Gao
等人提出一种基于建模的方法充分利用先验知识
、
适用于少样本或者无监督情况，并具有可解释性等优点，但也面临退化模型假设
、
先验知识依赖和对图像内容结构的限制等缺点
。
综上所述，现有方法一般只能处理固定尺寸的可扩展目标的天文图像，并且复原及超分辨率重建需要分步进行，重建效率低
。

技术实现思路

[0003]本专利技术提出一种基于深度学习的大视场天文图像复原和超分辨率重建方法，以克服现有技术在处理大视场天文图像时存在效率低
、
效果差且一般只针对固定尺寸图像，重建效率低的问题
。
[0004]本专利技术的具体技术方案如下：
[0005]一种基于深度学习的大视场天文图像复原和超分辨率重建方法，包括如下步骤：
[0006]S1.
制作数据集：
[0007]1)
制作复原任务的大视场天文图像数据集；
[0008]2)
制作超分辨率任务的大视场天文图像数据集：
[0009]S2.
通过对复原任务和超分辨率任务同时进行约束来构建
Res&RecNet
模型，
Res&
RecNet
模型包括特征提取模块
、
特征矫正模块和
progressive generation
模块；
[0010]S3.
利用
Res&RecNet
模型进行端到端的图像复原及超分辨率重建：输入降质图像后首先由特征提取模块提取不同分辨率的特征，对于复原任务将提取到的特征直接输入到特征矫正模块，对于超分辨率重建任务将特征进行上采样后再输入到特征矫正模块，然后通过特征矫正模块对图像特征的错误部分进行矫正，复原任务与超分辨率任务得到各自矫正的特征后，将矫正后的特征与
progressive generation
模块对应的分辨率特征进行融合，生成复原图像和超分辨率图像
。
[0011]进一步地，步骤
S2
中所述的特征提取模块为一个由全卷积层组成的编码器网络，该网络共有6个
CNNBlock
，每个
CNNBlock
中均包含两层
CNN
和
BN
，每个
CNNBlock
内卷积层通过
Identity Connection
结构相连接
。
[0012]进一步地，步骤
S2
中复原任务与超分辨率重建任务所用的特征矫正模块是独立的，其通过引用
NAFNet
中的模块，包括以下三部分：
[0013](1)Mobile convolution
，其基于具有通道注意力的
point
‑
wise
和
depth wise convolution
；
[0014](2)
前馈网络模块，其具有两个通过
point
‑
wise convolution
实现的全连接层；
[0015](3)
上采样模块，由亚像素卷积和
Conv2d
组成，此模块为超分辨率重建任务独有，用于超分辨率重建中的特征分辨率以及通道的调整
。
[0016]进一步地，步骤
S2
中所述的
progressive generation
模块由8个
CNNBlock
组成，每个
CNNBlock
包含两层
CNN
以及
Upsampling
，每层
CNN
中正则化的具体做法：根据当前网络的输入输出通道随机生成卷积权重，通过
Kaiming Normalization
将卷积权重初始化均值为
0、
方差为的高斯分布，其中
a
为激活函数的负斜率
、n
表示上一层神经元的数量，进一步对卷积权重进行正则化操作
。
[0017]进一步地，步骤
S2
中通过
MSE
损失和
SSIM
损失对复原图像和超分辨率图像同时进行约束，损失函数如下式所示：
[0018][0019][0020]n
为样本数，
y
i
为真实图像，
y'
i
为生成图象，
μ
x
和
μ
y
分别表示
x
和
y
的平均值
,
和分别表示
x
和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的大视场天文图像复原和超分辨率重建方法，其特征在于，包括如下步骤：
S1.
制作数据集：
1)
制作复原任务的大视场天文图像数据集；
2)
制作超分辨率任务的大视场天文图像数据集：
S2.
通过对复原任务和超分辨率任务同时进行约束来构建
Res&RecNet
模型，
Res&RecNet
模型包括特征提取模块
、
特征矫正模块和
progressive generation
模块；
S3.
利用
Res&RecNet
模型进行端到端的图像复原及超分辨率重建：输入降质图像后首先由特征提取模块提取不同分辨率的特征，对于复原任务将提取到的特征直接输入到特征矫正模块，对于超分辨率重建任务将特征进行上采样后再输入到特征矫正模块，然后通过特征矫正模块对图像特征的错误部分进行矫正，复原任务与超分辨率任务得到各自矫正的特征后，将矫正后的特征与
progressive generation
模块对应的分辨率特征进行融合，生成复原图像和超分辨率图像
。2.
根据权利要求1所述的基于深度学习的大视场天文图像复原和超分辨率重建方法，其特征在于：步骤
S2
中所述的特征提取模块为一个由全卷积层组成的编码器网络，该网络共有6个
CNNBlock
，每个
CNNBlock
中均包含两层
CNN
和
BN
，每个
CNNBlock
内卷积层通过
Identity Connection
结构相连接
。3.
根据权利要求2所述的基于深度学习的大视场天文图像复原和超分辨率重建方法，其特征在于：步骤
S2
中复原任务与超分辨率重建任务所用的特征矫正模块是独立的，其通过引用
NAFNet
中的模块，包括以下三部分：
(1)Mobile convolution
，其基于具有通道注意力的
point
‑
wise
和
depth wise convolution
；
(2)
前馈网络模块，其具有两个通过
point
‑
wise convolution
实现的全连接层；
(3)
上采样模块，由亚像素卷积和
Conv2d
组成，此模块为超分辨率重建任务独有，用于超分辨率重建中的特征分辨率以及通道的调整
。4.
根据权利要求3所述的基于深度学习的大视场天文图像复原和超分辨率重建方法，其特征在于：步骤
S2
中所述的
progressive generation
模块由8个
CNNBloc...

【专利技术属性】
技术研发人员：马龙，赵佳尧，杜江斌，王旭昊，彭杨帆，张宇，辛佳榕，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：