一种基于稠密残差连接网络的红外图像超分辨率重建方法技术

本发明专利技术涉及一种基于稠密残差连接网络的红外图像超分辨率重建方法，包括以下步骤：

【技术实现步骤摘要】
一种基于稠密残差连接网络的红外图像超分辨率重建方法


[0001]本专利技术属于红外成像
，涉及一种基于稠密残差连接网络的红外图像超分辨率重建方法
。

技术介绍

[0002]随着红外市场规模扩大和成熟化，主流市场对红外图像质量的要求越来越高，主要体现要求提供更好的观感舒适度
(
主观指标
)
和细节分辨能力
(
核心客观指标
)
，为了达到这些指标要求就要提高系统成像的空间分辨率
。
[0003]传统的提高空间分辨率方法主要有两个途径：
1、
传感器不变情况下，提高光学焦距；
2、
光学尺寸不变情况下缩小传感器单像元尺寸
。
但不管哪种途径，要在保证空间分辨率的同时保证探测灵敏度，光学系统尺寸与空间分辨率都存在数学上的严格相关性，通过传统设计方案提高系统空间分辨率必然带来系统体积
、
重量
、
加工难度和成本的成倍提高
。
然而，受限于最终搭载平台的客观限制，用户对红外相机的尺寸和重量都有严格要求
。
因此，依靠传统设计方案满足客户不断提高的性能需求已经遭遇了严重的瓶颈，而通过软件算法实现红外图像超分辨率重建成为最有潜力的途径
。
[0004]现有的通过软件算法实现红外图像超分辨率重建方法主要分为四类：
[0005](1)
基于插值的方法：
[0006]该方法的主要设计思想是利用待求点像素周围一些已知点的值来估计待求点像素值，主要包括最近邻插值法
、
双线性插值法和双三次方插值法，该类方法由于计算简单方便
、
对设备算力需求低等特点，在目前被广泛应用，然而这类方法由于仅仅应用了像素之间灰度值和位置之间的关联性，并不能很好地挖掘区域像素块的整体特征，因此重建效果很差，主要体现在重建后的图像边缘模糊，马赛克效应明显
。
[0007](2)
基于配准重建的方法：
[0008]这类方法通常以低分辨率图像为约束，结合图像的先验知识对图像进行还原
。
该方法通常需要配准和重建两步
。
配准可以得到估计低分辨率图像和实际低分辨率图像的相对运动，再利用先验知识对配准后的低分辨率图像进行重建
。
这类方法相对于插值方法在重建效果上有所提升，但是存在着场景适应性差和计算复杂度高等缺陷，因此这类方法主要是在学术界进行研究，在工业界上应用上较少
。
[0009](3)
基于字典学习的方法：
[0010]该类方法通常先收集大量不同类型的高分辨率图像，然后通过一定的降质方法得到对应的低分辨率图像，再将高
、
低分辨率图像作为训练集进行训练，训练过程主要包括提取训练集的特征信息，并利用稀疏表示理论，学习出一对高
、
低分辨率字典，从而得到高
、
低分辨率图像稀疏表示间的对应关系，进而可以将低分辨率图像转换成高分辨率图像
。
该类方法能较好地还原图像细节，重建后的图像真实性更强，但是存在着对噪声和纹理识别能力弱
、
图像字典制备困难算法处理复杂度高等问题，目前仅有少量算法被应用，例如谷歌提出基于学习原理的
RAISR
算法，并将其应用到图像高效无损传输领域
。
[0011](4)
基于深度学习的方法：
[0012]该类方法相较于基于学习的方法一个显著的提升在于不用再人工提取低分辨率图像的特征和建立学习字典，基于深度学习的方法将这两个过程全部融入到神经网络的学习中去，通过将卷积层
、
线性层
、
批量归一化层和激活层等不同类型层的复杂组合得到不同类型
、
不同特点和结构的神经网络来处理和预测高分辨率图像
。
该类方法在解决原始低分辨率图像画幅尺寸小的问题的同时，还能解决红外图像信噪比低
、
对比度低和关键目标识别能力弱等问题，因此具有广阔的应用前景
。

技术实现思路

[0013]本专利技术的目的是基于深度学习的方法，提出一种基于稠密残差连接网络的红外图像超分辨率重建方法，通过离线学习建立稠密残差连接网络模型，使低分辨率的红外图像经过超分辨率模型重建后获得更大的图像画幅尺寸
、
更好的观感舒适度和更强的细节分辨能力
。
[0014]本专利技术的技术方案如下：
[0015]一种基于稠密残差连接网络的红外图像超分辨率重建方法，其特征在于，包括以下步骤：
[0016](1)
训练数据集准备：从真实数据中估计图像从高分辨率到低分辨率的退化对应关系，并利用该关系从高分辨率图像中生成低分辨图像，从而获得红外高
‑
低分辨率图像训练数据集；
[0017](2)
超分模型训练：基于构建的红外高
‑
低分辨率数据集及基于稠密残差连接网络，设计对抗生成网络模型进行训练，从而获得基于稠密残差连接网络的红外图像超分辨率重建模型；
[0018](3)
利用模型对低分辨率图像推理得到高清图像
。
[0019]本专利技术相较于已有的红外图像放大方法，在增大原始输入图像画幅尺寸的同时，还能够显著降低图像的噪声水平，增强对比度和提升细节分辨能力，从而最终实现提升红外图像质量的目的
。
附图说明
[0020]图1是本专利技术的方法流程图；
[0021]图2是本专利技术的整体框架图；
[0022]图3是本专利技术采用的稠密残差连接网络结构图；
[0023]图4是稠密残差网络连接子模块的连接方式示意图；
[0024]图5是本专利技术与其他方法对于看靶场景的低分辨率图像超分效果对比图；
[0025]图6是本专利技术与其他方法对于一般自然复杂场景的低分辨率图像超分效果对比图
。
具体实施方式
[0026]如图1所示，本专利技术基于稠密残差连接网络的红外图像超分辨率重建方法主要包含以下个步骤：
[0027](1)
训练数据集准备：从真实数据中估计图像从高分辨率到低分辨率的退化对应关系，并利用该关系从高分辨率图像中生成低分辨图像，从而获得红外高
‑
低分辨率图像训练数据集；
[0028](2)
超分模型训练：基于构建的红外高
‑
低分辨率数据集，设计对抗生成网络模型进行训练，从而获得基于稠密残差连接网络的红外图像超分辨率重建模型；
[0029](3)
最后，利用模型对低分辨率图像推理得到高清图像
。
[0030]上述方法具体实现过程如下：
[0031]第一步：估计退化关系，生成高
‑
低分辨率数据集
。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于稠密残差连接网络的红外图像超分辨率重建方法，其特征在于，包括以下步骤：
(1)
训练数据集准备：从真实数据中估计图像从高分辨率到低分辨率的退化对应关系，并利用该关系从高分辨率图像中生成低分辨图像，从而获得红外高
‑
低分辨率图像训练数据集；
(2)
超分模型训练：基于构建的红外高
‑
低分辨率数据集及基于稠密残差连接网络，设计对抗生成网络模型进行训练，从而获得基于稠密残差连接网络的红外图像超分辨率重建模型；
(3)
利用模型对低分辨率图像推理得到高清图像
。2.
根据权利要求1所述的基于稠密残差连接网络的红外图像超分辨率重建方法，其特征在于，所述步骤
(1)
具体实现方法如下：
(11)
搜集一定数量的原始红外图像，构成原始图像集
I
src
；
(12)
利用基于核估计的自相关对抗生成网络方法估计原始图像集中每一张图像的下采样模糊核，并将这些模糊核汇聚在一起形成下采样模糊核池
κ
；
(13)
对原始图像进行噪声块收集，获得不同的噪声块
n
i
，将这些噪声块汇聚在一起形成噪声池
η
；
(14)
对原始红外图像集进行下采样
1/2
操作，消除图像中的噪声，获得高清红外数据集
I
HR
；
(15)
对于高清红外数据集
I
HR
中的每一张图像，都从下采样模糊核池
κ
和噪声池
η
中选取下采样模糊核和噪声块，生成对应的带噪声的低分辨率红外数据集
I
LR
；
(16)
将得到的高清红外数据集
I
HR
和低分辨率红外数据集
I
LR
对应拼接成训练数据对
{I
HR
,I
LR
}。3.
根据权利要求2所述的基于稠密残差连接网络的红外图像超分辨率重建方法，其特征在于，步骤
(11)
中，搜集的原始红外图像不少于
1000
张
。4.
根据权利要求2所述的基于稠密残差连接网络的红外图像超分辨率重建方法，其特征在于，步骤
(12)
中，通过以下退化公式得到低分辨率图像：
I
LR
＝
(I
HR
*k
↓
s
)+n
其中
I
HR
代表理想的清晰的高分辨率图像，
k
↓
s
和
n
分别代表未知的下采样模糊核和噪声，
I
LR
代表低分辨率图像；所述下采样模糊核
k
↓
s
是针对特定图像的，即每一张原始图像
I
src_i
都会有其对应下采样模糊核
k
↓
s_i
，则
n
张原始图像集
I
src
会得到
n
个下采样模糊核
k
↓
s
，从而构成下采样模糊核池
κ
。5.
根据权利要求2所述的基于稠密残差连接网络的红外图像超分辨率重建方法，其特征在于，步骤
(13)
中，对原始图像进行噪声块收集，是基于滤波规则在原始图像集
I
src
中搜集真实的噪声块
n
，利用下面的规则来解耦噪声和图像细节：
σ
(n
i
)<v
其中
σ
(.)
表示图像块的方差计算函数，
v
为方差的最大值；即认为当图像块的方差小于一定范围时...

【专利技术属性】
技术研发人员：张会鹏，陈一鹤，史仓州，李兴珂，
申请(专利权)人：北京长峰科威光电技术有限公司，
类型：发明
国别省市：