基于双级特征融合的红外图像去噪方法技术

本发明专利技术公开了一种基于双级特征融合的红外图像去噪方法。具体步骤为：第一级：(1)提取红外噪声图像的初始特征；(2)将初始特征输入第一编码结构，获取三种不同尺度的编码特征；(3)将最后一个尺度的编码特征，输入第一解码结构，获取细节增强的解码特征；(4)将最后一个尺度的解码特征输入自监督注意力模块。第二级：(5)再对红外噪声图像提取初始特征，并与上述自监督注意力模块提取的特征拼接；(6)将拼接后的特征调整特征通道数，输入第二编码结构，并与步骤2、3对应尺度的特征融合；(7)将融合后的最后一个尺度的特征输入第二解码结构，获取得细节增强的解码特征；(8)重建得到恢复的清晰红外图像。的清晰红外图像。的清晰红外图像。

【技术实现步骤摘要】
基于双级特征融合的红外图像去噪方法


[0001]本专利技术属于图像处理领域，尤其涉及一种基于双级特征融合的红外图像去噪方法。

技术介绍

[0002]红外辐射本质上是一种电磁辐射，其波长介于可见光与微波之间，短波与可见光波段的红 光相邻，长波段与微波相接。中长波红外主要是探测目标物体自身辐射的红外光谱，受目标物 体特性、应用场景等多因素影响。由于中长波红外探测器制作工艺以及量化效率等问题，高密 度小像素尺寸的红外探测器器件的制作尚存在一定困难，而且价格昂贵；探测器列阵的结构组 织和当前的技术水平又无法满足填充因子达到100％，而根据奈奎斯特(Nyquist)采样定理， 探测器列阵的采样频率就有一定的限制，探测器阵列空间采样频率很难达到自然场景图像奈奎 斯特频率的二倍，此时中长波红外图像就会因欠采样而引起信号混叠，造成红外图像模糊，空 间分辨率较低。红外图像的噪声源主要有1/f噪声、散粒噪声、暗电流噪声、读出噪声，此外， 由于探测器工艺和运算放大器的制造工艺的不确定性，红外图像的条纹非均匀性噪声尤其明显。
[0003]传统的图像去噪算法往往受限于泛用性低、耗时长等问题，而最近，随着计算能力的不断 增加，研究者们通过处理大量数据并从中获取科学突破。深度学习去噪任务当中，以往的单极 网络结构处理图像去噪任务时，所重建的图像往往存在语义信息丢失、图像边缘模糊等问题； 而多级网络结构大多采用级联操作和编码解码结构，在对语义信息进行编码时有效，但是不能 保留空间图像细节。因此，针对红外图像分辨率低、噪声源复杂、图像细节差等特点，如何更 有效的在图像去噪任务当中更有效地恢复图像边缘纹理细节信息，并且不丢失空间结构信息， 是一个非常重要的问题。

技术实现思路

[0004]针对以上现有的红外图像去噪方法存在的问题，本专利技术的目的在于提出一种基于双级特征 融合的红外图像去噪方法。该方法采取双级网络的策略，第一级网络提取语义信息，第二级网 络融合了提取的语义信息之后，能够重建出具有空间结构信息和细节信息的图像，并且运用改 进的G残差块作为特征提取模块，从而产生一个重建质量更佳的结果。
[0005]为达到上述目的，本专利技术采用的技术方案如下：
[0006]基于双级特征融合的红外图像去噪方法，该方法包括以下步骤：
[0007]第一级：
[0008]步骤1，利用第一特征提取卷积层提取遭受噪声污染的红外图像的初始特征；
[0009]步骤2，将提取的初始特征输入到第一编码结构中，在编码过程中通过不断的下采样获取 三种不同尺度的编码特征，每种尺度对应一种分辨率；
[0010]步骤3，将获得的最后一个尺度的编码特征，输入到第一解码结构中，通过不断地上采样 过程恢复分辨率获得上述三种不同尺度的解码特征，在同一尺度下，使用跳层连接
将步骤2 所提取的编码特征与解码特征相加，获得细节增强的解码特征；
[0011]步骤4，将步骤3输出的最后一个尺度的细节增强的解码特征输入到自监督注意力模块中， 由该模块给出去噪重建图像X1，同时提取出注意力增强的特征表示；
[0012]第二级：
[0013]步骤5，再对步骤1的红外图像使用第二特征提取卷积层提取初始特征，并与步骤4中所 述的注意力增强的特征表示做拼接操作；
[0014]步骤6，将拼接后的特征用特征调整卷积层调整特征通道数，输入到第二编码结构中，所 述第二编码结构与第一编码结构的构成相同但参数不同；并且在每一个下采样过程后获得的当 前尺度下的第二编码特征中，将第一级网络编码和解码部分的对应尺度的特征，通过卷积处理 之后，与之相加，获得当前尺度下融合后的第二编码特征；
[0015]步骤7，将步骤6融合后的第二编码特征输入到第二解码结构中，所述第二解码结构与第 一解码结构的构成相同但参数不同，同样使用跳层连接获得细节增强的解码特征；
[0016]步骤8，对步骤7输出的细节增强的解码特征使用重建卷积层得到本级的去噪重建图像X2， 即恢复的清晰红外图像。
[0017]进一步地，所述步骤2中，使用G残差块和2
×
2的下采样层作为一个基本的下采样模 块，在下采样过程中，采用两次2
×
2下采样模块，将特征通道数量翻倍，得到三种不同尺度 的编码特征。
[0018]进一步地，所述G残差块的处理步骤是：将输入经过一个3
×
3的卷积层之后，使用组归 一化方式GN对参数依照通道相关性做归一化处理，再之后使用高斯误差线性单元做非线性处 理。
[0019]进一步地，所述步骤3中，第一解码结构使用卷积核大小为4的转置卷积层；上采样之 后，使用残差连接块对特征进行映射；此外，在每一个尺度下都添加一个跳层连接，以补偿由 于重采样所造成的信息损失。
[0020]进一步地，所述步骤4中，所述自监督注意力模块包括以下计算步骤：
[0021]步骤41，将输入的特征用残差重建卷积层来生成残差图像这 里H
×
W表示空间维度且C表示通道数；
[0022]步骤42，将残差图像和输入的噪声图像相加，从而得到恢复的清晰图像
[0023]步骤43，重建图X1经过注意力卷积层和Sigmoid函数，生成掩模所述掩 模用于注意力增强；
[0024]步骤44，最初的特征F
in
经过特征映射卷积层的处理之后，与所述掩模相乘，再与特征F
in
相 加，就会生成一系列注意力增强的特征；
[0025]步骤45，将步骤44获得的特征和第二级提取的初始特征做拼接操作，从而完成部分注意 力增强的功能。
[0026]本专利技术通过设计双级特征融合去噪网络，引入自监督注意力模块，并采用G残差块作为 特征提取模块，可以实现保留边缘、纹理细节信息的红外图像去噪方法。本专利技术方法的有益效 果在于：(1)由于整个模型为全卷积神经网络，因此可以针对任意尺度的红外图像输入进行 图像去噪，不需要设置额外的参数；(2)通过双级特征融合的网络设计，采用自
监督注意力 模块，以及G残差块作为特征提取模块，在恢复红外图像空间结构信息的同时，能够保留红 外图像的边缘、纹理细节信息。
附图说明
[0027]图1为本专利技术方法的实现结构框图；
[0028]图2本专利技术的方法流程图；
[0029]图3为本专利技术实施例中自监督注意力模块的具体结构示意图；
[0030]图4为本专利技术实施例中G残差块和基本残差块的具体结构示意图。
具体实施方式
[0031]下面将结合附图及具体实施例对本专利技术进行详细描述。
[0032]参照图1，本实施例的基于双级特征融合的红外图像去噪方法，是一种分级的特征提取、 重建的结构，在第二级融合了第一级注意力增强的特征以及每个编码解码结构的多尺度特征之 后，得到重建图像。将遭受污染的红外图像作为输入，原始图像大小裁剪为128
×
128的图像 块，具体包括如下步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双级特征融合的红外图像去噪方法，其特征在于，该方法包括以下步骤：第一级：步骤1，利用第一特征提取卷积层提取遭受噪声污染的红外图像的初始特征；步骤2，将提取的初始特征输入到第一编码结构中，在编码过程中通过不断的下采样获取三种不同尺度的编码特征，每种尺度对应一种分辨率；步骤3，将获得的最后一个尺度的编码特征，输入到第一解码结构中，通过不断地上采样过程恢复分辨率获得上述三种不同尺度的解码特征，在同一尺度下，使用跳层连接将步骤2所提取的编码特征与解码特征相加，获得细节增强的解码特征；步骤4，将步骤3输出的最后一个尺度的细节增强的解码特征输入到自监督注意力模块中，由该模块给出去噪重建图像X1，同时提取出注意力增强的特征表示；第二级：步骤5，再对步骤1的红外图像使用第二特征提取卷积层提取初始特征，并与步骤4中所述的注意力增强的特征表示做拼接操作；步骤6，将拼接后的特征用特征调整卷积层调整特征通道数，输入到第二编码结构中，所述第二编码结构与第一编码结构的构成相同但参数不同；并且在每一个下采样过程后获得的当前尺度下的第二编码特征中，将第一级网络编码和解码部分的对应尺度的特征，通过卷积处理之后，与之相加，获得当前尺度下融合后的第二编码特征；步骤7，将步骤6融合后的第二编码特征输入到第二解码结构中，所述第二解码结构与第一解码结构的构成相同但参数不同，同样使用跳层连接获得细节增强的解码特征；步骤8，对步骤7输出的细节增强的解码特征使用重建卷积层得到本级的去噪重建图像X2，即恢复的清晰红外图像。2.根据权利要求1所述的基于双级特征融合的红外图像去噪方法，其特征在于，所述步骤2中，使用G...

【专利技术属性】
技术研发人员：曹汛，张鹏辉，
申请(专利权)人：南京大学，
类型：发明
国别省市：