本发明专利技术属于一种红外图像增强方法，为解决目前基于卷积神经网络的图像增强方法，在图像的细节表现能力和整体视觉效果上，仍然需要提高的技术问题，提供一种基于多尺度信息交换的红外图像增强方法、计算机程序产品，在图像增强过程中，对原始尺寸的原始图像进行卷积学习，得到粗提取特征图，再对粗提取特征图分别上、下采样进行特征提取，更好的补充原始尺度的特征学习过程。同时，在多尺度信息挖掘过程中，使用随机选择与融合模块对不同尺度的特征信息进行交换，从而进行跨尺度特征学习，结合来自多个尺度的特征信息，同时保留了原始图像的空间细节，提升了图像的细节表现能力。提升了图像的细节表现能力。提升了图像的细节表现能力。
【技术实现步骤摘要】
基于多尺度信息交换的红外图像增强方法、计算机程序产品
[0001]本专利技术属于一种红外图像增强方法，具体涉及一种基于多尺度信息交换的红外图像增强方法、计算机程序产品。
技术介绍
[0002]红外成像在医学成像、安全监控、环境污染检测和军事目标检测中均发挥了重要作用。通常，红外图像都具有一些缺点，例如低对比度和细节模糊，这限制了对红外目标的观察，以及红外成像应用的进一步发展。因此，为了获得高质量的图像结果，有必要对红外图像进行增强处理。
[0003]目前，对红外图像增强的大多数方法，是通过使用空间和频域来推广的，包括直方图均衡、对比度调整和变换，经验模态分解等。引入了基于直方图均衡的方法，对红外图像的直方图分布进行均衡化处理，提升图像整体灰度的动态范围，但该类方法经常会存在喊声过度增强或增强不足的问题。而基于卷积神经网络(CNN)的方法在各种视觉任务中，例如目标检测，图像识别和底层视觉等领域，均取得了优秀的性能表现。
[0004]Choi等人第一次提出基于CNN增强红外图像的方法，利用了一个相对较浅的CNN。此后，基于Retinex启发的网络，如Shen,L.,Yue,Z.,Feng,F.,Chen,Q.,Liu,S.,Ma,J.于2017年发表的《Msr
‑
net:Low
‑
light imageenhancement using deep convolutional network》，Zhang,Y.,hang,J.,GuoX.于2019年发表的《Kindling the darkness:A practical low
‑
light imageenhancer》。基于编码器
‑
解码器网络，如Ren,W.,Liu,S.,Ma,L.,Xu,Q.,Xu,X.,Cao,X.,Du,J.,Yang,M.H.于2019年发表的《Low
‑
lightimage enhancement via a deep hybrid network》，Ren,W.,Liu,S.,Ma,L.,Xu,Q.,Xu,X.,Cao,X.,Du,J.,Yang,于2019年发表的《Low
‑
lightimage enhancement via a deep hybrid network》。基于生成对抗网络(GAN)，如Ignatov,A.,Kobyshev,N.,Timofte,R.,Vanhoey,K.,Van Gool,L.于2018年发表的《Wespe:weaklysupervised photo enhancer for digital cameras》。这些网络类型在图像增强任务中均取得了较好的表现。但是目前，基于卷积神经网络的图像增强方法，在图像的细节表现能力和整体视觉效果上，仍然需要进一步提高。
技术实现思路
[0005]本专利技术为解决目前基于卷积神经网络的图像增强方法，在图像的细节表现能力和整体视觉效果上，仍然需要提高的技术问题，提供一种基于多尺度信息交换的红外图像增强方法、计算机程序产品。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]一种基于多尺度信息交换的红外图像增强方法，其特殊之处在于，包括以下步骤：
[0008]S1，通过对原始图像进行卷积学习，得到原始图像的粗提取特征图F0；
[0009]S2，分别对粗提取特征图F0进行上采样处理和下采样处理，得到上采样后的粗提
取特征图F1和下采样后的粗提取特征图F2；
[0010]S3，依次通过瓶颈注意力模块和随机选择与融合模块对F1、F0和F2进行一次注意力特征提取和多尺度特征交换，通过瓶颈注意力模块再进行二次注意力特征提取，然后再通过特征融合模块进行多尺度特征融合，得到多尺度特征融合图；
[0011]S4，重复执行多次步骤S2和步骤S3，且每次以上一次步骤S3得到的多尺度特征融合图作为步骤S2中的粗提取特征图F0，得到多级特征提取图；
[0012]S5，将所述多级特征提取图输入卷积层，得到初步重构图像；
[0013]S6，对所述原始图像依次进行下采样和上采样，再与初步重构图像连接，得到最终增强图像。
[0014]进一步地，步骤S3中，所述一次注意力特征提取具体为：
[0015]Sa.1，分别计算F1、F0和F2的通道特征注意力图和空间特征注意力图，分别得到F1、F0和F2的空间
‑
通道特征注意力图M(F1)、M(F0)和M(F2)；
[0016]Sa.2，分别使M(F1)、M(F0)和M(F2)与对应的F1、F0和F2逐像素相乘，再将相乘结果与F1、F0和F2叠加，得到对应的一次输出特征图L1、L0和L2。
[0017]进一步地，步骤S3中，所述多尺度特征交换具体为：
[0018]Sb.1，分别对L1和L2进行下采样处理和上采样处理，使L1和L2恢复到与L0相同的尺度，再将L0、恢复到与L0相同尺度的L1和L2相加，得到特征图L；
[0019]Sb.2，对特征图L进行全局平均池化，将同一通道信息编码为一个实数；
[0020]Sb.3，通过一个卷积层充当通道缩减卷积层进行卷积学习，生成一个通道特征；
[0021]Sb.4，对步骤Sb.3得到的通道特征，分别使用三个维度相同的并行的卷积层充当通道扩展卷积，对应生成三个通道特征图V1、V0和V2；
[0022]Sb.5，使三个通道特征图V1、V0和V2分别与L0、恢复到与L0相同尺度的L1和L2在特征维度进行相乘，得到经过多尺度特征信息交换的特征图L
’
1、L
’
0和L
’
2；
[0023]Sb.6，分别从V1、V0和V2中随机挑选通道，经过softmax激活得到常数s1、s2和s3；
[0024]Sb.7，结合特征图L
’
1、L
’
0和L
’
2，以及常数s1、s2和s3，得到多尺度特征交换结果U0；
[0025]Sb.8，再重复执行两次步骤Sb.6和步骤Sb.7，得到两次不同的多尺度特征交换结果U1和U2。
[0026]进一步地，步骤S3中，所述二次注意力特征提取与所述一次注意力特征提取的方法相同，得到二次输出特征图L21、L20和L22。
[0027]进一步地，步骤S3中，所述多尺度特征融合具体为：
[0028]Sc.1，分别对L21和L22进行上采样或下采样，使L21、L20和L22的尺度相同；
[0029]Sc.2，对L20、经过上采样或下采样的L21和L22进行相加，得到结果特征图M；
[0030]Sc.3，使用残差连接将结果特征图M与粗提取特征图F0相加，得到多尺度特征融合图。
[0031]进一步地，步骤S3中，所述瓶颈注意力模块、随机选择与融合模块和特征融合模块本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多尺度信息交换的红外图像增强方法，其特征在于，包括以下步骤：S1，通过对原始图像进行卷积学习，得到原始图像的粗提取特征图F0；S2，分别对粗提取特征图F0进行上采样处理和下采样处理，得到上采样后的粗提取特征图F1和下采样后的粗提取特征图F2；S3，依次通过瓶颈注意力模块和随机选择与融合模块对F1、F0和F2进行一次注意力特征提取和多尺度特征交换，通过瓶颈注意力模块再进行二次注意力特征提取，然后再通过特征融合模块进行多尺度特征融合，得到多尺度特征融合图；S4，重复执行多次步骤S2和步骤S3，且每次以上一次步骤S3得到的多尺度特征融合图作为步骤S2中的粗提取特征图F0，得到多级特征提取图；S5，将所述多级特征提取图输入卷积层，得到初步重构图像；S6，对所述原始图像依次进行下采样和上采样，再与初步重构图像连接，得到最终增强图像。2.根据权利要求1所述基于多尺度信息交换的红外图像增强方法，其特征在于，步骤S3中，所述一次注意力特征提取具体为：Sa.1，分别计算F1、F0和F2的通道特征注意力图和空间特征注意力图，分别得到F1、F0和F2的空间
‑
通道特征注意力图M(F1)、M(F0)和M(F2)；Sa.2，分别使M(F1)、M(F0)和M(F2)与对应的F1、F0和F2逐像素相乘，再将相乘结果与F1、F0和F2叠加，得到对应的一次输出特征图L1、L0和L2。3.根据权利要求2所述基于多尺度信息交换的红外图像增强方法，其特征在于，步骤S3中，所述多尺度特征交换具体为：Sb.1，分别对L1和L2进行下采样处理和上采样处理，使L1和L2恢复到与L0相同的尺度，再将L0、恢复到与L0相同尺度的L1和L2相加，得到特征图L；Sb.2，对特征图L进行全局平均池化，将同一通道信息编码为一个实数；Sb.3，通过一个卷积层充当通道缩减卷积层进行卷积学习，生成一个通道特征；Sb.4，对步骤Sb.3得到的通道特征，分别使用三个维度相同的并行的卷积层充当通道扩展卷积，对应生成三个通道特征图V1、V0和V2；Sb.5，使三个通道特征图V1、V0和V2分别与L0、恢复到与L0相同尺度的L1和L2在特征维度进行相乘，得到经过多尺度特征信息交换的特征图L
’
1、L
’
0和L
’
2；Sb.6，分别从V1、V0和V2中随机挑选通道，经过softmax激活得到常数s1、s2和s3；Sb.7，结合特征图L
’
1、L
’
0和L
【专利技术属性】
技术研发人员：刘伟，王鹏，郭得福，段程鹏，张书强，宋洁，刘济铭，
申请(专利权)人：西安中科立德红外科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。