一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，包括如下步骤：Step1、构建训练方法；Step2、构建多结构融合模块；Step3、构建生成器的网络结构；构建的生成器RDDANet总体网络结构由三个部分组成：浅层特征提取、用于深层特征提取的多结构融合模块和重建模块，用于深层特征提取的多结构融合模块为残差动态密集‑注意模块；Step4、预测效果图；从热红外数据集中选取多张图进行预测。提出了一种新的使用灰度化的可见光图像引导网络训练的训练策略，相比于当前的超分辨率算法，我们可以在解决噪声影响的情况下有效增强纹理细节。
【技术实现步骤摘要】
本专利技术涉及设热红外成像，具体涉及一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法。
技术介绍
1、由于红外热成像技术的全天候监控的优势，广泛应用于夜晚视频监控、目标侦查等任务。然而，与可见光(vis图像相比，热红外图像存在分辨率低、噪声大、边缘模糊与细节确实等问题。因此，为了实现高分辨率的热红外图像，通常采用超分辨率重构技术。
2、单一图像超分辨率(sisr是一个经典的计算机视觉问题，旨在从给定的低分辨率(lr图像恢复到高分辨率(hr图像。sr重建算法根据时间和效果分为两类：传统算法和深度学习算法。传统的sr重建算法主要依靠基本的数字图像处理技术进行重建，常见的有基于插值、基于退化模型和基于学习的方法。例如dong等人发表的"image super-resolutionusing deep convolutional networks,"ieee trans.pattern anal.mach.intell.,vol.38,no.2,pp.295-307,feb.2015；在2014年将三层卷积神经网络用于图像sr重建领域，他们取得了最先进的恢复质量。
3、基于卷积神经网络(cnn的方法明显改善了图像的sr，为了进一步提高重建图像的视觉质量，基于生成对抗网络(gans的方法被引入到sr重建领域。
4、在vis图像领域sisr已经取得了良好的效果，在红外图像领域也进行了一些研究；然而，上述研究还是存在细节恢复差、噪声大等问题。
技术实现思路
1、本专利技术所要解决的技术问题是提供一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法msf_bsrgan，提出了一种新的使用灰度化的可见光图像引导网络训练的训练策略，相比于当前的超分辨率算法，我们可以在解决噪声影响的情况下有效增强纹理细节。
2、为解决上述技术问题，本专利技术所采用的技术方案是：
3、一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，包括如下步骤：step1、构建训练方法；训练过程分为两个阶段：第一阶段使用灰度化的可见光图像与简单清晰化的热红外图像训练rddanet；第二阶段使用灰度化的可见光图像与简单清晰化的热红外图像训练msf_bsrgan；
4、step2、构建多结构融合模块；建立一种多结构融合模型，动态地为密集连接与注意力机制的使用分配权重；
5、step3、构建生成器的网络结构；构建的生成器rddanet总体网络结构由三个部分组成：浅层特征提取、用于深层特征提取的多结构融合模块和重建模块，用于深层特征提取的多结构融合模块为残差动态密集-注意模块；
6、step4、预测效果图；从热红外数据集中选取多张图进行预测。
7、上述的step2中多结构融合模型包含动态密集-注意dda模块，动态密集-注意dda模块通过将使用相同的输入特征作为两个独立的分支来产生权重：
8、
9、其表示密集连接分支的输出，表示注意力机制分支的输出，并表示用1×1卷积核进行卷积，和是密集分支和注意力分支的权重，根据输入特征计算，而不是设置固定值；
10、动态权重的计算公式如下：
11、πn＝fdda(yn) (2)
12、其中fdda(·)表示dda模块，输入特征首先用全局平均池进行压缩，连接层包含两个全连接以及一个relu激活层，该模型随着输入特征的变化而变化，限制
13、上述的step3中构建生成器网络的具体过程为：
14、为了提取浅层特征，使用一个卷积层，可以表示为：x0＝f3×3(ilr)，其中f3×3(·)表示特征提取，卷积层为3×3卷积核，表示提取的特征图；
15、残差动态密集-注意rdda模块被用来深度特征提取：
16、
17、其中frdda(·)代表rdda块，rdda块由三个跳连接的dda块组成，dda块包含密集连接的分支以及注意分支，两个分支的动态权重由输入特征决定；
18、之后，一个3×3的卷积核被用来提取xn的特征：xn+1＝f3×3(xn)，特征提取部分完成；
19、图像重建的方程式如下:
20、
21、其中fski(·)表示跳过连接，fup(·)表示通过插值进行的上采样，isr是最终的sr输出。
22、本专利技术提供的一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，具有如下有益效果：
23、1.有效的消除了热红外图像本身的噪声；
24、2.相比最先进的超分辨率网络，我们的网络进一步提高热红外图像的视觉效果。
本文档来自技高网...
【技术保护点】
1.一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，其特征是，包括如下步骤：
2.根据权利要求1所述的一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，其特征在于，所述的Step2中多结构融合模型包含动态密集-注意DDA模块，动态密集-注意DDA模块通过使用相同的输入特征作为两个独立的分支来产生权重：
3.根据权利要求2所述的一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，其特征在于，所述的Step3中构建生成器网络的具体过程为：
【技术特征摘要】
1.一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，其特征是，包括如下步骤：
2.根据权利要求1所述的一种基于多结构融合的生成对抗网络的热红外图像超分辨率算法，其特征在于，所述的step2中多结构融合模型包含动态密集-注意...
【专利技术属性】
技术研发人员：陈小辉，陈林，陈凌俊，
申请(专利权)人：三峡大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。