一种增强红外图像超分辨重建效果的网络模型算法制造技术

本发明专利技术公开了一种增强红外图像超分辨重建效果的网络模型算法，设计并加工一款简单、轻巧、聚光能力强的大相对孔径中长波红外成像光学系统，可获取中长波红外图像数据集。提出一个针对中长波红外图像的超分辨网络模型算法，模型由特征提取层，信息提取块和重构块组成。特征提取层提取原始低分辨率图像和可见光图像的浅层特征。信息提取块引入特征映射注意机制来有针对性地提取可见光图像的重要特征信息并在通道间传递，使用密集连接块提高对红外图像细节的辨识能力。重构块将提取的可见光图像特征与红外图像的特征信息相融合，利用可见光图像的边缘、纹理的重要特征信息，来弥补红外图像的细节缺失，重建高清的红外图像。重建高清的红外图像。重建高清的红外图像。

【技术实现步骤摘要】
一种增强红外图像超分辨重建效果的网络模型算法


[0001]本专利技术涉及红外成像
，具体涉及一种利用可见光图像增强红外图像超分辨重建效果的网络模型算法。

技术介绍

[0002]海洋目标探测存在复杂背景中“实时”、“清晰”、“低成本”的智能海洋观测与探测等难题，亟需探索如何在复杂海况下利用新的成像机制实现对海洋目标的多维度高分辨监测。随着世界科学技术的快速发展，红外成像技术受到各个国家的广泛关注，其中中波与长波波段的红外图像，因为有着格外强的辐射能力，在实际应用中作用尤为广泛。中长波双波段红外成像技术能同时获得中波、长波两个大气窗口的红外辐射信息，利用目标在不同红外波段图像里固有的、较强的差异性和互补性，获取目标更多的有效信息，从而提高光电系统对各种复杂环境条件的适应能力，在监控、工业、军事、医学等多个领域都有着广泛而重要的应用。
[0003]与可见光成像系统相比，红外成像系统的可靠性和稳定性还有很大差距，其性能受环境影响很大。比如，信号采集时探测器的热噪声、温度噪声、放大器噪声等带来的高斯噪声，光学部件引起的光学模糊等，这些都会影响红外图像质量。但是随着图像显示技术的不断提高，人们希望红外图像也能具备更高的图像质量，因此如何增强红外图像质量、提高红外图像分辨率就成为学者们亟待解决的问题。基于学习的超分辨率重建方法首先建立高、低分辨率图像一一对应的两个数据库，然后对高、低分辨率图像库之间进行对应的机器训练学习，从而建立起高分辨率图像与低分辨率图像之间的映射关系。对于输入的目标低分辨率图像，根据学习所得的高
‑
低分辨率之间的映射关系，即可直接获得目标图像的高分辨率图像。然而深度学习图像超分辨重建算法普遍针对于自然图像，对红外图像尤其是海上中长波红外图像超分辨的研究较少。红外图像存在分辨率低、对比度低和信噪比低的缺点，还存在着边缘纹理等信息过少、图像灰度层次不明晰、噪声抑制能力差以及算法计算量过大等问题。因此研究一种针对红外图像的超分辨率重建技术，在红外成像领域有着重大的必要性和重要的意义。

技术实现思路

[0004]针对现有技术至少一个缺陷所进行的改进，本专利技术提供一种利用可见光图像增强红外图像超分辨重建效果的网络模型算法,最后得到清晰的红外图像。
[0005]本专利技术所采用的技术方案是利用可见光图像增强红外图像超分辨重建效果的网络模型算法，采用一个大相对孔径宽波段红外光学成像系统，获取相对清晰的中长波红外图像，使用偶次非球面面形来校正大孔径和大视场引起的像差，模型设定为可见光RGB与相对应的红外图像IR的双线操作，包括特征提取层，信息提取块和重构块；特征提取层由两个3*3卷积操作后随激活函数，提取原始低分辨率图像和可见光图像的浅层特征；信息提取块在RGB线路引入特征映射注意机制相提取可见光图像的重要特征信息在通道间传递，用以
补充IR缺失的信息，在IR线路引入密集连接模块进行提取图像特征，所述的重构块将提取到的RGB与IR特征信息在重构融合，整合全局特征信息，完成IR的超分辨重建；
[0006]算法流程如下：
[0007]1)双线输入，一幅是低分辨率的IR，另一幅是己经配准好的RGB图像。
[0008]2)选取出和IR最相关的RGB图像的通道。
[0009]3)接下来我们对两个图像进行初步的信息提取。
[0010]4)将RGB图像作为引导，利用卷积操作将其边缘纹理等主要特征进行提取。
[0011]5)把与其相对应的低分辨率的IR，利用卷积操作将其边缘纹理等主要特征进行提取。
[0012]6)将4)和5)的值进行融合，融合后的结果与训练所对应的高清IR进行比对，计算损失函数。
[0013]7)反向传播更新网络权重参数，不断优化网络模型。
[0014]8)判断是否执行完所有的图像，满足则停止训练，如果不符合停止的要求，继续执行步骤1)。
[0015]9)最后得到训练优化的网络模型。
[0016]优选的，所述的大相对孔径宽波段红外光学成像系统的焦距和口径之比F达到0.9，则视场可由下式计算：
[0017]系统焦距f'为30mm，探测器像元尺寸d为15μm，分辨率为W*H＝640*512。
[0018]优选的，所述的偶次非球面可由下式表示：
[0019]式中:为光线在非球面上的入射高度；c为顶点处曲率半径；k为圆锥常数；a
i
为高次非球面系数。
[0020]优选的，所述的偶次非球面面形选用单点金刚石车削加工。
[0021]优选的，所述的算法步骤1)中，采用双三次插值将红外图片上采样到和RGB一样的大小。
[0022]本专利技术的有益效果是：(1)为了提高红外图像的超分辨率重建性能，首先设计并加工了一个红外光学成像系统，可以获得较好分辨率的中长波红外图像，利用系统获取实验数据。(2)提出了一个超分辨网络算法，将红外图与相对应的可见光图像同时输入网络，利用深度学习对网络进行训练，提取两个图像的特征并将其融合，利用可见光图像的边缘、纹理等特征来增加红外图像重建的效果，最后得到清晰的红外图像。
附图说明
[0023]图1为本专利技术超分辨重建效果的模型图。
[0024]图2为本专利技术超分辨重建效果的注意力机制图。
[0025]图3为本专利技术超分辨重建效果的密集链接图。
[0026]图4为本专利技术超分辨重建效果的算法效果图。
具体实施方式
[0027]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件能够以各种不同的配置来布置和设计。
[0028]针对现有技术的问题，设计了一个大相对孔径宽波段红外光学成像系统以获得红外图形数据集，光学系统焦距和口径之比F达到0.9。表1为宽波段红外光学系统参数。系统焦距f'为30mm，探测器像元尺寸d为15μm，分辨率为W*H＝640*512。则视场可由下式计算：
[0029][0030]表1宽波段红外光学系统参数
[0031][0032]红外光学材料吸收系数较高，为了提高红外光学系统的透过率，尽量精简镜片，使用偶次非球面面形来校正大孔径和大视场引起的像差。偶次非球面可由下式表示：
[0033][0034]式中:为光线在非球面上的入射高度；c为顶点处曲率半径；k为圆锥常数；a
i
为高次非球面系数。
[0035]在实际制造过程中，选用单点金刚石车削可以实现对红外材料非球面面形的加工。选择三片式结构，其中，第一片镜片材料为AMTIR1，第二片采用ZnS，第三片采用Ge。AMTIR1为一种在近红外至长波红外可透射的合成材料，在红外波段消色差方面能够取得很好的效果。第2面和第6面采用偶次非球面，第一片透镜口径较大，轴外像差大，在第一片透镜的后表面引入非球面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强红外图像超分辨重建效果的网络模型算法，其特征在于：采用一个大相对孔径宽波段红外光学成像系统，获取相对清晰的中长波红外图像，使用偶次非球面面形来校正大孔径和大视场引起的像差，模型设定为可见光RGB与相对应的红外图像IR的双线操作，包括特征提取层，信息提取块和重构块；特征提取层由两个3*3卷积操作后随激活函数，提取原始低分辨率图像和可见光图像的浅层特征；信息提取块在RGB线路引入特征映射注意机制相提取可见光图像的重要特征信息在通道间传递，用以补充IR缺失的信息，在IR线路引入密集连接模块进行提取图像特征，所述的重构块将提取到的RGB与IR特征信息在重构融合，整合全局特征信息，完成IR的超分辨重建；算法流程如下：1)双线输入，一幅是低分辨率的IR，另一幅是己经配准好的RGB图像。2)选取出和IR最相关的RGB图像的通道。3)接下来我们对两个图像进行初步的信息提取。4)将RGB图像作为引导，利用卷积操作将其边缘纹理等主要特征进行提取。5)把与其相对应的低分辨率的IR，利用卷积操作将其边缘纹理等主要特征进行提取。6)将4)和5)的值进行融合，融合后的结果与训练所对...

【专利技术属性】
技术研发人员：娄岩，任志鹏，付强，李英超，史浩东，李辉，赵圣亚，侯艺浩，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：