基于可见光与红外交叉输入的图像超分辨率重建方法技术

本发明专利技术公开了一种基于可见光与红外交叉输入的图像超分辨率重建方法，步骤1：图像超分辨网络的训练；步骤2：超分辨图像的重建网络测试。本发明专利技术利用可见光图像有的丰富信息的特点，将其送入特征提取模块提取特征图后将特征图再和经过图像重构模块中引导滤波层的红外图像进行图像融合；通过亚像素卷积增加图像尺寸，并逐步添加特征信息；在网络中引入视觉图像特征和引导滤波层实现提高图像分辨率的目的。

Image super-resolution reconstruction method based on the cross input of visible light and infrared

The invention discloses an image super-resolution reconstruction method based on the cross input of visible light and infrared. Step 1: training of image super-resolution network; step 2: reconstruction network test of super-resolution image. The invention takes advantage of the feature of rich information of visible light image, sends it to feature extraction module to extract feature image, and then merges the feature image with the infrared image passing through guide filter layer in image reconstruction module; increases image size through sub-pixel convolution, and gradually adds feature information; introduces visual image feature and guide filter layer in network to improve image Purpose of resolution.

【技术实现步骤摘要】
基于可见光与红外交叉输入的图像超分辨率重建方法
本专利技术属于图像处理
，具体涉及一种基于可见光与红外交叉输入的图像超分辨率重建方法。
技术介绍
图像超分辨率重建是利用低分辨率的图像获取高分辨率图像的技术。对图像进行超分辨率重建可以提高图像的识别能力和识别精度，因为硬件配置的限制以及精度越高的器材的价格的限制，利用软件算法提高图像分辨率是现在的研究热点。各个超分辨率算法的提出使获取感兴趣区域更高分辨率的图像更加便捷。超分辨率图像重建有着宽广的应用领域，在军事、医学，公共安全和计算机视觉等方面都有着重要的应用前景。目前，超分辨率重建技术主要分为两类，一类是基于重建的方法，一类是基于学习的方法；基于重建的超分辨率方法的基础是均衡及非均衡采样定理，假设低分辨率的输入采样图像能很好地预估出原始的高分辨率图像；基于学习的方法是近年来超分辨率算法研究的热点，它采用大量的高分辨率图像构造学习库学习模型，通过对低分辨率图像进行恢复的过程中引入从学习模型中获得的先验知识，得到图像的高频细节，获得较好的图像超分辨率效果。近年来，由于深度学习在计算机视觉上的卓越表现，卷积神经网络在计算机视觉基础上获得的突出成就，使得深度学习在超分辨重建等计算机视觉任务上获得更为广泛的应用；Dong等人首次将卷积神经网络与超分辨算法结合，获得了比传统算法更好的性能。随后提出的快速SRCNN算法，相比原来的基于CN的算法具有更高的执行效率和更大的峰值信噪比，后来J.Kim等人提出了包含20个权重层和学习残差的高深度网络，虽然更深层次的网络方法可以提高图像质量，但是参数的选取会导致图像的过拟合问题，并且，网络越深，深度学习算法的速度也会受到影响。随后，提出了拉普拉斯金字塔超分辨率网络算法，该算法利用翻转卷积层进行图像的放大和预测特征，减少了大比例因子训练的难度，但是该算法对提高红外图像的质量敏感。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于可见光与红外交叉输入的图像超分辨率重建方法。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例提供一种基于可见光与红外交叉输入的图像超分辨率重建方法，该方法为：步骤1：图像超分辨网络的训练；具体为：对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理；对预处理后的可见光图像与红外图像分别通过下采样缩小倍数获得低分辨率可见光图像和低分辨率红外图像；对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图；对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像；将所述可见光特征提取图和低分辨率红外图像进行融合获得超分辨率重建的结果图；对所述超分辨率重建的结果图与下采样之前的红外图像进行损失函数计算确定超分辨率重建的结果图与红外图像之间的损失；根据所述损失确定图像超分辨网络训练是否完成，如果未完成图像超分辨网络训练，重复以上步骤继续对图像超分辨网络训练进行训练；步骤2：超分辨图像的重建网络测试；具体为：根据设定的损失和迭代次数确定图像超分辨网络训练完成之后，通过所述图像超分辨网络对输入图像进行超分辨率重建获取测试结果图。上述方案中，所述对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理，具体为：对可见光与红外图像数据集对中同一场景的可见光红外图像依据特征点进行配准；对配准过的可见光与红外图像对选取特定的大小，并且进行裁剪；对剪裁过的可见光与红外图像数据进行随机的翻转变换或者旋转操作，即沿水平或垂直方向进行图像翻转或者是对图像旋转，旋转度数为90度，180度和270度。上述方案中，所述对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图，具体为：将可见光图像输入特征提取模块的亚像素上采样网络做特征提取，其中卷积层提取特征，激活层将其转换为非线性特征，亚像素层通过亚像素卷积实现图像的上采样，整个上采样网络包含了特征提取和放大的过程，并且每次将图像尺度放大两倍，获得可见光特征提取图。上述方案中，所述对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图，具体为：通过卷积核大小为3×3，卷积层数为3，数量为64的卷积核对低分辨率可见光图像进行计算，获得特征图F1；将所述特征图F1送入激活层得到特征图F2；通过卷积核大小为3×3，卷积层数为64，数量为64的卷积核对所述特征图F2进行计算，获得特征图F3；将特征图F3送入激活层得到特征图F4；通过卷积核大小为3×3，卷积层数为64，数量为256的卷积核对特征图F4进行计算，获得特征图F5；将特征图F5送入激活层得到特征图F6；将所述特征图F6送入亚像素卷积层进行图像上采样，获得可见光特征提取图F7。上述方案中，所述对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像，具体为：对所述低分辨率红外图像通过引导滤波层消除噪声后，再经过反卷积尺度放大两倍，获得消除噪声的低分辨率红外图像。上述方案中，所述如果图像超分辨网络训练，重复以上步骤继续对图像超分辨网络训练进行训练图像超分辨网络，具体为：重复图像超分辨网络训练的过程，直到实现图像重建的放大尺度N，重复N/2次，并且所述超分辨率重建的结果图与红外图像之间的损失满足要求。上述方案中，所述通过所述图像超分辨网络对输入图像进行重建获取超分辨率图像重建的结果图，之后包括：判断所述超分辨率图像重建的结果图是否满足要求的放大尺度N，如果满足，则输出结果图；如果不满足，则重复特征提取和图像重建步骤，对重新获取的超分辨率图像重建的结果图再次进行判断。上述方案中，通过所述损失确定卷积神经网络训练是否完成，具体为：如果损失小于10-3以及迭代次数等于1000，则确定图像超分辨网络训练完成，否则，确定图像超分辨网络训练未完成。上述方案中，所述步骤1：图像超分辨率网络的训练之前，该方法还包括：构建可见光与红外图像数据集。上述方案中，所述构建可见光与红外图像数据集，具体为：通过两台独立的相机，一台可见光相机，一台红外相机，采集大量且不同种类的图像，构建图像超分辨所需要的可见光与红外图像数据集；所述可见光与红外图像数据集包括日夜图像所述可见光和红外图像的视场大小一致，视场图像信息一致，图像尺寸一致。与现有技术相比，本专利技术利用可见光图像有的丰富信息的特点，将其送入特征提取模块提取特征图后将特征图再和经过图像重构模块中引导滤波层的红外图像进行图像融合；通过亚像素卷积增加图像尺寸，并逐步添加特征信息；在网络中引入视觉图像特征和引导滤波层实现提高图像分辨率的目的。附图说明图1为本专利技术实施例提供一种基于可见光与红外交叉输入的图像超分辨率重建方法的流程图；图2为本专利技术实施例提供一种基于可见光与红外交叉输入的图像超分辨率重建方法的最终结果图。具体实施方式为了使本专利技术本文档来自技高网...

【技术保护点】
1.一种基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，该方法为：/n步骤1：图像超分辨网络的训练；/n具体为：对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理；/n对预处理后的可见光图像与红外图像分别通过下采样缩小倍数获得低分辨率可见光图像和低分辨率红外图像；/n对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图；/n对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像；/n将所述可见光特征提取图和低分辨率红外图像进行融合获得超分辨率重建的结果图；/n对所述超分辨率重建的结果图与下采样之前的红外图像进行损失函数计算确定超分辨率重建的结果图与红外图像之间的损失；/n根据所述损失确定图像超分辨网络训练是否完成，如果未完成图像超分辨网络训练，重复以上步骤继续对图像超分辨网络训练进行训练；/n步骤2：超分辨图像的重建网络测试；/n具体为：根据设定的损失和迭代次数确定图像超分辨网络训练完成之后，通过所述图像超分辨网络对输入图像进行超分辨率重建获取测试结果图。/n

【技术特征摘要】
1.一种基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，该方法为：
步骤1：图像超分辨网络的训练；
具体为：对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理；
对预处理后的可见光图像与红外图像分别通过下采样缩小倍数获得低分辨率可见光图像和低分辨率红外图像；
对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图；
对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像；
将所述可见光特征提取图和低分辨率红外图像进行融合获得超分辨率重建的结果图；
对所述超分辨率重建的结果图与下采样之前的红外图像进行损失函数计算确定超分辨率重建的结果图与红外图像之间的损失；
根据所述损失确定图像超分辨网络训练是否完成，如果未完成图像超分辨网络训练，重复以上步骤继续对图像超分辨网络训练进行训练；
步骤2：超分辨图像的重建网络测试；
具体为：根据设定的损失和迭代次数确定图像超分辨网络训练完成之后，通过所述图像超分辨网络对输入图像进行超分辨率重建获取测试结果图。


2.根据权利要求1所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理，具体为：
对可见光与红外图像数据集对中同一场景的可见光红外图像依据特征点进行配准；
对配准过的可见光与红外图像对选取特定的大小，并且进行裁剪；
对剪裁过的可见光与红外图像数据进行随机的翻转变换或者旋转操作，即沿水平或垂直方向进行图像翻转或者是对图像旋转，旋转度数为90度，180度和270度。


3.根据权利要求1或2所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图，具体为：将可见光图像输入特征提取模块的亚像素上采样网络做特征提取，其中卷积层提取特征，激活层将其转换为非线性特征，亚像素层通过亚像素卷积实现图像的上采样，整个上采样网络包含了特征提取和放大的过程，并且每次将图像尺度放大两倍，获得可见光特征提取图。


4.根据权利要求3所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图，具体为：
通过卷积核大小为3×3，卷积层数为3，数量为64的卷积核对低分辨率可见光图像进行计算，获得特征图F1；
将所述特征图F1送入激活层得到特征图F2；

【专利技术属性】
技术研发人员：周慧鑫，杨翊艺，杜娟，李欢，张嘉嘉，宋江鲁奇，于跃，宋尚真，谭威，赖睿，秦翰林，王炳健，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61