基于可见光图像增强的红外图像卷积神经网络超分辨方法技术

本发明专利技术公开了一种基于可见光图像增强的红外图像卷积神经网络超分辨方法。利用红外可见光双分辨相机拍摄得到场景的红外图像和可见光图像，形成红外‑可见光图像对，并处理得到训练集；以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将红外相机拍摄到的红外图像输入训练后的卷积神经网络模型，得到超分辨的红外图像。本发明专利技术利用了可见光图像的信息，解决了超分辨过程中红外图像细节不丰富的问题，超分辨后的红外图像有更好的细节表现能力，卷积神经网络模型的鲁棒性强。

Infrared image convolution neural network super resolution method based on visible image enhancement

【技术实现步骤摘要】
基于可见光图像增强的红外图像卷积神经网络超分辨方法
本专利技术属于数字图像处理领域的一种图像超分辨方法，涉及了一种利用可见光图像增强图像细节的卷积神经网络模型的图像超分辨处理方法。
技术介绍
红外图像在很多领域例如热分析，视频监控，医疗诊断，远程遥感等提供了很多有价值的应用信息。红外图像质量和分辨率不高的主要原因是由于非理想光学和有限的探测器尺寸造成的模糊效应。一般来说，与可见光相比，红外图像质量较差，空间分辨率有限。为了实现高精度的热测量，红外探测器被封装在独立的真空封装中，这是一个耗时且昂贵的过程。对于低分辨率红外图像，通过解决非定向的病态问题来恢复细节，这对于实现可靠的目标检测和识别任务至关重要。超分辨率算法是一种利用单个或多个低分辨率图像恢复对应的的高分辨率图像的技术。图像超分辨方法是提高红外图像分辨率的最佳方法之一。
技术实现思路
为了解决
技术介绍
中存在的技术问题，针对红外成像系统，在成像过程中难以采用高效的方法获得高质量的红外图像，难以通过简单有效的办法提高红外图像的分辨率，现有的算法难以在红外图像的细节本文档来自技高网...

【技术保护点】
1.一种基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：该方法包括以下步骤：/n(1)使用红外可见光双分辨相机拍摄获得各种场景下的红外图像和可见光图像；/n(1.1)将相同场景的红外图像和可见光图像形成红外-可见光图像对；/n(2)将拍摄得到的红外-可见光图像对整理得到用于训练卷积神经网络的训练集；/n(3)以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将待测的红外相机拍摄得到的红外图像输入训练后的卷积神经网络模型，得到超分辨后的红外图像。/n

【技术特征摘要】
1.一种基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：该方法包括以下步骤：
(1)使用红外可见光双分辨相机拍摄获得各种场景下的红外图像和可见光图像；
(1.1)将相同场景的红外图像和可见光图像形成红外-可见光图像对；
(2)将拍摄得到的红外-可见光图像对整理得到用于训练卷积神经网络的训练集；
(3)以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将待测的红外相机拍摄得到的红外图像输入训练后的卷积神经网络模型，得到超分辨后的红外图像。


2.根据权利要求1所述的基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：
所述的红外可见光双分辨相机同时拥有红外成像系统和可见光成像系统，并且两个成像系统拥有平行或者相同的光轴，入射光通过分光棱镜分光后分别在两个成像系统上成像。


3.根据权利要求1所述的基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：所述步骤(3)具体是：
(3.1)以固定的初始化方法初始化卷积神经网络模型的模型参数，使得服从特定的分布；
(3.2)获得训练集中的可见光图像IVIS和红外图像IHR，对其中的可见光图像IVIS进行高频特征提取得到高频图像FVIS，对红外图像IHR通过双三次插值的方法进行下采样获得低分辨图像ILR；
(3.3)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，通过解卷积的操作对低分辨图像ILR进行处理以提高图像的尺寸得到解卷积图像DI；
(3.4)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对解卷积图像DI进行特征提取获得红外图像的高频信息在可见光图像上的映射图像FIR-VIS；
(3.5)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对解卷积图像DI进行特征提取和上采样操作，得到图像在各级卷积层上的特征图像FIRk，k＝1,2,....,n表示卷积层的级数；
(3.6)根据最后一级卷积层输出的特征图像和映射图像FIR-VIS进行逐像素相加，得到最终的高分辨红外图像ISR；
(3.7)根据步骤(3.4)得到的映射图像FIR-VIS和高频图像FVIS计算高频保真项误差LossVIS；
(3.8)根据步骤(3.6)得到的高分辨红外图像ISR和真实的红外图像IHR计算低分辨保真项误差LossIR；
(3.9)对计算得到的高频保真项误差LossVIS和低分辨保真项误差LossIR进行加权相加，得到总损失函数Loss，利用总损失函数Loss对卷积神经网络模型的模型参数进行优化调整；
(3.10)根据优化调整后的卷积神经网络模型的模型参数和低分辨图像ILR，继续进行步骤(3.3)至步骤(3.9)的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕；将数字成像系统拍摄得到的红外图像插值...

【专利技术属性】
技术研发人员：徐之海，杨一帆，冯华君，李奇，陈跃庭，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33