基于深度学习的红外图像与可见光图像配准方法技术

本发明专利技术属于图像处理与计算机视觉技术领域，涉及一种基于深度学习的红外图像与可见光图像配准方法，包括根据可见光图像得到生成图像；根据红外图像和生成图像得到控制点的位移矢量和空间变换器的局部变形参数；空间变形器和重采样器根据红外图像得到变形图像；将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果；本发明专利技术第一阶段利用少量监督信息生成红外图像，第二阶段基于卷积神经网络做可变形图像配准，从而实现了可见光图像与红外图像间的配准。

【技术实现步骤摘要】
基于深度学习的红外图像与可见光图像配准方法
本专利技术属于图像处理与计算机视觉
，涉及一种基于深度学习的红外图像与可见光图像配准方法。
技术介绍
可见光图像与红外图像属于两种不同的形态，红外图像根据物体的热辐射成像，具有丰富热辐射信息，且不受光线、背景杂波、成像距离的影响；但是，红外图像会丢失纹理、结构等细节。可见光图像具有丰富的颜色和纹理信息，然而，可见光图像很容易受到照明，遮挡等因素的影响。红外图像和可见光图像包含的信息具有互补性，其互补性在检测和识别，模式识别的场景分析，遥感图像，医学图像，现代军队，夜间监视等领域有广泛的应用。为充分利用可见光图像与红外图像的互补信息，配准两种图像是最基本和最关键的步骤。图像配准即在变换空间中寻找一种最优的变换，使两幅图像通过该变换能实现转换。目前，关于图像配准的方法主要分为三种：第一种是基于区域的方法，这类方法直接处理图像强度值，通过计算两个图像中滑动窗口对的相似性，并考虑最相似的部位作为对应关系；第二种是基于特征的方法，这类方法是通过确定的显著特征定义相似性约束以找到特征之间的空间变换。但是由于红外线频谱通常分辨率低且模糊，难以提取可靠的关键点特征，基于特征的方法通常不能很好地在红外和可见图像配准任务上工作。第三种是基于卷积神经网络的方法，现存的方法中，配准图像对是相同的图像光谱或者差别很小的图像光谱，基于提取的特征的差异直接训练卷积神经网络。然而，由于红外图像和可见光图像之间的巨大的成像差异，该训练方法不适用于红外和可见光图像的配准问题。基于以上分析，我们认为可以用生成对抗网络将可见光图像转换为可见光图像，在同一种形态下用卷积神经网络学习图像对中关于局部位移的特征表示，从而实现红外与可见光图像的配准。
技术实现思路
为了实现红外与可见光图像的配准本专利技术提出一种基于深度学习的红外图像与可见光图像配准方法，包括以下步骤：S1、将同一场景的红外图像和可见光图像裁剪到固定尺寸并拼接在一起，将拼接后的图像分为训练集和测试集；S2、将可见光图像作为输入，对应的红外图像作为标签训练生成对抗网络，得到由可见光图像生成的生成图像；S3、使用固定尺寸滑动窗口在红外图像和生成图像上滑动，将两幅图像相同位置的图像块成对送入卷积神经网络，得到控制点的位移矢量和空间变换器的局部变形参数；S4、空间变换器根据局部变形参数和控制点的位移矢量生成密集位移矢量场，然后重采样器利用密集位移矢量场将原红外图像变形为类似生成图像的变形图像；S5、将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果。优选的，步骤S1具体包括：将可见光图像与红外图像裁剪到256×256的固定尺寸，可见光图像像素值从[0,1]转化为[-1,1]；可见光图像颜色通道的输入值从[-110,110]转化为[-1,1]。优选的，步骤S2中对抗网络包括生成网络和判决网络，在生成网络中，将可见光图像和随机噪声作为生成网络的输入，生成网络根据可见光图像和随机噪声多个不同的红外图像伪样本，即生成图像，其中生成图像的数据分布服从可见光图像数据分布；判决网络对图像来源做二分类判别：来源于真实样本、即红外图像，来源于生成器的伪样本、即生成图像；判决网络对生成图像和红外图像的来源进行判别；若判决网络能分辨出生成图像和红外图像的来源，将生成图像和红外图像的差异作为损失函数反馈给生成网络，生成网络、判决网络和生成网络与判决网络之间的反馈构成对抗网络。优选的，步骤S3具体包括：S31、用滑动窗口取原红外图像与生成图像相同位置的图像块，成对送入卷积神经网络；滑动窗口取步长为1，遍历整个图像；S32、经过四个交替的3×3的零填充卷积层和2×2的平均池化的下采样层，保留输入图像的高阶特征；S33、经过3个1×1的全连接层学习图像中对于局部位移很重要的特征表示，并输出空间对应的红外图像和生成图像对的变形参数。优选的，将两图像的差异作为损失函数反向传播以优化网络包括：计算变形图像与生成图像之间的结构相似性SSIMX,F，并将变形图像与生成图之间的不相似型1-SSIMX,F作为损失函数反向传播以优化网络；两个图像之间的结构相似性SSIMX,F的定义为：其中，SSIMX,F表示生成图像X和变形图像F之间的结构相似性，x表示在大小为M×N的局部窗口中生成图像的图像块，f表示在大小为M×N的局部窗口中变形图像的图像块；σx表示生成图像的标准差，σx表示变形图像的标准差，σxf是生成图像和变形图像的标准协方差，μx表示生成图像的平均值，μf表示变形图像的平均值；C1、C2以及C3为算法稳定参数。优选的，在进行红外图像和可见光图像的拼接之前，对可见光图像进行高斯滤波处理，对红外图像进行线性增强处理。本专利技术的创新之处在于红外与可见光图像形态差异巨大且红外图像比较模糊，本专利技术通过GAN网络把可见光转化为红外图像，从而在一种形态下进行比较。附图说明图1为本专利技术基于深度学习的红外图像与可见光图像配准方法整体流程示意图；图2为本专利技术基于深度学习的红外图像与可见光图像配准方法整体构架示意图；图3为本专利技术的卷积神经网络结构示意图；图4为本专利技术实施例中一张红外图像和可见光图像拼接的图像；图5为本专利技术实施例中图4图像的最后配准结果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种基于深度学习的红外图像与可见光图像配准方法，如图1，包括以下步骤：S1、将同一场景的红外图像和可见光图像裁剪到固定尺寸并拼接在一起，将拼接后的图像分为训练集和测试集；S2、将图像的可见光图像作为输入，图像的红外图像作为标签训练生成对抗网络，得到该可见光图像的生成图像；S3、使用固定尺寸滑动窗口在红外图像和生成图像上滑动，将两幅图像相同位置的图像块成对送入卷积神经网络，得到控制点的位移矢量和空间变换器的局部变形参数；S4、空间变换器根据局部变形参数和控制点的位移矢量生成密集位移矢量场，然后重采样器利用密集位移矢量场将红外图像变形为类似生成图像的变形图像；S5、将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化卷积神经网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果。本专利技术提供一种具体实施方式，在本实施例中使用的数据包包括12个场景下的可见光与红外图像，共有400对真实样本，将可见光图像与红外图像裁剪到256×256的固定尺寸，可见光图像像素值从[0,1]转化为[-1,1]；可见光图像颜色通道的输入值从[-110,110]转化为[-1,1]；其中可见光图像是真实样本红外图像作为训练标签是可见光图像的转换方向，可见光图像是彩色的，要转化到红外图像颜色范围需要压缩，而将像素值的范围扩大是为了对比度明显。将可见光图像作为输入，对应的红外图像作为标本文档来自技高网...

【技术保护点】
1.基于深度学习的红外图像与可见光图像配准方法，其特征在于，包括以下步骤：S1、将同一场景的红外图像和可见光图像裁剪到固定尺寸并拼接在一起，将拼接后的图像分为训练集和测试集；S2、将图像的可见光图像作为输入，图像的红外图像作为标签训练生成对抗网络，在对抗网络中得到该可见光图像的生成图像；S3、使用固定尺寸滑动窗口在红外图像和生成图像上滑动，将两幅图像相同位置的图像块成对送入卷积神经网络，得到控制点的位移矢量和空间变换器的局部变形参数；S4、空间变换器根据局部变形参数和控制点的位移矢量生成密集位移矢量场，然后重采样器利用密集位移矢量场将红外图像变形为类似生成图像的变形图像；S5、将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化卷积神经网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果。

【技术特征摘要】
1.基于深度学习的红外图像与可见光图像配准方法，其特征在于，包括以下步骤：S1、将同一场景的红外图像和可见光图像裁剪到固定尺寸并拼接在一起，将拼接后的图像分为训练集和测试集；S2、将图像的可见光图像作为输入，图像的红外图像作为标签训练生成对抗网络，在对抗网络中得到该可见光图像的生成图像；S3、使用固定尺寸滑动窗口在红外图像和生成图像上滑动，将两幅图像相同位置的图像块成对送入卷积神经网络，得到控制点的位移矢量和空间变换器的局部变形参数；S4、空间变换器根据局部变形参数和控制点的位移矢量生成密集位移矢量场，然后重采样器利用密集位移矢量场将红外图像变形为类似生成图像的变形图像；S5、将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化卷积神经网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果。2.根据权利要求1所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，步骤S1中红外图像和可见光图像裁剪到256×256的固定尺寸。3.根据权利要求2所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，将裁减后的可见光图片压缩压缩到红外图像的颜色范围内，即将可见光图像颜色通道的输入值从[-110,110]转化为[-1,1]，并将可见光图像像素值从[0,1]转化为[-1,1]。4.根据权利要求1所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，步骤S2中对抗网络包括生成网络和判决网络，在生成网络中，将可见光图像和随机噪声作为生成网络的输入，生成网络根据可见光图像和随机噪声多个不同的红外图像的伪样本，即生成图像，其中生成图像的数据分布服从可见光图像数据分布；判决网络对图像来源做二分类判别：来源于...

【专利技术属性】
技术研发人员：高陈强，周美琪，胡凯，周风顺，廖诗沙，李鹏程，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50