一种红外可见光图像融合方法、设备及配准方法技术

本发明专利技术公开了一种红外可见光图像融合方法、设备及配准方法，该红外可见光图像融合方法提取各个标定距离下提取可见光图像与红外图像中标定板的圆心并保存，通过配准可见光图像各圆心与红外图像各圆心，计算各个距离下的仿射矩阵，对所有仿射仿射矩阵求取平均值，利用圆心与所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值并运用最邻近距离法求取各个距离下X方向偏移分量与Y方向偏移分量，最后用插值的方式得到各个距离下的X方向偏移分量与Y方向偏移分量，实现任意距离的可见光图像与红外图像的仿射矩阵生成，最终在红外图像上叠加上可见光高频信息实现融合，实现了在任意距离下双光图像配准与融合。实现了在任意距离下双光图像配准与融合。实现了在任意距离下双光图像配准与融合。

【技术实现步骤摘要】
一种红外可见光图像融合方法、设备及配准方法


[0001]本专利技术属于图像处理技术
，具体涉及一种红外可见光图像融合方法、设备及配准方法。

技术介绍

[0002]现有的红外可见光融合方法大多基于定焦红外镜头和定焦可见光镜头进行图像采集，如CPU获得红外图像和可见光图像后，执行相应的双光融合算法将可见光图像中的目标细节叠加到红外图像上。
[0003]因为摄像头是定焦的，所以无论是红外还是可见光图像，都只是针对特定距离的目标场景，但是红外镜头通常无法与可见光镜头的焦距和视场角保持一致，在近距离目标场景中，物体成像大小不一致的现象就会表现得尤为明显，这就导致了当前业内的图像融合方法只在一段距离上的双光融合效果较好，对于近距离场景就会出现较大的图像融合误差。
[0004]现有的图像融合方法有：
[0005]1.基于各向异性扩散(anisotropic diffusion fusion，ADF)的方法，将原始图像分解为基础层和细节层，经过Karhunen
‑
Loeve变换后再进行线性叠加，最终组合得到融合图像，算法易于实现、融合后的损失小，但最终的视觉效果并不理想。
[0006]2.基于卷积神经网络(convolutional neural networks，CNN)和基于残差神经网络(ResNet)的方法，搭建卷积神经网络和残差神经网络，通过大量的训练优化参数进而融合图像，融合图像的性能指标较优，但需要构建数据集、消耗大量时间来训练耗时较长。
[0007]3.基于梯度转移融合(gradienttransfer fusion，GTF)的方法，先构建了目标函数，通过迭代求解目标函数，使得融合后的图像更接近红外图像，并且保留了更多的外观信息，其优势在于融合后的视觉效果好，但由于需要迭代求解，算法无法达到实时处理的要求。
[0008]4.基于潜在低秩表示(latent low
‑
rankrepresentation，LatLRR)的方法，先对原始图像进行分解得到低秩部分和显著部分，再用两种不同的策略进行融合，最后重建得到图像，但其视觉效果不是非常理想。

技术实现思路

[0009]本专利技术的目的在于克服现有技术中的至少一种缺陷，提供了一种红外可见光图像融合方法、设备及配准方法，本专利技术实现了在任意距离下双光图像配准与融合，能够实现实时性，同时达到不错的视觉效果。
[0010]本专利技术的技术方案是这样实现的：本专利技术公开了一种红外可见光图像融合方法，包括如下步骤：
[0011]获取可见光图像和红外图像；
[0012]进行双光图像融合，具体包括：获取当前目标距离，根据当前目标距离获得其对应
的仿射矩阵，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合。
[0013]进一步地，图像融合步骤前，还包括如下步骤：获得并保存设定距离下可见光图像对应红外图像的仿射矩阵。
[0014]进一步地，获得设定距离下可见光图像对应红外图像的仿射矩阵，具体包括：
[0015]在设定的各个标定距离下分别获取可见光图像和红外图像；
[0016]分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；
[0017]根据各个标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。
[0018]进一步地，根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵，具体包括：
[0019]对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；
[0020]根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，生成各个设定距离下的仿射矩阵。
[0021]进一步地，生成各个设定距离下的仿射矩阵，具体包括：根据各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值生成各个设定距离下的仿射矩阵。
[0022]进一步地，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：
[0023]运用最邻近距离法修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。
[0024]进一步地，根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。
[0025]进一步地，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：
[0026]利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，运用最邻近距离法计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。
[0027]进一步地，根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算各个设
定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。
[0028]进一步地，获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，具体包括：根据当前目标距离查表获得其对应的仿射矩阵，或根据当前目标距离查表获得其对应的仿射矩阵的X方向偏移分量和Y方向偏移分量，将当前目标距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值赋给仿射矩阵，即可得到当前目标距离对应的仿射矩阵。
[0029]进一步地，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像，具体包括：根据当前目标距离对应的仿射矩阵对可见光图像进行仿射变换，将变换后的可见光图像与获取的红外图像进行融合，得到融合图像。
[0030]进一步地，将变换后的可见光图像与获取的红外图像进行融合，得到融合图像，具体包括：从变换后的可见光图像中提取可见光高频信息，将所述可见光高频信息叠加到红外图像上，得到融合图像。
[0031]进一步地，将所述融合图像转换为RGB融合图像。
[0032]进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外可见光图像融合方法，其特征在于，包括如下步骤：获取可见光图像和红外图像；进行图像融合，具体包括：获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像。2.如权利要求1所述的红外可见光图像融合方法，其特征在于：图像融合步骤前，还包括如下步骤：获得并保存设定距离下可见光图像对应红外图像的仿射矩阵。3.如权利要求2所述的红外可见光图像融合方法，其特征在于：设定距离下可见光图像对应红外图像的仿射矩阵的获取方法，具体包括：在设定标定距离下分别获取可见光图像和红外图像；分别提取设定标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准设定标定距离下可见光图像各圆心与红外图像各圆心，计算设定标定距离下的仿射矩阵；根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。4.如权利要求3所述的红外可见光图像融合方法，其特征在于：根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵，具体包括：对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，生成各个设定距离下的仿射矩阵。5.如权利要求4所述的红外可见光图像融合方法，其特征在于：修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：运用最邻近距离法修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。6.如权利要求4所述的红外可见光图像融合方法，其特征在于：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量...

【专利技术属性】
技术研发人员：黄晟，钟波，
申请(专利权)人：武汉高德智感科技有限公司，
类型：发明
国别省市：