本发明专利技术提供了红外光图像和可见光图像融合的方法、系统和设备，包括：通过标定板获取具有对应关系的可见光图像和红外光图像之间的仿射矩阵，并统计不同距离的多个所述仿射矩阵获取仿射矩阵集合；根据所述仿射矩阵集合获取仿射矩阵与不同距离的图像的相关信息的对应关系集合；根据所述对应关系集合获取待融合红外光图像和待融合可见光图像的待融合仿射矩阵；根据所述待融合仿射矩阵对所述待融合红外光图像和待融合可见光图像进行图像融合。使得不同距离的待融合图像都可以根据算术模型准确的进行图像融合，节省人力物力。节省人力物力。节省人力物力。
【技术实现步骤摘要】
红外光图像和可见光图像融合的方法、系统和设备
[0001]本专利技术属于图像融合领域，尤其涉及红外光图像和可见光图像融合的方法、系统和设备。
技术介绍
[0002]图像融合技术是现在越来越容易碰到的一种技术，特别是对同一目标拍摄的红外图像和可见光图像的融合，其可以在融合图像中同时显示红外图像和可见光图像的细节，现有的图像融合技术主要包括以下方面：
[0003]1.基于各向异性扩散(anisotropic diffusion fusion，ADF)的方法，将原始图像分解为基础层和细节层，经过Karhunen
‑
Loeve变换后再进行线性叠加，最终组合得到融合图像，算法易于实现、融合后的损失小，但最终的视觉效果并不理想；
[0004]2.基于卷积神经网络(convolutional neural networks，CNN)和基于残差神经网络(ResNet)的方法，搭建卷积神经网络和残差神经网络，通过大量的训练优化参数进而融合图像，融合图像的性能指标较优，但需要构建数据集、消耗大量时间来训练耗时较长；
[0005]3.基于梯度转移融合(gradient transfer fusion，GTF)的方法，先构建了目标函数，通过迭代求解目标函数，使得融合后的图像更接近红外图像，并且保留了更多的外观信息，其优势在于融合后的视觉效果好，但由于需要迭代求解，算法无法达到实时处理的要求；
[0006]4.基于潜在低秩表示(latent low
‑
rank representation，LatLRR)的方法，先对原始图像进行分解得到低秩部分和显著部分，再用两种不同的策略进行融合，最后重建得到图像，但其视觉效果不是非常理想。
技术实现思路
[0007]本专利技术实施例的主要目的在于提供红外光图像和可见光图像融合的方法、系统和设备，使得不同距离的待融合图像都可以根据算术模型准确的进行图像融合，节省人力物力。
[0008]第一方面，提供了红外光图像和可见光图像融合的方法，所述方法包括：
[0009]通过标定板获取具有对应关系的可见光图像和红外光图像之间的仿射矩阵，并统计不同距离的多个所述仿射矩阵获取仿射矩阵集合，所述对应关系为在相同位置对同一物体进行的拍照；
[0010]根据所述仿射矩阵集合获取仿射矩阵与不同距离的红外光图像的相关信息的对应关系集合；
[0011]根据所述对应关系集合获取待融合红外光图像和待融合可见光图像的待融合仿射矩阵；
[0012]根据所述待融合仿射矩阵对所述待融合红外光图像和待融合可见光图像进行图像融合。
[0013]在一个可能的实现方式中，所述通过标准标定板获取具有对应关系的可见光图像和红外光图像之间的仿射矩阵，包括：
[0014]在设定标定距离下分别获取可见光图像和红外图像；
[0015]分别提取设定标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准设定标定距离下可见光图像各圆心与红外图像各圆心，计算设定标定距离下的仿射矩阵；
[0016]根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。
[0017]在另一个可能的实现方式中，所述根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵，具体包括：
[0018]对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；
[0019]根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，生成各个设定距离下的仿射矩阵。
[0020]在另一个可能的实现方式中，所述修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：
[0021]运用最邻近距离法修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。
[0022]在另一个可能的实现方式中，所述根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。
[0023]在另一个可能的实现方式中，所述根据所述仿射矩阵集合获取仿射矩阵与不同距离的红外光图像的相关信息，包括：
[0024]根据对焦原理，通过霍尔元件获取所述待融合红外光图像和待融合可见光图像的相关信息，所述相关信息包括：x方向分量和y方向分量，所述x方向分量为红外光图像的长度信息，所述y方向分量为红外光图像的宽度信息。
[0025]在另一个可能的实现方式中，所述根据所述待融合仿射矩阵对所述待融合红外光图像和待融合可见光图像进行图像融合，包括：
[0026]根据所述待融合仿射矩阵对所述待融合可见光图像进行仿射变换，获取变换后可见光图像；
[0027]从所述变换后可见光图像中提取高频图像信息；
[0028]将所述高频图像信息叠加到所述待融合红外光图像，获取融合图像。
[0029]在另一个可能的实现方式中，所述根据所述仿射矩阵集合获取仿射矩阵与不同距离的图像的相关信息的对应关系集合，包括：
[0030]根据所述仿射矩阵集合获取平均仿射矩阵，包括：
[0031]获取所述仿射矩阵集合中仿射矩阵的旋转分量平均值和缩放分量平均值；
[0032]根据所述旋转分量平均值和缩放分量平均值获取平均仿射矩阵；
[0033]根据所述平均仿射矩阵和待获取仿射矩阵，通过最邻近偏移距离算法获取不同距离的待获取仿射矩阵的偏移量，所述偏移量包括：X方向偏移量t1和Y方向偏移量t2；
[0034]对多个所述偏移量进行插值计算，获取所述偏移量与仿射矩阵的对应关系集合。
[0035]第二方面，提供了一种红外光图像和可见光图像融合的系统，所述系统包括：
[0036]仿射矩阵集合获取模块，用于通过标定板获取具有对应关系的可见光图像和红外光图像之间的仿射矩阵，并统计不同距离的多个所述仿射矩阵获取仿射矩阵集合，所述对应关系为在相同位置对同一物体进行的拍照；
[0037]对应关系集合获取模块，用于根据所述仿射矩阵集合获取仿射矩阵与不同距离的红外光图像的相关信息的对应关系集合；
[0038]待融合仿射矩阵获取模块，用于根据所述对应关系集合获取待融合红外光图像和待融合可见光图像的待融合仿射矩阵；
[0039]图像融合模块，用于根据所述待融合仿射矩阵对所述待融合红外光图像和待融合可见光图像进行图像融合。
[0040]第三方面，提供了一种设备，包括存储器本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种红外光图像和可见光图像融合的方法，其特征在于，所述方法包括：通过标定板获取具有对应关系的可见光图像和红外光图像之间的仿射矩阵，并统计不同距离的多个所述仿射矩阵获取仿射矩阵集合，所述对应关系为在相同位置对同一物体进行的拍照；根据所述仿射矩阵集合获取仿射矩阵与不同距离的红外光图像的相关信息的对应关系集合；根据所述对应关系集合获取待融合红外光图像和待融合可见光图像的待融合仿射矩阵；根据所述待融合仿射矩阵对所述待融合红外光图像和待融合可见光图像进行图像融合。2.如权利要求1所述的方法，其特征在于，所述通过标准标定板获取具有对应关系的可见光图像和红外光图像之间的仿射矩阵，包括：在设定标定距离下分别获取可见光图像和红外图像；分别提取设定标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准设定标定距离下可见光图像各圆心与红外图像各圆心，计算设定标定距离下的仿射矩阵；根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。3.如权利要求2所述的方法，其特征在于，所述根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵，具体包括：对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，生成各个设定距离下的仿射矩阵。4.如权利要求3所述的方法，其特征在于，所述修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：运用最邻近距离法修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。5.如权利要求4所述的方法，其特征在于，所述根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。6.如权利要求1所述的方法，...
【专利技术属性】
技术研发人员：黄晟，付航，钟波，
申请(专利权)人：武汉高德智感科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。