一种基于几何约束下区域搜索的图像配准方法技术

本发明专利技术针对相对位置固定的红外可见光双目成像应用场景，提出了一种几何约束下基于区域搜索图像配准方法。首先利用相机标定信息进行立体校正，使红外可见光二者处于同一高度之上，接着利用相位一致性计算鲁棒的边缘图，在边缘图的基础上，提出两阶段同名特征点搜索方法完成精确高效红外可见光图像配准。通过与其他算法在不同场景上的数据进行实验，结果表明相较于其他异源图像配准算法，本发明专利技术方法能够适用于红外可见光双目成像的配准，在不同场景的图像都保证了特征点匹配数量和配准效果，并且能很好适应弱光环境下的图像配准工作，相对于其他算法取得了明显的优势。于其他算法取得了明显的优势。于其他算法取得了明显的优势。

【技术实现步骤摘要】
一种基于几何约束下区域搜索的图像配准方法


[0001]本专利技术属于图像匹配领域，特别是涉及一种基于几何约束下区域搜索的图像配准方法。

技术介绍

[0002]在电力巡检、视频监视、无人驾驶、机器人视觉等领域中，常利用红外和可见光双目成像，将红外和可见光图像进行信息互补，这样可以提高后续应用的性能，如提高检测、识别等任务的精度。有效利用红外和可见光互补信息的前提，是通过高效的配准将两幅图像进行对齐，因此，研究红外和可见光双目成像中红外和可见光图像配准具有重要意义。
[0003]红外图像与可见光图像由于模态不同，图像存在着显著差异，配准难度大。红外图像根据目标的热辐射成像，能够排除光线和天气条件的影响，但通常分辨率较低，缺少纹理细节。相反地，可见光图像利用光反射成像，成像分辨率比较高，纹理细节丰富，明暗对比度高，但同时也更容易受到环境因素的影响。目前，已有的红外与可见光图像配准算法中，主要可以被分为基于区域、基于特征和基于学习三类。
[0004]基于区域的配准方法通常给定预变换模型。利用相似性度量和优化方法来估计变换参数，通过优化总体成本函数来对齐两幅图像的公共区域。例如，Yu等人通过灰度加权窗口策略从红外和可见光图像中检测边缘结构，通过归一化互信息提高配准性能。Y.N.等人将红外和可见光图像转化为边缘图，使用仿射和自由形态变换(Free
‑
Form Deformation,FFD)来解释粗配准和精配准的几何关系，通过最大化互信息(Mutual Information,MI)度量将红外和可见光图像进行配准。上述基于区域算法的算法很大程度受图像重叠区域图像内容的影响，红外和可见光之间严重的非线性强度差异，导致基于区域的方法配准精度不高，目前在实际中应用较少。
[0005]基于特征的方法是在提取图像特征点的基础上，通过特征描述算子描述特征，利用相似度度量准则获得特征集合间的匹配关系达到配准的目的。目前应用最为广泛，也最为精确。例如，Wang等人提出了SURF
‑
PIIFD
‑
RPM的鲁棒点匹配框架，该方法结合SURF特征提取与部分强度不变特征描述符(Partial Intensity Invariant Feature Descriptor,PIIFD)，利用单高斯鲁棒点匹配模型获得了更好的匹配性能。Jiang等人提出的CAO
‑
C2F算法利用曲率尺度空间(Curvature scale Space,CSS)角点检测器轮廓中的特征点，借助SIFT描述符进行特征点的匹配，实现了红外与可见光电力图像的配准。Li等人提出了一种基于辐射变化不敏感特征的多模配准方法(RIFT)。在基于相位一致性得到的角点和边缘特征点上，建构造多个方向的最大索引图实现特征旋转不变性。这些算法在匹配常规红外和清晰的可见光图像时表现出了良好的性能。但当图像质量下降如暗光环境时，图像细节不清晰，特征点之间相似性减弱，配准性能则会产生明显下降。
[0006]近年来，深度学习网络也被应用到了红外和可见光图像配准任务之中。例如，Wang等人提出了一种两阶段的对抗网络，包括模态转换和几何变换阶段，将可见光图像转换为红外图像并获得精确的配准图像；Moba等人提出了一种基于GAN网络的无监督的配准框架，
在红外和可见光上同时训练图像模态转换网络和配准网络，借助图像模态转换进而通过使用成熟的单模态度量来训练网络。但由于红外可见光数据集少、GAN网络难以训练收敛等原因，深度学习在红外和可见光配准任务中仍受到局限。
[0007]在红外和可见光双目相机中，由于两个相机相对位置固定，即红外和可见光相机成像的相对角度、位置等相对固定。而现有的红外和可见光配准算法没有考虑到两者相对位置固定的先验知识，在应用于红外可见光双目相机时，存在配准精度低，几何定位差异大等多模态配准的问题。

技术实现思路

[0008]本专利技术针对现有技术的不足，提供一种基于几何约束下区域搜索的图像配准方法。首先对红外相机和可见光相机进行双目标定，通过立体校正将两幅图像约束到同一水平高度，接着利用相位一致性特征提取红外和可见光的边缘图像，在边缘图上提取稳定的红外特征点，然后提出了两阶段的同名特征点搜索方法进行特征点搜索，先以归一化互相关(Normalized cross
‑
correlation，NCC)作为相似度度量估计两幅图像的整体水平偏移，再提出多尺度加权NCC作为相似性度量方式，以红外图像特征点为基准在可见光边缘图中进行区域同名特征点搜索得到匹配点，最后通过迭代式细化的方式剔除匹配误差较大的点，得到更加精确的配准模型。
[0009]为了达到上述目的，本专利技术提供的技术方案是：一种基于几何约束下区域搜索的图像配准方法，包括如下步骤：
[0010]步骤1，红外和可见光图像立体校正：利用相机标定得到的红外和可见光相机的内参和外参，通过立体校正可将红外和可见光图像约束到同一高度之上；
[0011]步骤2，基于相位一致性获取图像的边缘特征图：在步骤1校正后图像的基础上，计算红外和可见光图像的相位一致性相应图，并计算最大矩获得鲁棒的边缘特征图像，得到红外边缘图像I
iredge
和可见光边缘图像I
visedge
；
[0012]步骤3，红外边缘图像特征点提取：在红外边缘图像进行FAST特征点的提取，并剔除掉原红外图像中背景中的无用特征点，同时在设定的邻域范围内使用非极大值抑制策略，得到特征点分布更加均匀的特征点集V
ir
；
[0013]步骤4，两阶段特征点搜索匹配：先以NCC为衡量相似性指标计算两边缘图整体水平偏移参数，进一步减少后续同名特征点的搜索范围，降低时间复杂度；接着以步骤3得到的红外特征点集V
ir
为基准，在可见光边缘图像的搜索区域内，提出多尺度加权NCC作为相似性衡量指标，搜索最佳匹配点得到匹配的可见光图像特征点集V
vis
；
[0014]步骤5，误匹配的剔除：首先通过最小二乘法建立所有匹配特征点的变换模型，然后计算所有匹配点的误差和均方根误差，剔除不在设定邻域范围内的匹配点，直到均方根误差小于设定的阈值。
[0015]进一步的，步骤1的具体实现方式如下；
[0016]借助不同角度的多张黑白棋盘格图片，利用最小二乘法计算红外和可见光相机的内参和外参，然后通过Fusiello提出的方法对图像进行立体校正，将红外和可见光的图像校正到同一高度，红外和可见光图像的立体校正的计算公式如下：
[0017]I'
ir
＝rectify(I
ir
,K
ir
,R,T)
[0018]I'
vis
＝rectify(I
vis
,K
vis
,R,T)
[0019]其中，I
ir
和I
vis
表示未进行立体矫正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何约束下区域搜索的图像配准方法，其特征在于，包括如下步骤：步骤1，红外和可见光图像立体校正：利用相机标定得到的红外和可见光相机的内参和外参，通过立体校正可将红外和可见光图像约束到同一高度之上；步骤2，基于相位一致性获取图像的边缘特征图：在步骤1校正后图像的基础上，计算红外和可见光图像的相位一致性相应图，并计算最大矩获得鲁棒的边缘特征图像，得到红外边缘图像I
iredge
和可见光边缘图像I
visedge
；步骤3，红外边缘图像特征点提取：在红外边缘图像进行FAST特征点的提取，并剔除掉原红外图像中背景中的无用特征点，同时在设定的邻域范围内使用非极大值抑制策略，得到特征点分布更加均匀的特征点集V
ir
；步骤4，两阶段特征点搜索匹配：先以NCC为衡量相似性指标计算两边缘图整体水平偏移参数，进一步减少后续同名特征点的搜索范围，降低时间复杂度；接着以步骤3得到的红外特征点集V
ir
为基准，在可见光边缘图像的搜索区域内，提出多尺度加权NCC作为相似性衡量指标，搜索最佳匹配点得到匹配的可见光图像特征点集V
vis
；步骤5，误匹配的剔除：首先通过最小二乘法建立所有匹配特征点的变换模型，然后计算所有匹配点的误差和均方根误差，剔除不在设定邻域范围内的匹配点，直到均方根误差小于设定的阈值。2.如权利要求1所述的一种基于几何约束下区域搜索的图像配准方法，其特征在于：步骤1的具体实现方式如下；借助不同角度的多张黑白棋盘格图片，利用最小二乘法计算红外和可见光相机的内参和外参，然后通过Fusiello提出的方法对图像进行立体校正，将红外和可见光的图像校正到同一高度，红外和可见光图像的立体校正的计算公式如下：I'
ir
＝rectify(I
ir
,K
ir
,R,T)I'
vis
＝rectify(I
vis
,K
vis
,R,T)其中，I
ir
和I
vis
表示未进行立体矫正的红外和可见光图像，I
′
ir
和I
′
vis
分别表示立体矫正后的红外和可见光图像，rectify()表示校正函数，K
ir
和K
vis
分别表示红外相机和可见光相机的内参，[R,T]表示外参，R表示两个相机的相对旋转参数，T表示相对平移参数。3.如权利要求1所述的一种基于几何约束下区域搜索的图像配准方法，其特征在于：步骤2的具体实现方式如下；步骤2.1，采用Kevesi提出的基于相位一致性边缘检测算法分别提取和红外和可见光的边缘图，选取若干个方向和尺度的Log
‑
Gabor小波变换，计算每个方向上的相位一致性图，其计算公式如下：PC
ir
(θ
i
)＝calPC(I
ir
,θ
i
,s1,...,s4)PC
vis
(θ
i
)＝calPC(I
vis
,θ
i
,s1,...,s4)其中，calPC()表示边缘提取函数；θ
i
表示选取的Log
‑
Gabor滤波器方向，θ1～θ6分别为(0
°
,30
°
,60
°
,90
°
,120
°
,150
°
)，s1～s4表示四个频率尺度；步骤2.2，利用六个方向的相位一致性信息，通过矩分析方法得到PC图的最大矩M，计算公式如下：
其中，PC图的最大矩M代表了图像的边缘特征，具有亮度和对比度不变性，若像素点(x,y)处的最大矩M(x,y)>T，则该位置为边缘点，T表示边缘点检测阈值；对于红外和可见光异源图像，采用相同的阈值T得到细节程度相当的红外边缘图像I
iredge
和可见光边缘图像I
visedge
。4.如权利要求1所述的一种基于几何约束下区域搜索的图像配准方法，其特征在于：步骤3的具体实现...

【专利技术属性】
技术研发人员：张灿，黄珺，樊凡，马泳，
申请(专利权)人：武汉大学，
类型：发明
国别省市：