一种基于双目标定的红外与可见光图像配准方法技术

本发明专利技术提供一种基于双目标定的红外与可见光图像配准方法，该方法包括：使用前，预先标定得到红外与可见光双目相机的内外参数，以获取二者所拍摄图像之间的极线表达式；实际应用时，首先对采集到的红外与可见光图像分别使用特征点提取算法提取特征点，并根据特征点之间的相似性对特征点进行粗匹配；在粗匹配的特征点对集合中，根据特征点与其相对应极线的距离，剔除不满足极限约束的特征点对；利用未被剔除的特征点对，计算两幅图像之间的仿射变换矩阵完成图像配准。通过上述方式，根据极限约束的原理从相机空间关系压缩特征点配对的区域，降低了红外与可见光图像配准时特征点误匹配几率，取得高精度的配准效果。取得高精度的配准效果。取得高精度的配准效果。

【技术实现步骤摘要】
一种基于双目标定的红外与可见光图像配准方法


[0001]本专利技术涉及图像配准技术和计算机视觉
，特别是一种基于双目标定的红外与可见光图像配准方法。

技术介绍

[0002]可见光图像反映物体的光反射信息，具有高分辨率、纹理清晰等优势，但其需要良好的照明条件抗干扰能力差；红外图像反映物体的温度辐射信息，能够在雨、雾、无光条件下获取目标的轮廓信息，二者信息具有良好的互补性。红外与可见光图像的融合广泛应用于军事侦察、电力巡检、森林防火以及人体测温等众多领域。由于红外相机与可见光相机光轴不重合，其拍摄的图像存在空间上的误差，要实现红外图像与可见光图像的融合，首先需要对二者进行配准，使得两图中对应于空间同一位置的点一一对应起来。
[0003]基于特征的图像配准方法因其不依赖于硬件，适应性强，被广泛应用于图像配准领域，其针对单一模态的图像配准具有非常强的鲁棒性，因为单一模态图像相似度高，特征点匹配难度低。但是由于成像原理的不同，红外与可见光图像存在较大的差异，使用基于特征的配准方法极易出现特征点误匹配的现象。有学者针对不同的应用场景设计具有针对性的特征点配准算法，误匹配现象有所改善，但效果仍然差强人意。
[0004]也有不少学者研究基于光学结构的图像配准方法，如采用平行光轴和共光轴结构，二者对装调精度都有十分严格的要求，调校难度大。另外，平行光轴结构下红外与可见光成像存在着不可消除的像差，其配准最佳效果只出现在特定距离，拍摄距离的改变可能引起配准方法的失效；共光轴结构多通过半透半反射或是折反射镜头技术实现，均会导致光强的衰弱，影响最终成像质量。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于双目标定的红外与可见光图像配准方法，通过极线约束原理压缩特征匹配区域以降低误匹配几率，极线的方程通过双目相机标定获取，不需要对光学结构进行精密的调校。
[0006]为实现上述目的，本专利技术采用如下技术方案：一种基于双目标定的红外与可见光图像配准方法，包括以下步骤：
[0007]步骤S1：基于张氏标定法使用红外与可见光双波段标定板进行双目相机标定，获取两个相机的内参数和外参数，以此得出两个相机拍摄图像之间的极线表达式；
[0008]步骤S2：实际应用时，对采集到红外与可见光图像分别使用特征点提取算法提取特征点，并根据特征点之间的相似性对特征点进行粗匹配；
[0009]步骤S3：在粗匹配的特征点对集合中，根据特征点与其相对应极线的距离，剔除不满足极限约束的特征点对；
[0010]步骤S4：利用未被剔除的特征点对，计算两幅图像之间的仿射变换矩阵完成图像配准。
[0011]在一较佳的实施例中，所述步骤1包括以下步骤：
[0012]步骤S11：用双目视觉系统的红外相机C
ir
和可见光相机C
vis
从多个角度采集已知尺寸的双波段标定靶标图像，并保证靶标图案在标定靶标在C
ir
和C
vis
中均清晰、完整；
[0013]步骤S12：对每幅标定图像检测靶标角点像素坐标；
[0014]步骤S13：利用靶标图像的角点像素坐标，通过靶标角点从世界坐标系到像素坐标系的转换，建立物像方程并利用最小二乘法得到C
ir
的内参数K
ir
、C
vis
的内参数K
vis
以及Cir与Cvis之间的旋转矩阵R、平移矩阵t；
[0015]步骤S14：根据极线约束原理，某一个物点在C
ir
所拍摄图像中的像素点为p
ir
(x
ir
,y
ir
)，那么该物点在C
vis
所拍摄图像中的像素点p
vis
(x
vis
,y
vis
)一定在相对于p
ir
的极线L
vis
上；
[0016]L
vis
·
p
vis
＝0
[0017]极线方程可由Cir与Cvis的内、外参数求取求取：
[0018][0019]其中，A、B、C分别为极线表达式的三个系数，t^表示平移矩阵t的反对称矩阵；
[0020]因此，得到这样一个关系式，如果两点满足极限约束，则满足：
[0021]Ax
vis
+By
vis
+C＝0。
[0022]在一较佳的实施例中，所述步骤S2中的特征点提取算法目的在于提取红外与可见光图像中共有的、特征明显的特征点即边缘、角点、闭区域的中心，并建立相应的特征点描述符用于后续匹配特征点；特征点匹配算法目的在于通过红外与可见光图像特征点描述符的相似性，寻找代表同一个物点的图像特征点，另外不限于进行单次匹配，使用RANSAC等误匹配剔除算法保证特征点匹配的准确性。
[0023]在一较佳的实施例中，所述步骤S2包括以下步骤：
[0024]步骤S21：选用合适的特征点提取算法提取红外图像特征点与可见光图像中的特征点，并建立相应的描述符；
[0025]步骤S22：根据特征点描述符的相似性，寻找代表同一现实世界物点的特征点对，进行粗匹配。
[0026]在一较佳的实施例中，所述步骤S3具体为：
[0027]对粗匹配的每一对特征点进行极线条件判断，判断特征点与其相对应极线的距离，距离大于所设阈值则认为该点不满足极线约束，予以剔除；计算红外特征点p
ir
其所对应的在可见光图像上的极线L
vis
，若该对特征点为正确匹配即p
ir
与p
vis
所代表的的是现实世界中的同一个像点，其应满足极线约束p
vis
位于L
vis
上，即满足所述的
[0028]Ax
vis
+By
vis
+C＝0
[0029]考虑相机标定所得的内、外参存在误差，以及实际应用时相机产生抖动使实际内、外参与标定时不同，可能会导致的极线表达式产生误差；为消除这种误差带来的影响，当p
vis
距离L
vis
的距离小于阈值T时，即认为该对特征点满足极线约束，即：
[0030]Ax
vis
+By
vis
+C<T
[0031]否则，认为该对特征点不满足极线约束，为误匹配特征点对，将其剔除。
[0032]在一较佳的实施例中，极线约束判断并不限于以红外特征点计算可见光图像极线判断可见光特征点是否满足极线约束，同理可见光特征点计算红外图像极线判断红外特征点是否满足极限约束，亦或对红外特征点与可见光特征点均进行极线约束条件判断。
[0033]在一较佳的实施例中，所述步骤S4具体包括：
[0034]以红外图像为基准，利用仿射变换对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目标定的红外与可见光图像配准方法，其特征在于，包括以下步骤：步骤S1：基于张氏标定法使用红外与可见光双波段标定板进行双目相机标定，获取两个相机的内参数和外参数，以此得出两个相机拍摄图像之间的极线表达式；步骤S2：实际应用时，对采集到红外与可见光图像分别使用特征点提取算法提取特征点，并根据特征点之间的相似性对特征点进行粗匹配；步骤S3：在粗匹配的特征点对集合中，根据特征点与其相对应极线的距离，剔除不满足极限约束的特征点对；步骤S4：利用未被剔除的特征点对，计算两幅图像之间的仿射变换矩阵完成图像配准。2.根据权利要求1所述的一种基于双目标定的红外与可见光图像配准方法，其特征在于，所述步骤1包括以下步骤：步骤S11：用双目视觉系统的红外相机C
ir
和可见光相机C
vis
从多个角度采集已知尺寸的双波段标定靶标图像，并保证靶标图案在标定靶标在C
ir
和C
vis
中均清晰、完整；步骤S12：对每幅标定图像检测靶标角点像素坐标；步骤S13：利用靶标图像的角点像素坐标，通过靶标角点从世界坐标系到像素坐标系的转换，建立物像方程并利用最小二乘法得到C
ir
的内参数K
ir
、C
vis
的内参数K
vis
以及Cir与Cvis之间的旋转矩阵R、平移矩阵t；步骤S14：根据极线约束原理，某一个物点在C
ir
所拍摄图像中的像素点为p
ir
(x
ir
,y
ir
)，那么该物点在C
vis
所拍摄图像中的像素点p
vis
(x
vis
,y
vis
)一定在相对于p
ir
的极线L
vis
上；L
vis
·
p
vis
＝0极线方程可由Cir与Cvis的内、外参数求取求取：其中，A、B、C分别为极线表达式的三个系数，t^表示平移矩阵t的反对称矩阵；因此，得到这样一个关系式，如果两点满足极限约束，则满足：Ax
vis
+By
vis
+C＝0。3.根据权利要求1所述的一种基于双目标定的红外与可见光图像配准方法，其特征在于，所述步骤S2中的特征点提取算法目的在于提取红外与可见光图像中共有的、特征明显的特征点即边缘、角点、闭区域...

【专利技术属性】
技术研发人员：沈英，陈海涛，黄峰，吴靖，
申请(专利权)人：七二发明人，
类型：发明
国别省市：