基于互信息配准的可见光与红外相机联合标定方法技术

本发明专利技术公开了基于互信息配准的可见光与红外相机联合标定方法，属于图像处理和计算机视觉领域。通过提取并匹配特征点来对外参进行修正。为了缩小特征点的匹配范围，在特征点检测之前，本发明专利技术通过互信息来对红外图像和可见光图像进行配准。根据配准之后的结果进行匹配，可以有效利用可见光图像和红外图像之间的位置关系，从而更加有效的对红外相机和可见光相机进行联合自标定，操作简便，结果精确。

Joint calibration method of visible and infrared camera based on mutual information registration

【技术实现步骤摘要】
基于互信息配准的可见光与红外相机联合标定方法
本专利技术属于图像处理和计算机视觉领域，涉及基于互信息配准的可见光与红外相机联合标定方法。
技术介绍
红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。红外相机成像的优点是在极端场景(低光、雨雪、浓雾等)也可以成像，缺点是分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合起来具有重大的现实意义。立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低本文档来自技高网...

【技术保护点】
1.基于互信息配准的可见光与红外相机联合标定方法，其特征在于，包括如下步骤：/n1)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；/n2)根据红外图像与可见光图像的互信息确定红外图像在可见光图像的最佳对应位置，即对红外图像和可见光图像进行配准；/n3)在配准后的红外图像和可见光图像上分别提取特征点；/n4)对上一步提取的特征点进行匹配；/n5)根据步骤2)和步骤3)的结果计算配准后的红外图像特征点对应于红外原图像的特征点；/n6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)；/n...

【技术特征摘要】
1.基于互信息配准的可见光与红外相机联合标定方法，其特征在于，包括如下步骤：
1)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；
2)根据红外图像与可见光图像的互信息确定红外图像在可见光图像的最佳对应位置，即对红外图像和可见光图像进行配准；
3)在配准后的红外图像和可见光图像上分别提取特征点；
4)对上一步提取的特征点进行匹配；
5)根据步骤2)和步骤3)的结果计算配准后的红外图像特征点对应于红外原图像的特征点；
6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)；
7)修正标定结果：使用所有特征点的图像坐标计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。


2.根据权利要求1所述的基于互信息配准的可见光与红外相机联合标定方法，其特征在于，步骤1)原图校正，包括以下步骤：
1-1)计算图像的像素点对应的正规坐标系下的坐标；其中，正规坐标系是相机坐标系在平面Z＝1的投影；而相机坐标系是以相机的中心作为图像坐标系的原点，以图片方向为XY轴方向，以垂直于图像为Z轴方向的坐标系；像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行；像素坐标系的单位是像素；像素坐标与正规坐标的关系如下：
u＝KX



其中，表示图像的像素坐标；表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距，单位是像素，(cx，cy)表示相机的主点位置，即相机中心在图像上的对应位置；是正规坐标系下的坐标；已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即X＝K-1u；
1-2)去除图像畸变：图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变；径向畸变的表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数；
图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数；
畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x，y)是理想状态下的正规坐标，(xd，yd)是实际带有畸变的正规坐标；
1-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得：
Xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标；将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；
1-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。


3.根据权利要求1所述的基于互信息配准的可见光与红外相机联合标定方法，其特征在于，步骤2)中对红外图像和可见光图像进行配准，包括以下步骤：
2-1)将红外图像和可见光图像按照同比例系数s缩小；
2-2)计算缩小后最佳位置：使用归一化互信息描述红外图像和可见光图像重合区域的相似程度；
归一化互信息：



其中，互信息是描述两个随机变量之间的相关熵，即任意变量包含另一个任意变量的信息多少；H(A)和H(B)分别表示图像A和图像B的熵，H(A，B)表示图像A和图像B重叠区域的联合熵；图像的熵表示图像包含的信息量，其计算公式如下



P(a)表示图像A上的灰度概率分布；a∈[0，255]
图像的联合熵的计算公式如下：



PAB(a，b)表示图像A和图像B重叠区域上的灰度联合概率分布，a∈[0，255]，b∈[0，255]；
记缩小的红外图像A0相对于缩小的可见光图像B0的位置是t0，A0(t0)和B0(t0)表示A0和B0在位置t0上的重叠区域，计算缩小后最佳位置t0*：



2-3)计算原尺寸下的最佳位置：将缩小的红外图像A0和缩小的可见光图像B0缩放到原尺寸图像A和B，步骤2-2)计算...

【专利技术属性】
技术研发人员：仲维，李豪杰，柳博谦，王智慧，刘日升，罗钟铉，樊鑫，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21