基于显著特征的多光谱相机动态立体标定算法制造技术

本发明专利技术属于图像处理和计算机视觉领域，涉及基于显著特征的多光谱相机动态立体标定算法。所述的联合自标定方法步骤如下：第一步，将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。第二步，基于直方图对比度方法对红外图像和可见光图像分别进行显著性检测。第三步，在红外图像和可见光图像分别提取特征点。第四步，对上一步提取的特征点进行匹配。第五步，判断特征点覆盖区域。第六步，修正标定结果。本发明专利技术解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。具有速度快、结果精确、操作简单等优点。

【技术实现步骤摘要】
基于显著特征的多光谱相机动态立体标定算法
本专利技术属于图像处理和计算机视觉领域，涉及基于显著特征的多光谱相机动态立体标定算法。
技术介绍
红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。红外相机成像的优点是在极端场景(低光、雨雪、浓雾等)也可以成像，缺点是分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合起来具有重大的现实意义。立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。本文档来自技高网...

【技术保护点】
1.基于显著特征的多光谱相机动态立体标定算法，其特征在于，步骤如下：/n第一步，原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；/n第二步，基于直方图对比度方法对红外图像和可见光图像分别进行显著性检测；/n2-1)计算每种颜色的显著性；像素颜色显著性值的定义为：/n

【技术特征摘要】
1.基于显著特征的多光谱相机动态立体标定算法，其特征在于，步骤如下：
第一步，原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；
第二步，基于直方图对比度方法对红外图像和可见光图像分别进行显著性检测；
2-1)计算每种颜色的显著性；像素颜色显著性值的定义为：



其中，n是图像颜色总数，cj是像素点Ik的颜色值，D(cl，cj)表示两个颜色cl和cj在颜色空间中的距离，fj是颜色cj出现的概率；为了减少色彩种类数量，降低计算复杂度，将每个颜色通道量化为若干值；
2-2)将颜色显著性平滑化，平滑后的颜色显著性公式如下：



其中m＝n/4，是颜色c与其m个最近颜色距离之和；
2-3)根据图像像素点上的颜色确定显著性，得到显著性图像；
第三步，在红外图像和可见光图像，以及它们的显著性图像上分别提取特征点；
第四步，对上一步提取的特征点进行匹配；
4-1)将红外图像和可见光图像都分为m×n个块；对于红外图每一个特征点进行步骤4-2)～4-6)；
4-2)找到在红外图对应的块块在可见光图相同位置的块为与块具有相同横坐标和纵坐标的块集合其特征点集记为评估像素点之间的相似程度，如果相似程度大于阈值t1，则视为粗匹配点，其集合记为否则舍弃该点，选取下一个特征点重新进行步骤4-2)；
4-3)如果和中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst，ssecond)≥t2
则保留该匹配，取中相似程度最大的点作为匹配点，其中t2为阈值，F(sfirst，ssecond)用于描述sfirst和ssecond之间的关系；如不满足，则舍弃该点，选取下一个特征点重新进行步骤4-2)；
按照该规则筛选之后，再按照步骤4-2)～4-3)匹配在红外图对应的特征点如果满足则保留该匹配如不满足，则舍弃该点，选取下一个特征点重新进行步骤4-2)；
4-4)以红外图特征点为基准，抛物线拟合优化对应可见光图的整数像素特征点得到的对应可见光图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；
4-5)以对应可见光图整数像素特征点为基准，根据4-4)的方法计算出对应红外图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；
4-6)得到最终的匹配点对为选取下一个红外图特征点重新进行步骤4-2)～4-6)；
第五步，判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复第一步～第四步；
第六步，修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。


2.如权利要求1所述的基于显著特征的多光谱相机动态立体标定算法，其特征在于，
所述第一步具体包括以下步骤：
1-1)计算每一个原图像点Pi对应的正规坐标系下的坐标；
对于每一个原图像点Pi，它的正规坐标系为：
Xi＝Kiui
其中，ui是Pi的像素坐标，Xi是Pi的正规坐标，Ki是Pi对应相机的内参矩阵，如果Pi是红外图像上的点，Ki就是红外相机的内参矩阵，如果Pi是可见光图像上的点，Ki就是可见光相机的内参矩阵；
1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标；
以(xd，yd)作为(x，y)的初值，迭代计算若干次得到实际的(x，y)；
1-3)根据原来两相机的旋转关系将两图旋转：已知原来两相机之间的旋转矩阵R和平移向量t，使得
Xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标；将红外图旋转R正方向一半的角度，将可见光图旋转R反方向一半的角度；
对于上一步得到的去畸变之后的Pi的正规坐标Xi，如果Pi是红外图像点，R1/2Xi→Xi；如果Pi是可见光图像点，R-1/2Xi→Xi
1-4)根据公式u...

【专利技术属性】
技术研发人员：仲维，李豪杰，柳博谦，王智慧，刘日升，罗钟铉，樊鑫，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21