一种红外双目相机自适应极线校正方法技术

本发明专利技术公开了一种红外双目相机自适应极线校正方法，仅需两幅红外图像作为输入，首先对红外双目图像进行预处理以实现对比度增强；对两幅红外图像分别提取SIFT特征点，并匹配得到匹配点；在处理误匹配时，采用改进的基于近邻度的离群点检测思想去除误匹配点；利用引入混沌优化思想和遗传算法中杂交思想的改进粒子群算法，进行全局寻优，得到两个变换矩阵；对两幅红外图像分别根据对应的变换矩阵进行像素映射，即可得到校正后的双目图像。实验证明，该方法能适应绝大多数场景，具有很高的校正精度和自适应性。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，仅需两幅红外图像作为输入，首先对红外双目图像进行预处理以实现对比度增强；对两幅红外图像分别提取SIFT特征点，并匹配得到匹配点；在处理误匹配时，采用改进的基于近邻度的离群点检测思想去除误匹配点；利用引入混沌优化思想和遗传算法中杂交思想的改进粒子群算法，进行全局寻优，得到两个变换矩阵；对两幅红外图像分别根据对应的变换矩阵进行像素映射，即可得到校正后的双目图像。实验证明，该方法能适应绝大多数场景，具有很高的校正精度和自适应性。【专利说明】
本专利技术属于计算机视觉领域，具体涉及。
技术介绍
双目立体视觉技术广泛应用在机器人车辆导航和目标检测领域。随着红外成像技 术的成熟，所获得的红外图像质量越来越高，红外波段的立体视觉技术也越来越受到关注。 在满足极线约束的理想状态下，双目图像平面的极线互相平行，因此在立体匹配时，搜索只 需要沿着水平方向，大大提高了匹配效率。然而在实际应用中，双目相机的光轴通常处于非 平行模式下，甚至可能误差很大，得到的双目图像即不满足极线约束。极线校正的目的就是 通过变换矩阵，将非理想的双目图像变换成满足极线约束的理想立体图像对。 立体图像极线校正分为有相机标定和无相机标定两种方法。文献（Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs . Machine Vision and Applications, 2000, 12 (I) : 16-22)提出一种简单的有相机标定 方法，精度和速度都比较好，但是依赖于标定得到的相机参数。相机标定一般利用已知 形状、尺寸的标定物（如棋盘格）作为拍摄对象，但在红外图像中场景纹理特征很少， 标定物中的点、线等细节缺失，常规方法下根本无法进行标定。因此红外双目极线校正 需利用无相机标定方法。文献（Hartley R I.Theory and practice of projective rectification. International Journal of Computer Vision, 1999, 35(2):115-127) 总结了极线校正的理论，将其中一个变换矩阵近似为刚体变换，剩余的自由度通过变换后 对应点视差最小得至丨J〇 文献（Loop C, Zhang Z. Computing rectifying homographies for stereo vision· Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, I)提出了基于基本矩阵分解的立体图像极线校正 方法，但该方法过分依赖于基本矩阵的精度，稳定性得不到保证。文献（Isgro F, Trucco E.Projective rectification without epipolar geometry· Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, L )提出 了一种无需基本矩阵的极线校正方法，该方法只依赖于对应点的坐标，但在校正过程中非 线性优化选取的初始值缺乏可信度，采用金字塔结构的优化过程计算量很大。
技术实现思路
本专利技术针对红外双目相机标定困难的问题，提出了一种适用于无相机标定的红外 双目相机极线校正方法，在校正过程中，只需要两幅红外双目图像作为输入，不需要使用 者参与中间过程，自适应性强，精度高。 为解决上述技术问题，本专利技术，包括以下 步骤： 步骤一：计算投影变换矩阵氏、H2的具体形式，这里采用Gluckman的极线校正 模型（详见文献 Gluckman J, Nayar S K. Rectifying transformations that minimize resampling effects. Computer Vision and Pattern Recognition, 2001. CVPR2001. Proceedings of the2001IEEE Computer Society Conference on.IEEE, 2001, I:I-Ill-I-117vol. I)。 步骤二：为解决红外图像对比度差、噪声大的缺点，对两幅红外双目图像分别进行 直方图均衡化预处理，以实现图像增强。预处理之后的红外双目图像为L、1 2。 步骤三：对两幅红外图像分别提取SIFT特征点，并进行特征点匹配。匹配时采用 最短欧氏距离匹配法。为满足该专利技术自适应的要求，通过多次试验，确定统一的距离比例阈 值th。 步骤四：去除误匹配点。匹配过程中误匹配很难避免，而哪怕是一对误匹配的出 现，对校正结果也有很大的影响。本专利技术提供一种改进的基于近邻度的离群点检测思想，来 去除误匹配。得到的N对匹配点为（IIi li, m2i), i = 1，…，N。 步骤五：根据校正后双目图像的极线方程，利用引入混沌优化思想和遗传 算法中杂交思想的改进粒子群算法（详见文献柏连发，韩静，张毅，等.采用改 进梯度互信息和粒子群优化算法的红外与可见光图像配准算法.红外与激光工 程，2012, 41 (1) : 248-254.)，进行全局寻优，计算两个变换矩阵的值；得到变换矩阵后，分 别对两幅图像进行像素位置映射，即可得到极线校正后的红外双目图像。 本专利技术与现有技术相比，其显著优点：（1)本专利技术首次实现了红外双目立体视觉 系统的极线校正技术，弥补了这一空白，解决了红外双目系统标定困难、匹配时不能沿单一 水平方向搜索的问题；（2)针对匹配时存在的误匹配问题，在分析了不同误匹配点对校正 效果的影响后，提出一种非常简单有效的误匹配去除方法：对传统基于近邻度的离群点检 测方法提出改进，只保留k均值平均距离最小的部分匹配点，保留比例为P，并通过实验观 察得出了 P的最佳取值；(3)将投影变换矩阵的求解问题转化为一个最小化平方和问题，并 采用粒子群算法来进行求解，粒子群算法简单、速度快，但存在容易陷入局部极值的问题， 为提高粒子群算法全局寻优能力，引入混沌优化思想和遗传算法中杂交思想。本专利技术方 法既能跟好地解决误匹配问题，具有较高的鲁棒性，又能适应绝大多数的红外场景，在校正 过程中不需要使用者参与，自适应性强，同时还能降低极线校正过程的计算量，提高校正速 度。 【专利附图】【附图说明】 图1是本专利技术方法流程图。 图2是待校正的红外双目立体视觉系统拍摄得到的双目图像，（a)为左图，（b)为 右图。 图3是预处理后的红外双目图像，（a)为左图，（b)为右图。 图4是分别对两幅红外图像提取SIFT特征点，并按照最短欧式距离匹配法得到的 匹配点情况。 图5是去除误匹配后的结果。 图6是校正之后的红外双目图像，（a)为校正后左图，标出了匹配点的位置，（b)为 校正后右图，画出了每个匹配点出的极本文档来自技高网...

【技术保护点】
一种红外双目相机自适应极线校正方法，其特征在于，包括以下步骤：步骤一，根据Gluckman的极线校正模型，计算投影变换矩阵的具体形式；步骤二，对采集得到的红外双目图像，分别进行直方图均衡化预处理操作，预处理得到的红外双目图像分别为I1、I2；步骤三，对图像I1、I2分别提取SIFT特征点，并进行特征点匹配，匹配时采用最短欧式距离匹配法，其距离比例阈值取th；步骤四，针对匹配过程中产生的误匹配点，利用改进的基于近邻度的离群点检测思想去除误匹配点，去除误匹配后得到M对匹配点为(m1i,m2i)，i＝1,…,M；步骤五，根据校正后双目图像的极线方程，利用引入混沌优化思想和遗传算法中杂交思想的改进粒子群算法，进行全局寻优，计算两个变换矩阵的值；得到变换矩阵后，分别对两幅图像进行像素位置映射，即可得到极线校正后的红外双目图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：张毅，柏连发，吴磊，韩静，岳江，王博，左金轮，赵北，祁伟，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32