一种水下立体视觉系统的标定方法技术方案

本发明专利技术公开一种水下立体视觉系统的标定方法，包括如下步骤：S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对特征点进行畸变校正；S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；S103、根据已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。本发明专利技术使用平面标定板，提高了标定精度；基于多层折射模型，不存在系统误差，描述精度高，既能用于水下单相机的折射参数标定，也能用于水下立体视觉系统及水下多相机系统折射参数和外参的标定。

A calibration method for underwater stereo vision system

The calibration method of the invention discloses an underwater stereo vision system, which comprises the following steps: S101, in the underwater environment, the use of the stereo vision system is composed of internal known camera image of some planar calibration board, extract the feature points of the image, and the feature points are S102, according to the distortion correction; the geometric relationship between cost function of refractive optical path, arbitrary selection of a camera stereo vision system and the parameters of the camera calibration index; S103, according to the refraction parameter has been calibrated the camera, the camera calibration parameters of the cost function reflects the uncalibrated stereo vision system and stereo vision system based on ginseng. The invention uses the calibration plate, improves the calibration accuracy; multi refraction model based on system error does not exist, the description of high precision, which can be used for single camera calibration parameters of refraction, can also be used for calibration of stereo vision system and underwater multi camera system parameters and external parameters of refraction.

【技术实现步骤摘要】
一种水下立体视觉系统的标定方法
本专利技术涉及水下相机标定
，尤其涉及一种水下立体视觉系统的标定方法。
技术介绍
在水下环境中，成像光线将依次通过水、滤波片、空气这三层折射介质。现有的方法常将传统的相机模型应用到这种折射系统中，使用径向畸变系数来校正折射造成的偏差。然而，折射对不同像素点产生偏差的影响是不同的，使用传统的相机模型会产生明显的误差，尤其是在水下这种高折射率的环境中。传统水下相机标定普遍存在标定方法错复杂，标定耗时长，标定精度低，无法进行水下立体视觉标定的问题。
技术实现思路
本专利技术的目的在于通过一种水下立体视觉系统的标定方法，来解决以上
技术介绍
部分提到的问题。为达此目的，本专利技术采用以下技术方案：一种水下立体视觉系统的标定方法，其包括如下步骤：S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正；S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。特别地，所述步骤S101包括：在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。特别地，所述步骤S102包括：基于物点到折射主轴的距离构造代价函数，基于所述代价函数进行优化标定出相机的折射参数。特别地，所述步骤S103还包括：根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。特别地，所述步骤S102具体包括：设折射参数包括(Adμrt)，其中A为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时，r＝[r1r2…rM]，rm为每幅图像的罗德里格旋转向量，m＝1,2,…,M；折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为Pw，在相机坐标系下的坐标为Pc，物点P到折射主轴的距离Pc⊥表示为：Pc⊥＝Pc-dot(Pc,A)A(1)设共有K个介质层，物点P到折射主轴的距离Pc⊥又可以表示为：其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；由以上两式(1)、(2)可得：其中R，t为相机外参，vk为第k个介质层的光线的方向矢量，θk为vk与A的夹角；Pc＝RPw+t(4)v0为第一介质层下光路的方向，v0根据步骤S101得到的校正后特征点的坐标m和相机的内参矩阵K计算得到：相机的内参矩阵K为如下形式，fx和fy为等效焦距，x0和y0为主点位置：其中公式(6)为斯涅尔(Snell)折射定律，可以展开为：当步骤S101中立体视觉系统拍摄M幅平面标定板的图像时，每幅图像有N个特征点点时，根据(3)构造的代价函数为：因此，相机的折射参数的求解即为以下非线性优化过程：(Adμrt)＝argmin||F||(12)。特别地，所述步骤S103具体包括：根据步骤S102中已完成标定的相机的折射参数，使用标定得到的平面标定板图像在世界坐标系的姿态和位置位置参数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参，过程如下：设所述已完成标定的相机为一号相机，标定一号相机时得到的平面标定板图像在世界坐标系的姿态和位置[R1R2…Rn]，[t1t2…tn]；设一号相机相对于二号相机的姿态和位置为[Rrtr]，则所述平面标定板图像在二号相机坐标系下的姿态和位置为[RrR1RrR2…RrRn]，[Rrt1+trRrt2+tr…Rrtn+tr]；使用上述公式(10)作为代价函数进行优化标定出二号相机的折射参数即：(AdμRrtr)＝argmin||F||(13)重复上述过程，逐个完成对立体视觉系统中所有未标定相机的折射参数及立体视觉系统的外参的标定。本专利技术提出的水下立体视觉系统的标定方法在标定时，使用平面标定板而非立体标定板，平面标定板相比立体标定板精度高，提高了标定精度。本专利技术基于多层折射模型，不存在系统误差，描述精度高，根据折射光路的几何关系构造代价函数，将标定问题转化为优化问题，能准确标定出相机光心到折射平面的距离、各个介质层的厚度、各个介质层的折射率以及水下立体视觉系统的外参。本专利技术能够广泛应用于海洋工程、水下探测、水下高精度测量等场合。本专利技术既能用于水下单相机的折射参数的标定，也能用于水下立体视觉系统及水下多相机系统的折射参数和外参的标定。本专利技术不用使用反向投影误差作为代价函数，避开了高次方程的求解或者是大量的数值迭代，显著减小了计算量，标定效率高，整个标定过程在一台普通PC上运行时间不超过2s。附图说明图1为本专利技术实施例提供的水下立体视觉系统的标定方法流程图；图2为本专利技术实施例提供的水下立体视觉拍摄图片的示意图；图3为本专利技术实施例提供的多层折射示意图；图4为本专利技术实施例提供的标定结果图；图5为本专利技术实施例提供的标定结果图；图6为本专利技术实施例提供的标定结果图。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。附图中给出了本专利技术的较佳实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容理解的更加透彻全面。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。请参照图1所示，图1为本专利技术实施例提供的水下立体视觉系统的标定方法流程图。本实施例中水下立体视觉系统的标定方法包括如下步骤：S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正。其中，对相机的内参进行标定的方法如下：构成立体视觉系统的相机需要在空气中进行预标定，可以使用任何基于小孔相机模型的标定方法，目前常用的方法为相机的“张正有标定法”。标定折射参数前，需要对构成的立体视觉系统的相机的内参在空气中进行预标定，标定完成后，在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定。基于物点到折射主轴的距离的两种表达方式(下文的公式(1)、公式(2))构造代价函数，基于所述代价函数使用“Trust-region”进行非线性优化标定出相机的折射参数，具体过程如下：设折射本文档来自技高网...

【技术保护点】
一种水下立体视觉系统的标定方法，其特征在于，包括如下步骤：S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正；S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。

【技术特征摘要】
1.一种水下立体视觉系统的标定方法，其特征在于，包括如下步骤：S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正；S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。2.根据权利要求1所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S101包括：在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。3.根据权利要求2所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S102包括：基于物点到折射主轴的距离构造代价函数，基于所述代价函数进行优化标定出相机的折射参数。4.根据权利要求3所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S103还包括：根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。5.根据权利要求4所述的水下立体视觉系统的标定方法，其特征在于，特别地，所述步骤S102具体包括：设折射参数包括(Adμrt)，其中A为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时，r＝[r1r2…rM]，rm为每幅图像的罗德里格旋转向量，m＝1,2,…,M；折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为Pw，在相机坐标系下的坐标为Pc，物点P到折射主轴的距离Pc⊥表示为：Pc⊥＝Pc-dot(Pc,A)A(1)设共有K个介质层，物点P到折射主轴的距离Pc⊥又可以表示为：其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；由以上两式(1)、(2)可得：其中R，t为相机外参，vk为第k个介质层的光线的方向矢量，θk为vk...

【专利技术属性】
技术研发人员：朱禹轲，张旭，朱利民，
申请(专利权)人：华中科技大学无锡研究院，
类型：发明
国别省市：江苏,32