一种基于非线性优化的无共同视野的相机外参标定方法技术

本发明专利技术涉及计算机视觉技术领域，特别是涉及一种基于非线性优化的无共同视野的相机外参标定方法。包括：对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵；以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵；根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。本发明专利技术利用多相机之间的特征匹配来优化相机的初始外参，运算速度快，而且成本低，既可以提高标定精度，又解决了标定过程的繁琐和场景失效问题。标定过程的繁琐和场景失效问题。标定过程的繁琐和场景失效问题。

【技术实现步骤摘要】
一种基于非线性优化的无共同视野的相机外参标定方法


[0001]本专利技术涉及计算机视觉
，特别是涉及一种基于非线性优化的无共同视野的相机外参标定方法。

技术介绍

[0002]当前，自动驾驶发展势头迅猛，自动驾驶很难脱离高精度地图工作，对高精度定位有着严格的要求，定位过程又包括特征匹配等工作，这需要多种传感器融合协同工作。市场上主流多依赖相机、轮速计、激光雷达、GPS(Global Positioning System，全球定位系统)、IMU(惯性测量单元)等多类型传感器进行融合定位，实现多种传感器融合工作的前提是知道各个传感器之间精确的外参，而这需要标定技术获得，提高标定精度和简便标定过程是科研工作的重点所在。多相机标定外参的方法大致分为传统相机标定法、相机自标定法、主动视觉相机标定方法等类型。现有技术中的相机标定法要求相机之间的位置苛刻，要求每个相机之间有共同视野，而且需要特定标定物，虽然标定精度高，但是标定过程较繁琐，标定物如三维标定物的制作成本较高。自标定法利用场景特征约束和本身运动约束对相机之间进行标定，虽然不需要标志物，而且可以做到在线标定，但是该方法的鲁棒性差，当场景约束缺失或者运动约束失效时会导致标定失败。主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动。

技术实现思路

[0003]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于非线性优化的无共同视野的相机外参标定方法。
[0004]为实现上述目的及其它相关目的，本专利技术提供一种基于非线性优化的无共同视野的相机外参标定方法，包括：
[0005]S1、对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵；
[0006]S2、以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵；
[0007]S3、根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。
[0008]在本专利技术的一实施例中，在步骤S1中，利用Kalibr标定工具对每个待标定相机的内部参数进行预标定，得到获得所述待标定相机的内部参数矩阵。
[0009]在本专利技术的一实施例中，在步骤S1中，所述内部参数矩阵包括的公式为：
[0010][0011]其中，f
x
、f
y
分别为待标定相机在x轴和y轴上的归一化焦距，c
x
、c
y
分别为待标定相
机的光圈中心。
[0012]在本专利技术的一实施例中，步骤S2中的以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵包括：
[0013]S21、选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系，并将选定的所述待标定相机作为主相机，其它待标定相机作为副相机；
[0014]S22、根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵，再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵；
[0015]S23、以主相机的惯性测量单元作为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
[0016]在本专利技术的一实施例中，步骤S3中的根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵包括：
[0017]S31、获得所述待标定相机旋转360
°
后的彩色图像和深度图像；
[0018]S32、对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征；
[0019]S33、对所述线段特征和平面特征进行定位和建立地图，分别得到每个所述待标定相机的里程计；
[0020]S34、通过每个所述待标定相机的里程计，建立每个所述待标定相机旋转360
°
的全局地图；
[0021]S35、根据每个所述待标定相机旋转360
°
的全局地图，通过地图匹配方式建立所述主相机和副相机之间的联系，通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
[0022]本专利技术还提供一种基于非线性优化的无共同视野的相机外参标定系统，包括：
[0023]内部参数预标定模块，用于对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵；
[0024]外部参数标定模块，用于以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵；
[0025]外部参数优化模块，用于根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。
[0026]在本专利技术的一实施例中，所述内部参数预标定模块包括：
[0027]内部参数预标定单元，用于利用Kalibr标定工具对每个待标定相机的内部参数进行预标定，得到获得所述待标定相机的内部参数矩阵。
[0028]在本专利技术的一实施例中，所述外部参数标定模块包括：
[0029]坐标系选定单元，用于选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系，并将选定的所述待标定相机作为主相机，其它待标定相机作为副相机；
[0030]标定转换单元，用于根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵，再分别标定所述主相机的惯性测量单元和副相机的外部参
数矩阵；
[0031]第一外部参数矩阵获取单元，用于以主相机的惯性测量单元作为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
[0032]在本专利技术的一实施例中，所述外部参数优化模块包括：
[0033]标定图像获得单元，用于获得所述待标定相机旋转360
°
后的彩色图像和深度图像；
[0034]线面特征提取单元，用于对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征；
[0035]相机里程计单元，用于对所述线段特征和平面特征进行定位和建立地图，分别得到每个所述待标定相机的里程计；
[0036]相机全局地图单元，用于通过每个所述待标定相机的里程计，建立每个所述待标定相机旋转360
°
的全局地图；
[0037]外参非线性优化单元，用于根据每个所述待标定相机旋转360
°
的全局地图，通过地图匹配方式建立所述主相机和副相机之间的联系，通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非线性优化的无共同视野的相机外参标定方法，其特征在于，包括：S1、对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵；S2、以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵；S3、根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。2.根据权利要求1所述的一种基于非线性优化的无共同视野的相机外参标定方法，其特征在于，在步骤S1中，利用Kalibr标定工具对每个待标定相机的内部参数进行预标定，得到获得所述待标定相机的内部参数矩阵。3.根据权利要求2所述的一种基于非线性优化的无共同视野的相机外参标定方法，其特征在于，在步骤S1中，所述内部参数矩阵包括的公式为：其中，f
x
、f
y
分别为待标定相机在x轴和y轴上的归一化焦距，c
x
、c
y
分别为待标定相机的光圈中心。4.根据权利要求3所述的一种基于非线性优化的无共同视野的相机外参标定方法，其特征在于，步骤S2中的以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵包括：S21、选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系，并将选定的所述待标定相机作为主相机，其它待标定相机作为副相机；S22、根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵，再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵；S23、以主相机的惯性测量单元作为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。5.根据权利要求4所述的一种基于非线性优化的无共同视野的相机外参标定方法，其特征在于，步骤S3中的根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵包括：S31、获得所述待标定相机旋转360
°
后的彩色图像和深度图像；S32、对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征；S33、对所述线段特征和平面特征进行定位和建立地图，分别得到每个所述待标定相机的里程计；S34、通过每个所述待标定相机的里程计，建立每个所述待标定相机旋转360
°
的全局地图；S35、根据每个所述待标定相机旋转360
°
...

【专利技术属性】
技术研发人员：黄松，方明星，赵立军，钱浩正，梁肖，
申请(专利权)人：哈尔滨工业大学芜湖机器人产业技术研究院，
类型：发明
国别省市：