一种水下多相机与IMU一体化标定方法技术

本发明专利技术涉及传感器标定技术领域，具体提供了一种水下多相机与IMU一体化标定方法：分别标定各个IMU误差；将所有相机和IMU一起运动；分别录制各个相机图像数据和各个IMU数据；分别对各个相机进行内参粗标定；获取每帧粗定位图像相对于棋盘格的外参，组成粗定位图像的位姿序列；将粗定位图像的位姿序列输入到扩展卡尔曼滤波器系统中，来预测后续时刻图像的位姿向量；求取棋盘格角点像素坐标精确位置和图像位姿序列；标定相机与IMU外参关系，及标定各相机外参关系。该方法可避免棋盘格角点的漏检和误检，提高多相机与IMU标定效率，大幅节约时间成本，为复杂水下环境相机标定提供更稳定的方法。法。法。

【技术实现步骤摘要】
一种水下多相机与IMU一体化标定方法


[0001]本专利技术涉及传感器标定
，更具体地说，涉及一种水下多相机与IMU一体化标定方法。

技术介绍

[0002]深潜器、水下探测器等高端海洋装备作为勘探海洋环境的关键装备之一，在其工作过程中，不可避免的需要进行周边环境信息的感知与交互，传统基于声学的声呐探测技术设备昂贵且不具备色彩信息，基于光学的视觉探测技术因其直观的传感器信息而被广泛关注。然而，在水下环境光照的非稳态、非平衡衰减干扰下，水下单一视觉定位稳定性差、匹配精度低、误匹配率高，难以满足水下快速定位、高精度三维重建的要求。
[0003]多传感器融合技术可将多种传感器优劣互补，具备高精度、高效率、强鲁棒性的优势，近年来在环境感知与三维重建领域得到了广泛应用，其中，惯性测量单元(Inertial Measurement Unit，IMU)可有效解决相机尺度估计问题，降低相机误匹配概率，提升定位精度。然而，应用多传感器融合技术不可避免地需要进行传感器自身内参与传感器间的外参标定。在水下相机
‑
IMU标定过程中，现有研究将传感器内参与外参标定分割为两个步骤，传感器间的外参标定精度严重依赖于传感器内参标定精度，且在多相机
‑
IMU时标定流程复杂，效率较低，在水下光照不足的条件下，现有相机内参标定方法极易在标定板角点检测过程产生漏检、误检现象，严重影响内参标定的稳定性与准确性。

技术实现思路

[0004]为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种水下多相机与IMU一体化标定方法，可避免棋盘格角点的漏检和误检，提高多相机与IMU标定效率，大幅节约时间成本，为复杂水下环境相机标定提供更稳定的方法。
[0005]为了达到上述目的，本专利技术通过下述技术方案予以实现：一种水下多相机与IMU一体化标定方法，用于水下多相机与IMU一体化数据采集装置；所述水下多相机与IMU一体化数据采集装置包括多个相机、多个IMU和机械臂；多个相机和多个IMU分别固定于机械臂执行末端；所述水下多相机与IMU一体化标定方法包括如下步骤：S1、将各个IMU静置，分别标定各个IMU的确定性误差与随机误差；S2、机械臂将所有相机和IMU一起在带有棋盘格标定板的水槽中运动；分别录制各个相机的图像数据，以及各个IMU的陀螺仪和加速度计数据；S3、利用每组图像数据最初数帧有明显旋转或平移的图像作为粗定位图像，分别对各个相机进行内参粗标定，得到粗定位图像中棋盘格角点二维像素点坐标(u,v)和相机内参；相机内参包括内参矩阵K、畸变矩阵D和相对于棋盘格的外参；相对于棋盘格的外参包括旋转矩阵R和平移矩阵T；S4、获取每帧粗定位图像相对于棋盘格的外参，组成粗定位图像的位姿序列[ρ1,
ρ2,ρ3,
…
,ρ
N
]，N为粗定位图像帧数；将粗定位图像的位姿序列输入到扩展卡尔曼滤波器系统中，来预测后续时刻图像的位姿向量；估计棋盘格角点在三维坐标系下的坐标；再利用预测得到的后续时刻图像的位姿向量，求取棋盘格角点在后续时刻图像中的像素坐标粗略位置；利用区域生长算法优化棋盘格角点像素坐标精确位置；根据棋盘格角点像素坐标精确位置优化相机的内参标定结果，并更新精细定位的图像位姿序列；S5、基于IMU预积分方法获取IMU的位姿序列，基于S4得到的内参标定结果，标定相机与IMU外参关系，利用IMU为中间传感器标定各相机外参关系。
[0006]优选地，所述S3，相机内参中，内参矩阵K、畸变矩阵D、旋转矩阵R和平移矩阵T的形式分别为：，D=[k
1 k
2 k
3 p
1 p2]，，；其中，f
x
、f
y
分别代表像素在X轴和Y轴方向上的焦距的长度；(u0,v0)代表图像坐标系原点在像素坐标系中的坐标；k1、k2、k3分别代表径向畸变；p1、p2分别代表切向畸变；r
11
、r
12
、r
13
、r
21
、r
22
、r
23
、r
31
、r
32
、r
33
分别代表旋转矩阵R中的旋转量；t
x
、t
y
、t
z
分别代表平移矩阵T中的X、Y、Z方向的平移量；设定二维图像与三维空间的映射公式为：；其中，Z代表尺度因子；(U,V)代表三维坐标系下角点二维像素点坐标(u,v)对应的坐标值；Λ
11
、Λ
12
、Λ
13
、Λ
21
、Λ
22
、Λ
23
、Λ
31
、Λ
32
、Λ
33
分别代表相机内参矩阵K与旋转矩阵R的积；利用SUSAN角点检测方法进行棋盘格角点检测，得到各个角点二维像素点坐标(u,v)；设定角点二维像素点坐标分解公式为：；；设定：
，，，，，；对于每帧图像，设定约束方程为：，；联立得到最终的约束方程：；根据二维图像与三维空间的映射公式、角点二维像素点坐标分解公式以及约束方程，通过最小二乘法拟合求得相机内参矩阵K、旋转矩阵R和平移矩阵T。
[0007]优选地，所述S4包括如下分步骤：S41、根据相对于棋盘格的外参，获取每帧粗定位图像的位姿向量ρ
i
：ρ
i
=[t
x
t
y
t
z
ø
x
ø
y
ø
z
]；其中，t
x
、t
y
、t
z
分别代表第i帧粗定位图像对应的平移矩阵T的平移量；
ø
x
、
ø
y
、
ø
z
分别代表由第i帧粗定位图像对应的旋转矩阵R转换得到的X、Y、Z方向旋转量；所述旋转量
ø
x
、
ø
y
、
ø
z
与旋转矩阵R的转换关系如下：R=R
z
·
R
y
·
R
x
；，，；组成粗定位图像的位姿序列[ρ1,ρ2,ρ3,
…
,ρ
N
]；S42、将粗定位图像的位姿序列输入到扩展卡尔曼滤波器中，来预测后续各个时刻图像对于棋盘格的位姿向量；利用S3得到粗定位图像中棋盘格角点二维像素点坐标(u,v)和相机内参，估计棋盘格角点在三维坐标系下的坐标；再利用预测得到的后续时刻图像的位姿向量，求取棋盘格角点在后续时刻图像中的像素坐标粗略位置；利用相机内参粗定位的每帧图像中棋盘格角点的像素坐标、内参及外参，估计棋盘格角点在三维坐标系下的坐标；再利用预测得到的后续时刻图像的位姿向量，求取棋盘格角点在后续时刻图像中的像素坐标粗略位置；利用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水下多相机与IMU一体化标定方法，其特征在于：用于水下多相机与IMU一体化数据采集装置；所述水下多相机与IMU一体化数据采集装置包括多个相机、多个IMU和机械臂；多个相机和多个IMU分别固定于机械臂执行末端；所述水下多相机与IMU一体化标定方法包括如下步骤：S1、将各个IMU静置，分别标定各个IMU的确定性误差与随机误差；S2、机械臂将所有相机和IMU一起在带有棋盘格标定板的水槽中运动；分别录制各个相机的图像数据，以及各个IMU的陀螺仪和加速度计数据；S3、利用每组图像数据最初数帧有明显旋转或平移的图像作为粗定位图像，分别对各个相机进行内参粗标定，得到粗定位图像中棋盘格角点二维像素点坐标(u,v)和相机内参；相机内参包括内参矩阵K、畸变矩阵D和相对于棋盘格的外参；相对于棋盘格的外参包括旋转矩阵R和平移矩阵T；S4、获取每帧粗定位图像相对于棋盘格的外参，组成粗定位图像的位姿序列[ρ1,ρ2,ρ3,
…
,ρ
N
]，N为粗定位图像帧数；将粗定位图像的位姿序列输入到扩展卡尔曼滤波器系统中，来预测后续时刻图像的位姿向量；估计棋盘格角点在三维坐标系下的坐标；再利用预测得到的后续时刻图像的位姿向量，求取棋盘格角点在后续时刻图像中的像素坐标粗略位置；利用区域生长算法优化棋盘格角点像素坐标精确位置；根据棋盘格角点像素坐标精确位置优化相机的内参标定结果，并更新精细定位的图像位姿序列；S5、基于IMU预积分方法获取IMU的位姿序列，基于S4得到的内参标定结果，标定相机与IMU外参关系，利用IMU为中间传感器标定各相机外参关系。2.根据权利要求1所述的水下多相机与IMU一体化标定方法，其特征在于：所述S3，相机内参中，内参矩阵K、畸变矩阵D、旋转矩阵R和平移矩阵T的形式分别为：，D=[k1k2k3p1p2]，，；其中，f
x
、f
y
分别代表像素在X轴和Y轴方向上的焦距的长度；(u0,v0)代表图像坐标系原点在像素坐标系中的坐标；k1、k2、k3分别代表径向畸变；p1、p2分别代表切向畸变；r
11
、r
12
、r
13
、r
21
、r
22
、r
23
、r
31
、r
32
、r
33
分别代表旋转矩阵R中的旋转量；t
x
、t
y
、t
z
分别代表平移矩阵T中的X、Y、Z方向的平移量；设定二维图像与三维空间的映射公式为：；其中，Z代表尺度因子；(U,V)代表三维坐标系下角点二维像素点坐标(u,v)对应的坐标
值；Λ
11
、Λ
12
、Λ
13
、Λ
21
、Λ
22
、Λ
23
、Λ
31
、Λ
32
、Λ
33
分别代表相机内参矩阵K与旋转矩阵R的积；利用SUSAN角点检测方法进行棋盘格角点检测，得到各个角点二维像素点坐标(u,v)；设定角点二维像素点坐标分解公式为：；；设定：，，，，，；对于每帧图像，设定约束方程为：，；联立得到最终的约束方程：；根据二维图像与三维空间的映射公式、角点二维像素点坐标分解公式以及约束方程，通过最小二乘法拟合求得相机内参矩阵K、旋转矩阵R和平移矩阵T。3.根据权利要求1所述的水下多相机与IMU一体化标定方法，其特征在于：所述S4包括如下分步骤：S41、根据相对于棋盘格的外参，获取每帧粗定位图像的位姿向量ρ
i
：ρ
i
=[t
x
t
y
t
z
ø
x
ø
y
ø
z
]；其中，t
x
、t
y
、t
z
分别代表第i帧粗定位图像对应的平移矩阵T的平移量；
ø
x
、
ø
y
、
ø
z
分别代表由第i帧粗定位图像对应的旋转矩阵R转换得到的X、Y、Z方向旋转量；所述旋转量
ø
x
、
ø
y
、
ø
z
与旋转矩阵R的转换关系...

【专利技术属性】
技术研发人员：迟鹏，王玉海，张芩，王振民，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：