一种水下相机-IMU-深度计的空间联合标定方法技术

本发明专利技术涉及一种水下相机

【技术实现步骤摘要】
一种水下相机
‑
IMU
‑
深度计的空间联合标定方法


[0001]本专利技术涉及传感器外参标定
，尤其是涉及一种水下相机
‑
IMU
‑
深度计的空间联合标定方法。

技术介绍

[0002]智能水下机器人(Autonomous Underwater Vehicle,AUV)已成为人类认识海洋、探索海洋的重要工具。视觉同时定位与建图(Simultaneous Location and Mapping,SLAM)技术具有高分辨率、低成本、可视性好等优势，是水下定位的不错选择，尤其当AUV执行海底管道、大坝检查维修，水下溶洞、遗迹勘察等任务时，视觉SLAM可直观反应环境信息，更有利于任务实施。
[0003]由于水下环境的特殊性，光照不充足、图像对比度与颜色损失、视野受限等问题突显，单一的视觉传感器表现不足，多传感器融合技术可分析不同传感器数据，优劣互补，更好的适应复杂环境，提高系统的精确度和鲁棒性。惯性测量单元(Inertia Measurement Unit,IMU)采样频率高、自主性好不易受外界干扰；深度计是AUV常配备的传感器，其可通过水压测量得到垂直深度值，可有效改善视觉尺度估计问题。多传感器融合所面临的首要问题即求解各传感器外参变化矩阵，目前相机
‑
IMU外参标定方法较为成熟，但深度计与其他传感器的相对位置估计往往通过手工机械测量得到，严重影响着定位的准确性。
[0004]申请日为2016年1月11日、申请号为CN201610012754.8、专利技术名称为“一种双目立体相机与惯性测量单元相对姿态标定方法”的专利申请，该方法依据双目特性，是仅针对一种双目立体相机与惯性测量单元的标定，应用较为局限，并且该方法未涉及外参优化。
[0005]申请日为2021年5月19日、申请号为CN202110543702.4、专利技术名称为“用于多三维传感器的外参标定方法、装置和系统”的专利申请，该方法实现了无需共同视野传感器标定，但其限定了多个标定物具有曲面特征且相对位置已知，此外该方法并没有说明如何进行低于三维测量传感器的标定。
[0006]申请日为2021年11月22日、申请号为CN202111386454.3、专利技术名称为“一种基于深度学习的多传感器外参联合标定方法及系统”的专利申请，该方法通过深度学习模型对传感器外参在线标定，但其需要预先收集准确传感器信息并对模型训练，并且该方法并未涉及外参实时优化。

技术实现思路

[0007]本专利技术的目的是为了解决水下环境中深度计与其他传感器外参标定问题，为水下多传感器融合SLAM提供了准确的传感器外参变换信息。
[0008]本专利技术提出了一种水下相机
‑
IMU
‑
深度计的空间联合标定方法，克服了水下外参不易获得，手工机械测量误差大的问题，为水下多传感器融合SLAM提供了准确的相机
‑
IMU
‑
深度计外参变换信息。
[0009]本专利技术的目的是这样实现的：包括以下步骤：
[0010]步骤(1)：获取多帧水下图像，利用传统的视觉里程计算法对相机进行初始化，以获得各帧相机位姿和地图路标点信息；若初始化失败，则删除所有信息，重新执行本步骤；相机在某时刻初始化成功，执行下一步骤。
[0011]步骤(2)：在多次规划运动激励下，获取深度计和IMU测量数据；同时依据视觉测量信息将深度计离群点剔除。
[0012]步骤(3)：依据有效的相邻关键帧间视觉平移变量补偿深度计未知测量，通过视觉测量信息和深度计补偿信息，建立伪手眼标定方程组。
[0013]步骤(4)：利用有效的相邻关键帧间视觉变换信息和IMU预积分信息，构建手眼标定方程组。
[0014]步骤(5)：通过有效的相邻关键帧间IMU预积分平移信息补偿深度计未知信息，利用IMU预积分和深度计补偿信息，建立伪手眼标定方程组。
[0015]步骤(6)：将标定方程组求解问题转化为优化问题，得到相机
‑
IMU
‑
深度计外参变换矩阵初值。
[0016]步骤(7)：在滑动窗口下，构建包含外参的最小二乘残差函数，并引入空间变换约束，通过图优化方法求解，得到变换矩阵终值。
[0017]本专利技术还包括这样一些特征：
[0018]1.步骤(2)具体为：
[0019]步骤(2.1)：针对深度计测量数据只发生在垂直方向这一特性，在深度计和IMU数据获取过程中，相机需满足垂直下视的要求，采用垂直方向绕圈的模式进行传感器激励，以获得可靠的IMU和深度数据。
[0020]步骤(2.2)：在深度计坐标系{d}下，相邻i时刻至i+1时刻两个图像关键帧间，深度计平移变换向量表示为：
[0021][0022]式中，(
·
)
r1
、(
·
)
r2
、(
·
)
r3
分别表示向量的第1、2、3行元素，应满足：
[0023][0024]否则，剔除深度计i+1时刻的突变数据，同时将下一个有效深度数据定为i+1时刻，ε为视觉观测可信度阈值。
[0025]2.步骤(3)：利用有效的两关键帧间的视觉位姿变换量和深度信息变换量，构建伪手眼标定方程：
[0026][0027]其中，为i时刻相机坐标系指向深度计坐标系的位姿变换矩阵，即所求的相机
‑
深度计外参矩阵，为3行3列矩阵，表示旋转变换，为3行1列向量，表示平移变换；在相机坐标系{c}下，表示相机i至i+1时刻的位姿变换矩阵；在深度计坐标系{d}下，表示深度计i至i+1时刻的位姿变换矩阵。由于对数据获取过程中的运动约束，采用：
[0028][0029]构建伪测量数据，同理也可用此方法获得，其中β为相机旋转比例系数，||
·
||
F
表示取矩阵F范数，I为三阶单位矩阵。
[0030]同时相机与深度计作为刚体固连在AUV上，它们的相对位置不随时间发生变化，则因此标定方程等效于：
[0031][0032]展开得到：
[0033][0034]即
[0035]由于有效两帧间的深度计旋转变量计算复杂，并且仅用一个标定方程只能获得的通解，而不是唯一解，则通过累积多个(2)式，构建伪手眼标定方程组，同时也降低了系统偶然性。
[0036]3.步骤(4)：通过两关键帧间的视觉位姿变换量和IMU预积分量，构建手眼标定方程：
[0037][0038]即
[0039]其中，为相机坐标系指向IMU坐标系的位姿变换矩阵，表示旋转变换，表示平移变换，即所求的相机
‑
IMU外参矩阵。在IMU坐标系{b}下，表示IMU在i至i+1时刻的位姿预积分量。将式(3)旋转矩阵用四元数q表示：
[0040][0041]式中，表示四元数相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水下相机
‑
IMU
‑
深度计的空间联合标定方法，其特征在于，步骤如下：步骤(1)：获取多帧水下图像，利用传统的视觉里程计算法对相机进行初始化，获得各帧相机位姿和地图路标点信息；若初始化失败，则删除所有信息，重新执行本步骤；若相机初始化成功，执行下一步骤；步骤(2)：在规划运动激励下，获取深度计和IMU测量数据；同时依据视觉测量信息将深度计离群点剔除；步骤(3)：依据有效的相邻关键帧间视觉平移变量补偿深度计未知测量，通过视觉测量信息和深度计补偿信息，建立伪手眼标定方程组；步骤(4)：利用有效的相邻关键帧间视觉变换信息和IMU预积分信息，构建手眼标定方程组；步骤(5)：通过有效的相邻关键帧间IMU预积分平移信息补偿深度计未知信息，利用IMU预积分和深度计补偿信息，建立伪手眼标定方程组；步骤(6)：将标定方程组求解问题转化为优化问题，得到相机
‑
IMU
‑
深度计外参变换矩阵初值；步骤(7)：在滑动窗口下，构建包含外参的最小二乘残差函数，并引入空间变换约束，通过图优化方法求解，得到变换矩阵终值。2.根据权利要求1所述的一种水下相机
‑
IMU
‑
深度计的空间联合标定方法，其特征在于，步骤(2)具体包括：步骤(2.1)：针对深度计测量数据只发生在垂直方向这一特性，在深度计和IMU数据获取过程中，相机需满足垂直下视的要求，采用垂直方向绕圈的模式进行传感器激励，以获得可靠的IMU和深度数据；步骤(2.2)：在深度计坐标系{d}下，相邻i时刻至i+1时刻两个图像关键帧间，深度计平移变换向量表示为：式中，(
·
)
r1
、(
·
)
r2
、(
·
)
r3
分别表示向量的第1、2、3行元素，应满足：否则，剔除深度计i+1时刻的突变数据，同时将下一个有效深度数据定为i+1时刻，ε为视觉观测可信度阈值。3.根据权利要求1所述的一种水下相机
‑
IMU
‑
深度计的空间联合标定方法，其特征在于，所述步骤(3)具体为：利用有效的两关键帧间的视觉位姿变换量和深度信息变换量，构建伪手眼标定方程：其中，为i时刻相机坐标系指向深度计坐标系的位姿变换矩阵，即所求的相机
‑
深度计外参矩阵，为3行3列矩阵，表示旋转变换，为3行1列向量，表示平移变换；在相机坐标系{c}下，表示相机i至i+1时刻的位姿变换矩阵；在深度计坐标系{d}下，
表示深度计i至i+1时刻的位姿变换矩阵；由于对数据获取过程中的运动约束，采用：构建伪测量数据，同理也可用此方法获得，其中β为相机旋转比例系数，||
·
||
F
表示取矩阵F范数，I为三阶单位矩阵；同时相机与深度计作为刚体固连在AUV上，它们的相对位置不随时间发生变化，则因此标定方程等效于：展开得到：即4.根据权利要求1所述的一种水下相机
‑
IMU
‑
深度计的空间联合标定方法，其特征在于，所述步骤(4)具体为：，通过两关键帧间的视觉位姿变换量和IMU预积分量，构建手眼标定方程：即其中，为相机坐标系指向IMU坐标系的位姿变换矩阵，表示旋转变换，表示平移变换...

【专利技术属性】
技术研发人员：丁硕硕，李晔，马腾，徐硕，夏嘉豪，刘善昌，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：