一种多传感器时间空间标定方法及装置制造方法及图纸

本申请公开了一种多传感器时间空间标定方法及装置，包括：通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；对所述图像数据进行语义分割及特征点提取，进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；对所述点云数据进行修正，并引入IMU传感器与激光雷达之间的第二时间偏差，对修正后的点云进行配准，计算出两帧点云之间的相对位姿；获取两帧图像间的IMU数据和点云间的IMU数据，通过预积分计算相对位姿和位姿偏差；设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿、所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。

【技术实现步骤摘要】
一种多传感器时间空间标定方法及装置
本专利技术涉及多传感器标定
，特别涉及一种多传感器时间空间标定方法及装置。
技术介绍
目前传感器标定大多采用离线标定的方法，即在探测系统工作前已完成标定工作，在系统工作时完全使用离线标定的结果进行工作。而探测系统要长期工作在远离地球的地外环境中，工作条件恶劣，其携带的传感器可能会由于风沙或者长期颠簸造成位置改变，此时，离线标定的时间空间偏差与系统实际情况有较大误差，大大影响了探测系统对环境的准确性。虽然部分探测系统会携带标定板来校正这些位置的变化，但是这种系统只能用于视觉传感器的空间位置校准，无法用于其他传感器，此外标定板在长期的恶劣环境中可能会被沙尘覆盖导致校准精度不够或者校正失败。
技术实现思路
本专利技术实施例的目的是提供一种多传感器时间空间标定方法及装置，以解决现有存在的相机、激光雷达和IMU传感器之间在长时间地外环境运行过程中出现的时间空间偏差问题。根据本专利技术实施例的第一方面，提供一种多传感器时间空间标定方法，包括：通过IMU传感器获取IMU数据，通过相本文档来自技高网...

【技术保护点】
1.一种多传感器时间空间标定方法，其特征在于，包括：/n通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；/n对所述图像数据进行语义分割及特征点提取，根据所述语义分割的结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；/n引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；/n获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述...

【技术特征摘要】
1.一种多传感器时间空间标定方法，其特征在于，包括：
通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；
对所述图像数据进行语义分割及特征点提取，根据所述语义分割的结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；
引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；
获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差；
设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿以及所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。


2.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，对所述图像数据进行语义分割及特征点提取，根据语义分割结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程，具体包括：
对所述图像数据进行语义分割，并提取图像中的特征点，计算所述特征点在图像坐标系的运动速度，以获取所述特征点位置的真实值；
对两帧所述图像中具有相同语义分割结果的特征点进行匹配，根据所述匹配的结果定义所述特征点的观测值，根据所述真实值和观测值构建重投影误差方程；
将所述IMU传感器与相机之间的第一时间偏差引入重投影误差方程，并将其作为相机的约束条件。


3.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿，具体包括：
计算所述两帧点云的运动速度，并引入所述IMU传感器与激光雷达之间的第二时间偏差，根据所述运动速度和所述第二时间偏差，计算所述两帧点云的真实位姿，修正所述两帧点云的真实位姿；
根据每帧点云的真实位姿获取所述每帧点云中每个点的真实坐标；
根据所述真实坐标分别计算所述每帧点云中每两个连续点的连线与水平面的夹角；
设定夹角阈值，根据所述夹角阈值和所述夹角，将所述每帧点云中的点分为地面点和非地面点；
对每个所述非地面点进行主成分分析，将其分类为面点和其他点；
对所述地面点、所述面点和所述其他点分别进行点云配准，计算所述两帧点云的相对位姿，将其作为激光雷达的约束条件。


4.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差，具体包括：
分析所述图像数据和所述IMU数据，获取两帧图像间所有的IMU数据，通过预积分计算所述两帧图像间的第一位姿；
分析所述点云数据和所述图像数据，标记与所述两帧图像采集时刻相同的两帧点云，获取所述两帧点云间所有的IMU数据，通过预积分计算两帧点云间的第二位姿；
将所述第一位姿和所述第二位姿之间的位姿偏差作为IMU的约束条件。


5.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，还包括：
测量计算所述IMU传感器、相机和激光雷达三者之间的空间位置关系，将所述空间位置关系定义为探测系统的空间同步初始值，并定义整个系统的时间同步初始值为0，将所述空间同步初始值和所述时间同步初始值作为所述迭代优化...

【专利技术属性】
技术研发人员：李月华，何伟，朱世强，李小倩，谢天，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33