一种基于连续时间模型的多相机视觉惯性里程计优化方法技术

本发明专利技术涉及一种基于连续时间模型的多相机视觉惯性里程计优化方法，包括以下步骤：S1‑S4、收集处理传感器数据，进行特征点提取和跟踪；S5、如果没有初始化，则进行所述多相机视觉惯性里程计初始化，构建初始特征地图，基于B样条曲线的连续时间轨迹模型，对多相机运动轨迹进行参数化；S6、如果所述多相机视觉惯性里程计已经初始化，则当前多相机图像帧利用IMU积分得到位姿初值，并加入滑窗大小为N的滑动窗口内进行非线性优化，以滑窗内的所有轨迹控制点位姿，特征逆深度，每个相机的行延迟以及相机和IMU传感器间的时移作为估计状态量，并以IMU预积分误差和特征点重投影误差为误差项，迭代估计最优的位姿。有益效果是同时克服相机共视约束、卷帘效应。

【技术实现步骤摘要】

【】本专利技术涉及计算机视觉，具体涉及一种基于连续时间模型的多相机视觉惯性里程计优化方法。

技术介绍

0、
技术介绍

1、视觉惯性里程计测距(vio，visual-inertial odometry)是一种计算机视觉技术，用于估算3d姿态(local位置和方向)，相对于local起始位置的移动的机体速度，通常用于在卫星定位不存在或不可靠的情况下(例如室内或在桥下飞行时)给载具导航。vio使用视觉里程计从相机图像中估计机身姿态，并结合机身惯性测量单元(imu)的惯性测量，以校正因不良的图像捕获导致的机身快速移动的错误。多相机视觉惯性里程计(multi-cameravisual-inertial odometry/mc-vio)。

2、惯性传感器(imu，inertial measurement unit，惯性测量单元)，主要用来检测和测量加速度与旋转运动的传感器。

3、b样条曲线(b-spline curve)是指在数学的子学科数值分析里的一种特殊的表示形式，它是b-样条基曲线的线性组合。b样条是基(basis)样条的缩本文档来自技高网...

【技术保护点】

1.一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于包括以下步骤：

2.根据权利要求1所述的一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于步骤S2：当缓存队列中采集到新传感器数据，提取出多相机图像帧队列的队首数据，作为当前多相机图像帧，同时提取出当前多相机图像帧图像时间戳和前一多相机图像帧图像时间戳之间的所有IMU数据，进行IMU预积分，对当前多相机图像帧和前一多相机图像帧帧间所有惯性测量单元输出的加速度和角速度数据进行积分，得到位移量和方位角变化量，构造当前多相机图像帧和前一多相机图像帧帧间状态量约束。

3.根据权利要求2所述的一种...

【技术特征摘要】

1.一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于包括以下步骤：

2.根据权利要求1所述的一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于步骤s2：当缓存队列中采集到新传感器数据，提取出多相机图像帧队列的队首数据，作为当前多相机图像帧，同时提取出当前多相机图像帧图像时间戳和前一多相机图像帧图像时间戳之间的所有imu数据，进行imu预积分，对当前多相机图像帧和前一多相机图像帧帧间所有惯性测量单元输出的加速度和角速度数据进行积分，得到位移量和方位角变化量，构造当前多相机图像帧和前一多相机图像帧帧间状态量约束。

3.根据权利要求2所述的一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于步骤s4具体包括以下子步骤：

4.根据权利要求3所述的一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于步骤s41为了计算相机ci和其他相机之间的公共重叠区域：首先将每个相机图像区域都划分成一个m*n的2d网格，得到m*n个网格单元；然后根据相机间的相对位置和姿态关系，通过每个相机的每个网格单元中心点，计算出对应其他相机的极线；最后根据极线经过的网格单元，获得多相机间的公共重叠区域。

5.根据权利要求3所述的一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于步骤s42：首先采用lucas-kanade方法，对当前多相机图像帧的特征点进行跟踪，并提取shi-tomasi角点，保持每个相机图像帧中特征点数量达到设定常数量，并且特征点分布均匀；然后，根据标定的相机模型将跟踪的特征点转换为特征向量，并利用基于基础矩...

【专利技术属性】
技术研发人员：陈佳港，赵季，
申请(专利权)人：合肥辉羲智能科技有限公司，
类型：发明
国别省市：