基于特征观测数和IMU预积分的自适应协方差方法技术

本发明专利技术公开了一种基于特征观测数和IMU预积分的自适应协方差方法，首先，提取特征点并将图像特征数据与IMU数据进行对齐；通过使用图像金字塔光流跟踪，实现特征匹配；再对特征点跟踪次数进行计算，在时间维度上获取当前帧中每一个特征点的观测数，通过特征点的观测数，计算当前帧中特征点观测数的均值和标准差，从而确定当前帧中特征点的静态观测权重；通过IMU预积分对逆深度不确定性进行建模，再通过特征点观测数以及IMU预积分进行自适应协方差的计算，得到自适应的协方差矩阵，最后将得到的自适应协方差矩阵与位姿求解的误差函数进行融合构建不确定性加权的重投影误差，有效缓解了动态目标的影响，并且避免过度剔除导致特征分布扭曲以及过少的视觉测量。致特征分布扭曲以及过少的视觉测量。致特征分布扭曲以及过少的视觉测量。

【技术实现步骤摘要】
基于特征观测数和IMU预积分的自适应协方差方法


[0001]本专利技术属于人工智能及计算机视觉测量
，具体涉及一种基于特征观测数和IMU预积分的自适应协方差方法。

技术介绍

[0002]在过去的几十年里，计算机视觉方向得到了广泛的研究，为自主定位系统提供了精确和低成本的解决方案。传统的基于视觉的定位方案都是基于一个理想的静态环境中，这样对于特征点匹配计算出来的运动仅是由相机运动造成的，从而可以得到相机的位姿估计。但是实际场景中可能存在动态目标，这些动态目标将会导致错误的特征匹配，错误地使用动态特征点的信息进行相机运动估计，这对于基于特征匹配的视觉定位系统是致命的。因而，研究适用于动态环境下的视觉定位系统一直是一个热点问题。
[0003]目前动态环境下SLAM问题较多地聚焦于如何将动态区域与静态区域区分开，将动态区域剔除，仅使用静态背景中的特征点进行相机位姿的计算。通过剔除动态物体从而减少动态物体对相机位姿求解的影响。然而，与RANSAC失效的场景一样，当场景中存在大量动态物体中，直接去除动态物体上的特征会导致过度的特征剔除，不仅会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于特征观测数和IMU预积分的自适应协方差方法，其特征在于,包括如下步骤：S1：提取特征点并将图像特征数据与IMU数据进行对齐，所述对齐策略为：第一个IMU数据的时间戳小于上一帧图像结束的时间戳，最后一个IMU数据的时间戳是第一个大于当前帧图像结束的时间戳；S2：通过使用图像金字塔光流跟踪，实现特征匹配；S3：对特征点跟踪次数进行计算，在时间维度上获取当前帧中每一个特征点的观测数，通过计算特征点的观测数，计算当前帧中特征点观测数的均值和标准差，从而确定当前帧中的特征点的静态观测权重W(p
i
)；S4：通过IMU预积分对逆深度不确定性进行建模，所述特征点的逆深度不确定性与该特征点在相机帧下归一向量的叉乘化坐标和帧间平移成反比，与特征匹配不确定性δx成正比，用IMU的预积分项表示逆深度不确定性具体如下：其中，x
i
＝K
‑1p
i
，p
i
是特征点在图像平面上的齐次坐标，表示x
i
的斜对称矩阵，为第i帧图像与第j帧图像之间IMU预积分得到的平移向量，δx＝f
‑1δp为归一化平面上不确定度形成的圆的半径，f为相机的焦距，δp为特征点特征匹配时产生的误差，δd表示第j帧中特征点的逆深度的不确定性；S5：通过步骤S3获得的特征点观测数以及步骤S4获得的IMU预积分进行自适应协方差的计算，得到自适应的协方差矩阵，对于第l个特征点，其静态观测权重为W(p
l
)，其逆深度不确定性为δd
l
，其自适应协方差矩阵Q
l
为：Q
l
＝W
c
W(p
l
)δd
l
I2×2其中，W
c
为特征点原始协方差矩阵，I2×2为单位矩阵；S6：将上述计算出的特征点的协方差矩阵与位姿求解的误差函数进行融合构建不确定性加权的重投影误差，所述不确定性加权重投影误差为：其中，p
l
为第l个特征点在当前帧图像上的二维坐标，n为特征点总个数，将特征点的协方差矩阵进行分解可以得到Q
‑1＝U∑
‑1U
T
，其中，，其中，2.如权利要求1所述的基于特征观测数和IMU预积分的自适应协方差方法，其特征在于，所述步骤S1中，提取Shi

【专利技术属性】
技术研发人员：潘树国，陈金晶，高旺，
申请(专利权)人：东南大学，
类型：发明
国别省市：