视觉惯性里程计的状态确定方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种视觉惯性里程计的状态确定方法、装置和电子设备，包括：获取视觉惯性里程计拍摄的目标图像帧，并确定目标图像帧和目标关键帧之间的公共特征点；计算各个公共特征点的三焦张量测量误差；利用各个公共特征点的三焦张量测量误差确定误差状态量；基于误差状态量和视觉惯性里程计的当前系统状态量预测值确定视觉惯性里程计的当前系统状态量。本发明专利技术中各个公共特征点的三焦张量测量误差的鲁棒性强，准确性好，所以确定得到的误差状态量也更加准确，最终得到的视觉惯性里程计的当前系统状态量的精确度高，即能准确的对视觉惯性里程计的运动进行跟踪，进而使得后续构建的三维场景更加精确，缓解了现有的运动跟踪准确性差的技术问题。

Method, Device and Electronic Equipment for Determining the State of Visual Inertial Odometer

The invention provides a method, device and electronic equipment for determining the state of a visual inertial odometer, including acquiring the target image frame captured by the visual inertial odometer and determining the common feature points between the target image frame and the target key frame, calculating the trifocal tensor measurement error of each common feature point, and determining the error by using the trifocal tensor measurement error of each common feature point. The current system state of the visual inertial odometer is determined based on the error state and the predicted value of the current system state of the visual inertial odometer. The three-focal tensor measurement error of each common feature point in the invention has strong robustness and good accuracy, so the determined error state is more accurate, and the final obtained state of the current system of the visual inertial odometer has high accuracy, that is, the motion of the visual inertial odometer can be accurately tracked, thereby making the subsequent three-dimensional scene more accurate and alleviating. The existing technical problems of poor accuracy of motion tracking are discussed.

【技术实现步骤摘要】
视觉惯性里程计的状态确定方法、装置和电子设备
本专利技术涉及增强现实的
，尤其是涉及一种视觉惯性里程计的状态确定方法、装置和电子设备。
技术介绍
AR(AugmentedReality)增强现实技术是通过带有视觉传感器的设备实现在物理真实场景中添加并显示虚拟信息，实现现实和虚拟场景的交互。同步定位与地图构建(SLAM或Simultaneouslocalizationandmapping)是增强现实中的一个重要技术，该技术能在真实场景中构建三维地图，并对传感设备进行即时定位。目前比较成熟的框架有谷歌的ARCoer和苹果的ARKit。ARCore和ARKit都有三个主要组成部分：运动跟踪、环境理解和光源估计，其中运动跟踪和环境理解主要依赖SLAM技术。然而，现有的SLAM技术在增强现实中的应用仍然有一定的缺陷，主要表现在无法精确鲁棒的估计场景的三维信息，导致虚拟物体的位姿一直在波动。由于传感噪声和测量噪声的影响，利用SLAM技术对传感设备进行运动跟踪时，会产生一定的估计误差，这个误差会随着时间的改变而有所不同，最终会让用户感觉到虚拟物体在真实场景中浮动。综上，现有的运动跟踪准确性差本文档来自技高网...

【技术保护点】
1.一种视觉惯性里程计的状态确定方法，其特征在于，包括：获取视觉惯性里程计拍摄的目标图像帧，并确定所述目标图像帧和目标关键帧之间的公共特征点，所述目标关键帧为所述视觉惯性里程计所拍摄到的多个图像帧中位于所述目标图像帧之前的关键帧，且所述目标关键帧在多个图像帧所包含的关键帧中与所述目标图像帧之间的间隔最小；计算各个公共特征点的三焦张量测量误差；利用所述各个公共特征点的三焦张量测量误差确定所述视觉惯性里程计的误差状态量；基于所述误差状态量和所述视觉惯性里程计的当前系统状态量预测值确定所述视觉惯性里程计的当前系统状态量。

【技术特征摘要】
1.一种视觉惯性里程计的状态确定方法，其特征在于，包括：获取视觉惯性里程计拍摄的目标图像帧，并确定所述目标图像帧和目标关键帧之间的公共特征点，所述目标关键帧为所述视觉惯性里程计所拍摄到的多个图像帧中位于所述目标图像帧之前的关键帧，且所述目标关键帧在多个图像帧所包含的关键帧中与所述目标图像帧之间的间隔最小；计算各个公共特征点的三焦张量测量误差；利用所述各个公共特征点的三焦张量测量误差确定所述视觉惯性里程计的误差状态量；基于所述误差状态量和所述视觉惯性里程计的当前系统状态量预测值确定所述视觉惯性里程计的当前系统状态量。2.根据权利要求1所述的方法，其特征在于，利用所述各个公共特征点的三焦张量测量误差确定所述视觉惯性里程计的误差状态量包括：利用所述三焦张量测量误差计算所有公共特征点的三焦张量测量误差均值；利用所述三焦张量测量误差均值和所述三焦张量测量误差计算所述所有公共特征点的测量协方差；计算所述视觉惯性里程计的系统测量量和系统状态量之间的协方差，得到目标协方差；基于所述三焦张量测量误差、所述三焦张量测量误差均值、所述测量协方差和所述目标协方差，计算所述误差状态量。3.根据权利要求1所述的方法，其特征在于，确定所述目标图像帧和目标关键帧之间的公共特征点包括：对所述目标图像帧进行特征点检测，得到所述目标图像帧的特征点；获取所述目标关键帧，并确定所述目标关键帧的特征点；将所述目标关键帧的特征点与所述目标图像帧的特征点进行匹配，得到所述公共特征点。4.根据权利要求3所述的方法，其特征在于，所述目标关键帧包括第一目标关键帧和第二目标关键帧，所述第一目标关键帧为所述第二目标关键帧之前的关键帧，且所述第一目标关键帧为与所述第二目标关键帧帧次距离最近的关键帧；确定所述目标关键帧的特征点包括：确定所述第一目标关键帧的特征点和所述第二目标关键帧的特征点；将所述目标关键帧的特征点与所述目标图像帧的特征点进行匹配，得到所述公共特征点包括：将所述第一目标关键帧的特征点，所述第二目标关键帧的特征点和所述目标图像帧的特征点进行匹配，得到所述公共特征点。5.根据权利要求4所述的方法，其特征在于，将所述第一目标关键帧的特征点，所述第二目标关键帧的特征点和所述目标图像帧的特征点进行匹配，得到所述公共特征点包括：将所述第一目标关键帧的特征点与所述第二目标关键帧的特征点进行匹配，得到第一匹配特征点；将所述第二目标关键帧的特征点与所述目标图像帧的特征点进行匹配，得到第二匹配特征点；将所述第一匹配特征点和所述第二匹配特征点之间相同的特征点作为原始公共特征点；利用单点随机抽样一致算法计算所述视觉惯性里程计的临时系统状态量，并根据所述临时系统状态量去除所述原始公共特征点中的外点，得到所述公共特征点。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：将所述目标图像帧的特征点与所述第二目标关键帧的特征点进行匹配，得到相匹配的特征点数；将所述目标图像帧所对应的相机位姿与所述第二目标关键帧所对应的相机位姿进行对比，得到对比结果；若所述相匹配的特征点数超过预设阈值，或者，所述对比结果为所述相机位姿的距离大于预设距...

【专利技术属性】
技术研发人员：黄灿，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11