视觉惯性里程计方法、视觉惯性里程计装置及移动设备制造方法及图纸

本申请适用于SLAM技术领域，提供了一种视觉惯性里程计方法、视觉惯性里程计装置、移动设备及计算机可读存储介质，包括：获取当前帧图像的边缘信息和上一帧图像的边缘信息；根据所述当前帧图像的边缘信息提取所述当前帧图像的特征点和边缘采样点，根据所述上一帧图像的边缘信息提取所述上一帧图像的特征点和边缘采样点；根据所述当前帧图像的特征点和边缘点、所述上一帧图像的特征点和边缘采样点以及惯性测量单元IMU预积分，构建优化函数，所述优化函数输出移动设备的位姿。通过本申请可提高特征匹配率、减少特征跟踪丢失的几率，进而提高位姿估计的准确率。

Visual Inertial Odometer Method, Visual Inertial Odometer Device and Mobile Device

This application is applicable to the SLAM technology field and provides a visual inertial odometer method, a visual inertial odometer device, a mobile device and a computer readable storage medium, including: acquiring the edge information of the current frame image and the edge information of the previous frame image; and extracting the current frame image according to the edge information of the current frame image. The feature points and edge sampling points of the frame image are extracted according to the edge information of the previous frame image, and the feature points and edge sampling points of the current frame image, the feature points and edge sampling points of the previous frame image and the IMU pre-integration of the inertial measurement unit are used to construct the optimization. The optimization function outputs the posture of the mobile device. Through this application, the matching rate of features can be improved, the probability of losing feature tracking can be reduced, and the accuracy of pose estimation can be improved.

【技术实现步骤摘要】
视觉惯性里程计方法、视觉惯性里程计装置及移动设备
本申请属于SLAM
，尤其涉及一种视觉惯性里程计方法、视觉惯性里程计装置、移动设备及计算机可读存储介质。
技术介绍
即时定位与地图构建(SimultaneousLocalizationAndMapping，SLAM)技术被广泛运用于无人机、无人驾驶、机器人、增强显示(AugmentedReality，AR)、智能家居等领域。而视觉里程计(VisualOdometry，VO)则是SLAM系统中至关重要的一环，通过相机拍摄的序列图片估计移动设备运动，继而恢复移动设备运动轨迹。然而，现有的视觉惯性里程计方法容易出现误匹配或跟踪丢失等现象，导致位姿估计失败。
技术实现思路
有鉴于此，本申请实施例提供了一种视觉惯性里程计方法、视觉惯性里程计方法、移动设备及计算机可读存储介质，以提高特征匹配率、减少特征跟踪丢失的几率，进而提高位姿估计的准确率。本申请实施例的第一方面提供了一种视觉惯性里程计方法，所述视觉惯性里程计方法包括：获取当前帧图像的边缘信息和上一帧图像的边缘信息；根据所述当前帧图像的边缘信息提取所述当前帧图像的特征点和边缘采样点，根据所述上一帧图像的边缘信息提取所述上一帧图像的特征点和边缘采样点；根据所述当前帧图像的特征点和边缘点、所述上一帧图像的特征点和边缘采样点以及惯性测量单元IMU预积分，构建优化函数，所述优化函数输出移动设备的位姿。本申请实施例的第二方面提供了一种视觉惯性里程计装置，所述视觉惯性里程计装置包括：信息获取模块，用于获取当前帧图像的边缘信息和上一帧图像的边缘信息；关键点提取模块，用于根据所述当前帧图像的边缘信息提取所述当前帧图像的特征点和边缘采样点，根据所述上一帧图像的边缘信息提取所述上一帧图像的特征点和边缘采样点；函数构建模块，用于根据所述当前帧图像的特征点和边缘点、所述上一帧图像的特征点和边缘采样点以及惯性测量单元IMU预积分，构建优化函数，所述优化函数输出移动设备的位姿。本申请实施例的第三方面提供了一种移动设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述视觉惯性里程计方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述视觉惯性里程计方法的步骤。本申请的第五方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现如上述第一方面所述视觉惯性里程计方法的步骤。由上可见，本申请方案先分别获取当前帧图像和上一帧图像的边缘信息，根据当前帧图像的边缘信息提取特征点和边缘采样点，根据上一帧图像的边缘信息提取特征点和边缘采样点，再根据当前帧图像的特征点和边缘采样点、上一帧图像的特征点和边缘采样点、IMU预积分构建优化函数，根据该优化函数可估计移动设备的位姿。本申请通过利用能够有效反映图像结构信息的边缘信息引导更为鲁棒的特征点提取，可以筛除非显著点，提高特征匹配率，减少特征跟踪丢失的几率，进而提高位姿估计的准确率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例一提供的视觉惯性里程计方法的实现流程示意图；图2a是边缘信息引导特征点提取的示例图；图2b是边缘点引导特征点和边缘采样点提取的示例图；图3是本申请实施例二提供的视觉惯性里程计方法的实现流程示意图；图4是本申请实施例三提供的视觉惯性里程计装置的示意图；图5是本申请实施例四提供的移动设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。参见图1，是本申请实施例一提供的视觉惯性里程计方法的实现流程示意图，如图所示该视觉惯性里程计方法可以包括以下步骤：步骤S101，获取当前帧图像的边缘信息和上一帧图像的边缘信息。在本申请实施例中的视觉惯性里程计可以是指单目视觉惯性里程计，单目视觉里程计采用单目相机，相比较于双目立体视觉里程计，设备要求低，成本投入少，可以满足实时性的要求。在本申请实施例中，可以通过移动设备中的相机获取当前帧图像和上一帧图像，再获取到当前帧图像和上一帧图像之后，获取当前帧图像的边缘信息和上一帧图像的边缘信息。当前帧图像和上一帧图像为相邻的两帧图像，且上一帧图像发生在当前帧图像之前(即移动设备中的相机先采集上一帧图像，再采集当前帧图像)。可选的，所述当前帧图像和所述上一帧图像为相邻的关键帧图像。由于不是每帧图像上都能成功捕捉并定位到目标物体，为了筛除质量不好的图像，可以选取能够定位到物体的帧为关键帧，根据相邻的两个关键帧图像估计移动设备的位姿，可以减少移动设备的计算量，提高位姿估计的准确率。VO系统中经常出现误匹配和跟踪丢失问题，尤其是对于环境中纹理区分度不高的场景，如：树木、白墙等非显著平滑区域，目标特征较弱。边缘是图像的重要信息，能很好地反映图像的结构信息，并且相比独立的特征点，边缘是图像更为健壮的一种特征。为了检测更为鲁棒的特征点，可以利用边缘对特征点检测过程进行约束。此外，为了避免特征匹配的不足或丢失，在进行位姿优化时，还可以加入图像边缘采样点。步骤S102，根据所述当前帧图像的边缘信息提取所述当前帧图像的特征点和边缘采样点，根据所述上一帧图像的边缘信息提取所述上一帧图像的特征点和边缘采样点。在本申请实施例中，为了检测更为鲁棒的特征点，可以利用边缘信息对特征点检测过程进行约束，即利用边缘信息引导特征点的提取，特征本文档来自技高网...

【技术保护点】
1.一种视觉惯性里程计方法，其特征在于，所述视觉惯性里程计方法包括：获取当前帧图像的边缘信息和上一帧图像的边缘信息；根据所述当前帧图像的边缘信息提取所述当前帧图像的特征点和边缘采样点，根据所述上一帧图像的边缘信息提取所述上一帧图像的特征点和边缘采样点；根据所述当前帧图像的特征点和边缘点、所述上一帧图像的特征点和边缘采样点以及惯性测量单元IMU预积分，构建优化函数，所述优化函数输出移动设备的位姿。

【技术特征摘要】
1.一种视觉惯性里程计方法，其特征在于，所述视觉惯性里程计方法包括：获取当前帧图像的边缘信息和上一帧图像的边缘信息；根据所述当前帧图像的边缘信息提取所述当前帧图像的特征点和边缘采样点，根据所述上一帧图像的边缘信息提取所述上一帧图像的特征点和边缘采样点；根据所述当前帧图像的特征点和边缘点、所述上一帧图像的特征点和边缘采样点以及惯性测量单元IMU预积分，构建优化函数，所述优化函数输出移动设备的位姿。2.如权利要求1所述的视觉惯性里程计方法，其特征在于，所述根据所述当前帧图像的特征点和边缘点、所述上一帧图像的特征点和边缘采样点以及惯性测量单元IMU预积分，构建优化函数包括：根据所述当前帧图像的特征点和所述上一帧图像的特征点，获取重投影误差模型；根据所述上一帧图像的特征点和边缘采样点，获取光度误差模型；根据IMU预积分获取IMU残差模型；根据所述重投影误差模型、所述光度误差模型和所述IMU残差模型，构建所述优化函数。3.如权利要求2所述的视觉惯性里程计方法，其特征在于，根据所述重投影误差模型、所述光度误差模型和所述IMU残差模型，构建所述优化函数包括：根据公式构建非线性优化函数，其中，τ为当前帧图像j的状态向量，Ephoto(m,j)为所述光学误差模型，Eproj(k,j)为所述重投影误差模型，EIMU(i,j)为所述IMU残差模型，为使τ取得最小值的函数，m为特征点和边缘采样点中的点，k为匹配的特征点，i为所述上一帧图像。4.如权利要求2所述的视觉惯性里程计方法，其特征在于，根据所述当前帧图像的特征点和所述上一帧图像的特征点，获取重投影误差模型包括：将所述当前帧图像和所述上一帧图像进行特征点匹配，获取匹配的特征点；根据匹配的特征点，获取所述重投影误差模型。5.如权利要求2所述的视觉惯性里程计方法...

【专利技术属性】
技术研发人员：郝洛莹，程俊，张锲石，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44