一种基于行人步长信息辅助的视觉惯性SLAM定位方法技术

本发明专利技术适用于基于智能手机的INS/Visual组合导航定位技术领域，提供了一种基于行人步长信息辅助的视觉惯性SLAM定位方法，包括如下步骤：步骤S100：利用视觉和惯性信息同时进行初始化操作；步骤S200：前端图像光流追踪以及IMU预积分；步骤S300：在视觉惯性SLAM中使用视觉信息、IMU信息以及先验信息同时构建代价函数，同时在代价函数中加入行人步长与速度观测构建的残差项，并对其进行优化；步骤S400：在视觉追踪失败的极端场景下设计强约束；本发明专利技术推导出室内定位行人运动场景下，基于非线性优化融合行人步长信息，当系统发散较为明显时，使用步长信息得到的位姿对滑动窗口内对应位姿进行固定处理，之后在此基础上再进行优化，避免IMU定位结果在短时间内迅速发散的问题。免IMU定位结果在短时间内迅速发散的问题。免IMU定位结果在短时间内迅速发散的问题。

【技术实现步骤摘要】
一种基于行人步长信息辅助的视觉惯性SLAM定位方法


[0001]本专利技术属于智能手机的INS/Visual组合导航定位
，尤其涉及一种基于行人步长信息辅助的视觉惯性SLAM定位方法。

技术介绍

[0002]全球卫星导航系统(GNSS，Global Navigation Satellite System)的部署可以全天候为人们提供精确可靠的位置服务，形成了非常成熟完善的室外定位服务体系。而随着社会的不断发展，城镇化和地下空间的开发进程不断加快，人们90％以上的时间在室内或者地下生活和工作，在这个过程中不仅要了解自身所处什么位置，同时也要清楚周围环境从而知道如何到达目的地，因此室内定位导航在生活中发挥着越来越重要的作用。
[0003]由于室内环境有墙体遮蔽，目前广泛使用的卫星信号收到非视距和多径效应的影响衰减严重，因此卫星导航无法有效应用于室内环境中。目前市内定位领域广泛使用的SLAM(Simultaneous Localization and Mapping)技术指的是在没有环境先验信息的情况下，于运动过程中建立环境模型，同时估计自身运动的过程。其中视觉惯性SLAM利用了视觉信息与惯性信息，在纹理丰富以及行动平缓的理想环境下可以取得不错的效果。但是在商场、走廊等室内场景下，会存在图像纹理消失、相机晃动明显等极端场景，此时视觉信息会迅速失效，而IMU(Inertial Measurement Unit)定位结果则会在短时间内迅速发散。

技术实现思路

[0004]本专利技术提供一种基于行人步长信息辅助的视觉惯性SLAM定位方法，旨在解决室内场景下，会存在图像纹理消失、相机晃动明显等极端场景，此时视觉信息会迅速失效，而IMU定位结果则会在短时间内迅速发散的问题。
[0005]本专利技术是这样实现的，一种基于行人步长信息辅助的视觉惯性SLAM定位方法，包括如下步骤：
[0006]步骤S100：利用视觉和惯性信息同时进行初始化操作；
[0007]步骤S200：前端图像光流追踪以及IMU预积分；
[0008]步骤S300：在视觉惯性SLAM中使用视觉信息、IMU信息以及先验信息同时构建代价函数，同时在代价函数中加入行人步长与速度观测构建的残差项，并对其进行优化；
[0009]步骤S400：在视觉追踪失败的极端场景下设计强约束。
[0010]优选的，所述步骤S100中，在进行初始化的操作时通过陀螺仪测量值与视觉测量值计算旋转量。
[0011]优选的，所述陀螺仪测量值主要包含测量噪声与陀螺仪零偏误差，视觉测量值主要包含测量噪声。
[0012]优选的，所述步骤S100中，通过对其视觉惯性信息在线估计出陀螺仪零偏、视觉尺度、速度状态量，以及带有尺度信息的初始全局地图。
[0013]优选的，所述步骤S200中，对于图像信息，每接受一帧图像首先通过光流追踪得到
图像之间的对应特征点，并通过时间间隔或者图像视差选取相应关键帧。
[0014]优选的，所述步骤S200中，对于惯导信息，利用图像之间的IMU信息进行预积分处理，得到图像间IMU得到的相对位姿变化。
[0015]优选的，在行人步行场景中，使用行人航位推算技术进行分析和解算，其中行人航位推算技术包括步态检测、步长估算及航向推算。
[0016]优选的，利用惯性传感器或陀螺仪或加速度计或磁力计对行人步长、步态和航向角进行计算。
[0017]优选的，采用非线性优化模型对行人步长进行估算。
[0018]与现有技术相比，本专利技术的有益效果是：本专利技术的一种基于行人步长信息辅助的视觉惯性SLAM定位方法，推导出室内定位行人运动场景下，基于非线性优化融合行人步长信息，当系统发散较为明显时，直接使用步长信息得到的位姿对滑动窗口内对应位姿进行固定处理，之后在此基础上再进行优化，避免IMU定位结果会在短时间内迅速发散的问题。
附图说明
[0019]图1为本专利技术的方法步骤示意图；
[0020]图2为本专利技术中的行人步长信息辅助视觉惯性SLAM的整体框架图；
[0021]图3为本专利技术中的行人航位推算示意图。
具体实施方式
[0022]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0023]请参阅图1
‑
3，本专利技术提供一种技术方案：一种基于行人步长信息辅助的视觉惯性SLAM定位方法，包括如下步骤：
[0024]步骤S100：利用视觉和惯性信息同时进行初始化操作，通过对其视觉惯性信息在线估计出陀螺仪的零偏、视觉尺度、速度等状态量，同时估计出带有尺度信息的初始全局地图，为后续的定位做准备；
[0025]步骤S200：前端图像光流追踪以及IMU预积分，对于图像信息，每接受一帧图像首先通过光流追踪得到图像之间的对应特征点，并通过时间间隔或者图像视差选取相应关键帧；对于惯导信息，为了避免每次优化后重新积分从而大量增加计算量，利用图像之间的IMU信息进行预积分处理，得到图像间IMU得到的相对位姿变化；
[0026]步骤S300：在视觉惯性SLAM中使用视觉信息、IMU信息以及先验信息同时构建代价函数，同时在代价函数中加入行人步长与速度观测构建的残差项，并对其进行优化，由于需要引入行人步行信息，将通过行人航位推算得到的速度以及位置信息与当前滑动窗口内的状态量进行求解得到对应的残差求解量，将对应残差项加入到代价函数中一起进行优化。同时由于PDR本质上是一种经验模型，因此其误差需要进行误差特性分析从而确定对应的噪声协方差阵；
[0027]步骤S400：在视觉追踪失败的极端场景下设计强约束，由于行人定位情景下容易出现图像纹理特征消失以及相机快速旋转等极端场景，从而造成图像信息完全失效以及轨
迹快速发散。此时仅仅加入残差信息进行约束已经不足以使系统正常运行，因此通过判断系统当前状态来选择步长信息辅助的方式。当系统发散较为明显时，直接使用步长信息得到的位姿对滑动窗口内对应位姿进行固定处理，之后在此基础上再进行优化。
[0028]在本实施方式中，视觉惯性SLAM主要利用的是图像信息以及惯性信息，前端主要对信息进行初步处理。对于图像信息，首先使用Harris角点提取特征点，并使用KLT光流对提取出的特征点进行实时追踪，得到对应的特征点。对于空间中的一点P＝[X,Y,Z]T
，其三维坐标与图像上的像素坐标之间的关系为：
[0029]S1p1＝KP,S2p2＝K(RP+t)
ꢀꢀ
(1)
[0030]根据灰度不变性假设，两幅图像中同一空间点的像素灰度值是保持不变的：
[0031]I(x+dx,y+dy,t+dt)＝I(x,y,t)
ꢀꢀ
(2)
[0032]对其求偏导可得：
[0033][0034][0035]为了求解出图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行人步长信息辅助的视觉惯性SLAM定位方法，其特征在于：包括如下步骤：步骤S100：利用视觉和惯性信息同时进行初始化操作；步骤S200：前端图像光流追踪以及IMU预积分；步骤S300：在视觉惯性SLAM中使用视觉信息、IMU信息以及先验信息同时构建代价函数，同时在代价函数中加入行人步长与速度观测构建的残差项，并对其进行优化；步骤S400：在视觉追踪失败的极端场景下设计强约束。2.如权利要求1所述的一种基于行人步长信息辅助的视觉惯性SLAM定位方法，其特征在于：所述步骤S100中，在进行初始化的操作时通过陀螺仪测量值与视觉测量值计算旋转量。3.如权利要求2所述的一种基于行人步长信息辅助的视觉惯性SLAM定位方法，其特征在于：所述陀螺仪测量值主要包含测量噪声与陀螺仪零偏误差，视觉测量值主要包含测量噪声。4.如权利要求1所述的一种基于行人步长信息辅助的视觉惯性SLAM定位方法，其特征在于：所述步骤S100中，通过对其视觉惯性信息在线估计出陀螺仪的零偏、视觉尺度、速度状态量，以及带有尺度信息的初...

【专利技术属性】
技术研发人员：董艺彤，施闯，李团，闫大禹，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：