基于深度视觉和惯性测量的移动设备自主定位方法技术

本发明专利技术公开一种室内环境下基于深度视觉和惯性测量的移动设备自主定位方法，同时在位姿估计的理论框架以及技术实现上展开探索，最终开发了一套室内移动设备自主定位系统，可以通过手持的方式进行场景扫描并快速准确地估计设备位姿。数据采集端由平板电脑、彩色相机、深度相机和惯性测量单元组成，可实现多源数据的采集、预处理和发布等功能。定位终端接收来自数据采集端发布的数据，并实现基于滑动窗口策略的多源信息紧耦合方法，实时估计移动设备的位姿状态。本发明专利技术的主要创新点在于：轻量便携的传感器数据采集端的开发、深度视觉与惯性测量紧耦合优化问题的构建、基于关键帧策略的滑动窗口算法的设计三部分。滑动窗口算法的设计三部分。滑动窗口算法的设计三部分。

【技术实现步骤摘要】
基于深度视觉和惯性测量的移动设备自主定位方法


[0001]本专利技术涉及以深度视觉和惯性测量对移动设备进行自主定位的方法，尤其涉及一种基于滑动窗口策略的多源信息紧耦合方法。

技术介绍

[0002]为了确保无人机、机器人、自动驾驶车辆等可自主移动设备能够安全可靠地完成任务，基于多源数据融合的移动设备自主定位技术已成为近年来的热门话题。该技术最早提出于 1986年的国际机器人与自动化大会，提出了创建一致的概率地图问题及其理论框架和计算问题是机器人领域需要解决的基本问题。移动设备自主定位技术可以理解为将一个可移动设备放置于未知环境中，是否有方法使其通过搭载的传感器观测数据估计自身位置和姿态。移动设备所处的环境决定了自主定位功能实现所要搭载的传感器类型，GPS、雷达等传感设备可以用于移动设备在开阔的室外环境下的精确定位。但是对于室内移动设备，视觉、惯性测量传感器因其成本较低，占用空间小，获取环境信息较为全面等优点更具优势。在数据融合方面，早期的主流方案均基于滤波算法实现移动设备的位置和姿态更新，但是基于马尔可夫性的滤波方法无法将当前时刻与历史时刻的移动设备状态进行关联，且滤波方法需要保存状态量的均值和方差等参数，在大范围环境下的状态数据存储量极大。目前的大多数移动设备自主定位技术均基于非线性优化理论，具体实现过程涉及几何学、图论和概率估计的交叉，且已经具备了成熟的实现框架。
[0003]本专利技术实现了移动设备在室内环境下基于深度视觉和惯性测量的自主定位，同时在位姿估计的理论框架以及技术实现上展开探索，最终开发了一套便携、实用的移动设备室内自主定位系统，可以通过手持的方式进行场景扫描并快速准确地估计设备位姿。自主定位系统可划分为两部分，分别是用来获取深度视觉和惯性测量值的可移动数据采集端和实现多源数据紧耦合算法的自主定位终端。数据采集端包括彩色相机、深度相机、惯性测量单元(IMU)、数据预处理模块和无线通信模块，三种传感器设备在移动设备扫描室内环境过程中采集彩色图像、深度图像和移动设备的运动加速度和角速度，数据预处理模块用来实现传感器的标定任务，无线通信模块将数据采集端的多源数据传输至自主定位终端。自主定位终端用来实现基于滑动窗口策略的多源信息紧耦合方法，实时估计移动设备在每个离散时刻的位姿状态。

技术实现思路

[0004]本专利技术为了实现移动设备在未知环境下的自主定位，提出了一种基于滑动窗口策略的多源信息紧耦合方法，并开发了一套便携、实用的移动设备室内自主定位系统。
[0005]基于深度视觉与惯性测量的移动设备自主定位方法，其主要创新点在于：轻量便携的传感器数据采集端的开发、深度视觉与惯性测量紧耦合优化问题的构建、基于关键帧策略的滑动窗口算法的设计三部分。
[0006]所述传感器数据采集端以平板电脑为核心，基于其自身搭载的彩色相机、惯性测
量单元和外置的深度相机构成如图1所示的数据采集端硬件平台，数据预处理模块和无线通信模块分别实现传感器的标定和传感器数据在局域网中的发布。
[0007]所述深度视觉与惯性测量紧耦合优化问题建立了深度视觉观测和惯性测量与系统状态之间的关系，并构建了一个系统状态量统一的非线性优化问题，可以同时估计移动设备的位置、姿态、速度以及惯性测量单元的偏置。
[0008]所述基于关键帧策略的滑动窗口算法将图像特征点对的数量和特征点集的平均视差作为关键帧的判断标准，过滤具有较多重复信息的图像帧，并通过移除历史状态变量的方式动态更新非线性优化问题中的待优化状态变量，进而控制优化问题的求解规模，保障移动设备自主定位的实时性。
[0009]本专利技术的优点在于：
[0010](1)本专利技术通过搭建可移动数据采集端实现室内环境的多源数据采集，并基于数据采集端实现传感器的标定和数据的无线传输。与大部分基于线缆连接的数据采集设备相比，本专利技术具有明显的实用性、便携性和可移植性。
[0011](2)本专利技术提出一种基于紧耦合和非线性优化的多源数据融合方案，通过构造状态量统一的非线性优化问题同时估计移动设备的位置、姿态、速度和惯性测量单元的偏置。
[0012](3)本专利技术实现了基于关键帧策略的滑动窗口算法，通过关键帧判断标准有效过滤了大量彩色图像和深度图像中的冗余信息，并通过滑动窗口实现了待优化状态变量的动态更新，进而提升了移动设备自主定位系统的实时性。
附图说明
[0013]图1为本专利技术给出的数据采集端硬件平台实物图片；
[0014]图2为本专利技术给出的基于深度视觉与惯性测量的移动设备自主定位方法的实现框架；
[0015]图3为本专利技术提供的多角度棋盘格图像；
[0016]图4为本专利技术提供的提取角点后的棋盘格图像；
[0017]图5为本专利技术提供的棋盘格角点重投影误差分布图；
[0018]图6为本专利技术提供的局域网下的网络通信方式示意图；
[0019]图7为本专利技术提供的移动设备自主定位方法的初始化步骤流程图；
[0020]图8为本专利技术提供的基于公开深度视觉和移动设备运动轨迹数据重建的高质量场景三维模型图；
[0021]图9为本专利技术提供的移动设备在三维空间中的运动轨迹图；
[0022]图10为本专利技术提供的三种定位方法在三组测试实验中的绝对位姿估计误差曲线图；
具体实施方式
[0023]下面结合附图对本专利技术提供的基于深度视觉与惯性测量的移动设备自主定位方法进行详细说明。
[0024]本专利技术给出的基于深度视觉与惯性测量的移动设备自主定位方法的实现框架如图2所示。按照具体实施步骤，可以将整个流程划分为三部分，分别是数据采集与传输、深度
视觉与惯性测量结果的对齐、基于滑动窗口的多源数据紧耦合算法。数据采集与传输部分的所有功能均基于iOS开发，硬件设备包括第六代iPad和Occipital公司推出的Structure深度相机。其他两部分的算法全部基于C++开发，硬件设备为搭载Linux操作系统的台式机。
[0025]数据采集之前需要对所有的传感器设备进行标定，相机内参标定的目的是确定空间物体表面某点的三维位置与其在图像中对应点的相互关系，并建立相机成像的几何模型，本专利技术使用张氏标定法对彩色相机和深度相机的内参进行标定。首先获取如图3所示的多角度棋盘格图像，并提取每张图像中完整的棋盘格角点，如图4所示。给出待标定参数的初始估计值，基于相机成像模型对空间中的棋盘格角点进行投影，并根据成像模型的角点投影坐标结果和提取的图像角点坐标建立多参数的非线性优化问题，最后通过列文伯格
‑
马夸尔特(LevenbergMarquardt，LM)算法进行迭代求解。为客观评估相机内参标定精度，将所有图像帧中的棋盘格角点投影到如图5左半部分所示的同一张图像下，不同颜色的角点表示来自不同的图像，可以发现不同图像帧中的同一角点有很好的对应关系，所有图像帧中的棋盘格角点重投影误差分布如图5右半部分所示，98％的棋盘角点重投影误差在x轴和y轴方向上都小于0.5个像素，最大误差也不超过1个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度视觉与惯性测量的移动设备自主定位方法，其特征在于：轻量便携的传感器数据采集端的开发、深度视觉与惯性测量紧耦合优化问题的构建、基于关键帧策略的滑动窗口算法的设计三部分。2.对于权利要求1所述的传感器数据采集端以平板电脑为核心，基于其自身搭载的彩色相机、惯性测量单元和外置的深度相机构成数据采集端硬件平台，数据预处理模块和无线通信模块分别实现传感器的标定和传感器数据在局域网中的发布。3.对于权利要求1所述的深度视觉与惯性测量紧耦合优化问题分别建立了深度视觉观测和惯性测量与系统状态之间的关系，尤其...

【专利技术属性】
技术研发人员：万九卿，代航宇，吴聪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：