一种双目视觉定位方法、装置及系统制造方法及图纸

本发明专利技术实施例提供一种双目视觉定位方法、装置及系统。其中，方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差；将上述计算得到的结果作为通用图优化算法的节点或边，以得到优化后的用于定位的第三位姿变化信息。系统包括：双目视觉定位装置以及与之连接的双目摄像单元和惯性测量单元；所述双目摄像单元的左目相机和右目相机对称位于所述惯性测量单元的两侧。本发明专利技术实施例提供的技术方案能够提高位置姿态的估计精度和实时性。

A method, device and system for binocular vision positioning

An example of the invention provides a method, a device and a system for binocular vision positioning. The method includes: according to the binocular camera unit in two times collected two successive images, calculating the first posture change information; according to the inertial parameters of inertial measurement unit collected between two consecutive times, calculated second posture change information; extracted feature points matching two images from the two frame image, and calculate the re projection error of each feature point; the calculation results as the nodes or edges of general graph optimization algorithm, to obtain the optimized for the positioning of the third posture change information. The system includes binocular vision location device and binocular camera unit and inertial measurement unit connected to it. The left eye camera and right eye camera of the binocular camera unit are symmetrically located on both sides of the inertial measurement unit. The technical scheme provided by the embodiment of the invention can improve the estimation accuracy and real time of the position and attitude.

【技术实现步骤摘要】
一种双目视觉定位方法、装置及系统
本专利技术涉及定位
，尤其涉及一种双目视觉定位方法、装置及系统。
技术介绍
同时定位与建图(SimultaneousLocalizationAndMapping，SLAM)是机器人领域的重要问题。目前，已被广泛应用到移动机器人，无人机，虚拟现实以及增强现实等领域。目前SLAM技术分为两个部分：前端和后端。前端部分主要是传感器信息的采集，后端部分主要是对传感器信息进行处理，包括位置姿态计算、位置姿态优化、回环检测以及构图等。目前SLAM主要使用摄像头来采集信息，而摄像头很容易受到环境的影响(比如灯光，白墙，桌面等)，导致无法进行位置姿态估计。并且，目前SLAM使用的后端数据处理算法也难以满足实时性要求高的应用场景中。可见，现有的空间定位和建图方法不仅对位置姿态的估计精度较低，实时性也较差。
技术实现思路
本专利技术实施例提供一种双目视觉定位方法、装置及系统，目的在于提高位置姿态的估计精度和实时性。在本专利技术的一个实施例中，提供了一种双目视觉定位方法。该方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据所述双目摄像本文档来自技高网...

【技术保护点】
一种双目视觉定位方法，其特征在于，包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。

【技术特征摘要】
1.一种双目视觉定位方法，其特征在于，包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。2.根据权利要求1所述的方法，其特征在于，所述根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息，包括：从所述两帧图像的前一帧图像中，提取多个前帧特征点；获取所述多个前帧特征点的坐标信息；分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；获取所述多个后帧特征点的坐标信息；根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。3.根据权利要求2所述的方法，其特征在于，所述获取所述多个前帧特征点的坐标信息，包括：获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标；根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；根据所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标。4.根据权利要求2或3所述的方法，其特征在于，还包括：若从所述两帧图像的后一帧图像中未查找到与所述前帧特征点相匹配的后帧特征点；将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到与所述多个前帧特征点匹配的多个后帧特征点为止。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息，包括：对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息。6.根据权利要求5所述的方法，其特征在于，所述惯性参数包括：角速度和加速度；以及所述对所述惯性测量单元在所述连续的两个时刻之间采...

【专利技术属性】
技术研发人员：宋浩冉，戴天荣，任玉川，李舜铭，曹进喜，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：山东,37