基于曼哈顿世界结构空间融合的视觉SLAM方法及设备技术

本发明专利技术公开了基于曼哈顿世界结构空间融合的视觉SLAM方法及设备，方法包括：从视觉传感器获取环境数据，进行结构化直线特征提取与空间认知信息提取，获得室内空间的三个主方向消失点；利用空间认知信息融合对结构化直线特征三角化的初始值进行修正；构建结构化直线特征误差优化方程，将修正后的直线坐标作为非线性优化的初始值，获取SLAM建图定位信息。本发明专利技术针对符合曼哈顿世界结构的室内场景，通过进行结构化直线特征提取与空间认知信息提取，以及空间认知信息融合对结构化直线特征进行修正并参与误差约束和优化，从而提高定位精度，同时提高3D结构化特征地图可靠性。同时提高3D结构化特征地图可靠性。同时提高3D结构化特征地图可靠性。

【技术实现步骤摘要】
基于曼哈顿世界结构空间融合的视觉SLAM方法及设备


[0001]本专利技术涉及机器人感知
，具体涉及一种基于曼哈顿世界结构空间融合的视觉SLAM方法及设备。

技术介绍

[0002]SLAM为Simultaneous localization and mapping的缩写，为“同步定位与建图”，主要用于解决机器人在未知环境运动时的定位与地图构建问题。SLAM主要分为两类，一种是基于激光雷达的激光SLAM(Lidar SLAM)和基于视觉的VSLAM(Visual SLAM)。
[0003]近年来，针对室内场景下的服务机器人快速普及并发展，基于视觉的SLAM技术的优点是它所利用的丰富纹理信息。例如：两块尺寸相同内容却不同的广告牌，基于点云的激光SLAM算法无法区别他们，而视觉则可以轻易分辨。这带来了重定位、场景分类上无可比拟的巨大优势。同时，视觉信息可以较为容易的被用来跟踪和预测场景中的动态目标，如行人、车辆等，对于在复杂动态场景中的应用这是至关重要的。
[0004]但是，现有基于视觉的SLAM技术，大多利用图像中的点特征进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于曼哈顿世界结构空间融合的视觉SLAM方法，其特征在于，包括：从视觉传感器获取环境数据，进行结构化直线特征提取与空间认知信息提取，获得室内空间的三个主方向消失点；利用空间认知信息融合对结构化直线特征三角化的初始值进行修正；构建结构化直线特征误差优化方程，将修正后的直线坐标作为非线性优化的初始值，获取SLAM建图定位信息。2.根据权利要求1所述基于曼哈顿世界结构空间融合的视觉SLAM方法，其特征在于，提取的所述结构化直线特征至少包括基于符合曼哈顿世界结构的室内空间的墙壁、地板和天花板的结构提取出的直线特征。3.根据权利要求1所述基于曼哈顿世界结构空间融合的视觉SLAM方法，其特征在于，提取所述空间认知信息的方法包括：引入惯性传感器的姿态数据计算重力方向消失点；以相机为中心构建单位球体，并在单位球体上采样生成相机坐标系下的消失点假设，根据消失点正交关系和线段响应对消失点假设进行验证获取三个主方向最佳消失点。4.根据权利要求3所述基于曼哈顿世界结构空间融合的视觉SLAM方法，其特征在于，所述空间认知信息提取方法中，引入惯性传感器的姿态数据计算重力方向消失点，以获取相机坐标系下的三个主方向最佳消失点，具体方法包括：定义相机坐标系下消失点为IMU坐标系当前时刻相对于第一帧时的旋转矩阵为Rs；IMU坐标系到相机的旋转矩阵为R
cb
；根据坐标系之间的变换关系，则世界坐标系下消失点在相机坐标系下表示为：5.根据权利要求4所述基于曼哈顿世界结构空间融合的视觉SLAM方法，其特征在于，所述空间认知信息提取方法中，以相机为中心构建单位球体并在单位球体上采样生成消失点假设，具体方法包括：构建一个单位球体，其X轴与Y轴分别与图像平面的X轴和Y轴平行，Z轴则指向相机光心,已知相机的光心(x0,y0)和焦距f，将消失点像素坐标转换为单位球体上坐标(X,Y,Z)，并在单位球体上建立极坐标获取极坐标系角度φ和λ：其中，在与正交的单位球体平面上均匀采样生成消失点假设，采样间隔为1
°
，即一共生成360个消失点假设；根据正交性质，第i个消失点假设在单位球面的坐标通过以下方程进行计算：第三个消失点的假设与v1和都满足正交关系，直接根据向量叉乘计算得到：
6.根据权利要求5所述基于曼哈顿世界结构空间融合的视觉SLAM方法，其特征在于，所述空间认知信息提取方法中，根据消失点正交关系和线段响应对消失点假设进行验证获取三个主方向最佳消失点...

【专利技术属性】
技术研发人员：刘艳娇，刘孟红，岳峥嵘，况逸群，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：