本发明专利技术涉及室内定位技术领域，尤其涉及基于曼哈顿结构面特征约束的视觉SLAM方法及系统，包括采集室内场景深度图像和彩色图像数据；将图像中的点云转为世界坐标系下的三维坐标，结合深度信息和超像素值进行平面特征提取；根据提取的平面特征，以地面为基准构建曼哈顿结构面，并存储对应的观测值和相应帧，对于新插入的关键帧进行曼哈顿坐标系关联；根据平面特征关联解耦合相机位姿估计，分别计算旋转和平移估计；将局部地图中的平面与曼哈顿坐标系建立联系，结合点特征、面特征、结构约束和地面约束进行后端优化。本发明专利技术克服低纹理场景下点线特征错匹配、误匹配等问题。
【技术实现步骤摘要】
本专利技术涉及室内定位，尤其涉及基于曼哈顿结构面特征约束的视觉slam方法及系统。
技术介绍
1、基于深度相机的视觉slam，在未知环境下自主导航和增强现实的应用中发挥着巨大的作用，其中各种的交互任务依赖于精准的姿态估计和稠密地图。估计相机位姿的传统方法一般通过提取点特征以orb_slam算法为代表实现位姿计算，但在一些大型停车场、长走廊等低纹理场景下会引起点特征提取不稳定，从而导致估计位姿失败。除了点特征提取，还有一些结合结构化环境下的线特征进行视觉slam的跟踪与建图，当相机快速移动使得图像模糊，导致纹理信息丢失情况；而在结构化场景中提取面特征可以极大程度上保证视觉slam系统的跟踪稳定和相机位姿估计的鲁棒性；
2、由于视觉slam的局限性在大场景以及长走廊的室内，长时间运行会导致位姿估计的误差不断累积；为了减小系统对环境依赖的问题，大多数采用添加其他传感器如imu通过外部环境的信息收集并集成到系统中，但在实际场景运行时视觉惯性里程计依然存在累计漂移；也有系统考虑添加回环检测，为减小累积误差，但会造成系统的计算量大且在移动设备上不便于部署。
3、在实际场景中通常有较大的结构特征，可以进行平面约束，对于室内人造环境中具有许多平面构造，提取该较大平面特征可以有效抑制视觉slam带来的累计误差，但同时也造成计算资源极大的消耗且降低计算效率，导致系统的不稳定。
技术实现思路
1、针对现有方法的不足，本专利技术克服低纹理场景下点线特征错匹配、误匹配等问题。
2、本专利技术所采用的技术方案是：基于曼哈顿结构面特征约束的视觉slam方法包括以下步骤：
3、步骤一、采集室内场景深度图像和彩色图像数据；将图像中的点云转为世界坐标系下的三维坐标，结合深度信息和超像素值进行平面特征提取；
4、进一步的，步骤一具体包括：
5、步骤11、根据深度邻域结合超像素进行平面特征提取；
6、进一步的，步骤11具体包括：
7、步骤111、通过旋转矩阵rcw和平移矩阵tcw将像素点从相机坐标系下fc转换到世界坐标系fw；
8、步骤112、将彩色图像分解为超像素{wi|i＝1,…,pl}，pl表示从输入的图像帧中提取到的像素数；
9、步骤113、利用迭代聚类法，计算每个超像素中所有像素的深度值的平均值，对于超像素中的点，连接与其相邻的下、右方向点作两个切向量；通过积分图对邻域内获得的所有切向量求解平均向量，再利用两个切向量的叉乘获得超像素中的点的法向量，在正常空间下对点进行聚类并得到平面pi。
10、步骤12、将所有平面按照垂直与水平进行分类，通过两个平面的角度θ和距离λ是否在阈值内，判断两个平面是否为一类平面。
11、步骤二、根据提取的平面特征，以地面为基准构建曼哈顿结构面，并存储对应的观测值和相应帧，对于新插入的关键帧进行曼哈顿坐标系关联；
12、进一步的，步骤二具体包括：
13、步骤21、将观测到的平面特征和地图中的平面特征进行匹配，若两个观测值平面匹配到相同的地图平面，则该观测值属于同一个曼哈顿坐标系；
14、步骤22、计算测量点到平面的距离a、b、c和d为平面的参数，xi、yi、zi为数据点坐标；采用均方差mse计算拟合平面和数据点的均方误差值η为数据点的数量，得到拟合的平面；
15、步骤23、若拟合的平面的法线与曼哈顿坐标系中的某个轴平行，利用|m·axis|≈1来进行匹配。
16、步骤三、根据平面特征关联解耦合相机位姿估计，分别计算旋转和平移估计；
17、进一步的，步骤三具体包括：
18、步骤31、构建全局旋转矩阵rglobal；
19、步骤32、计算相机的视线方向和平面法向量的叉乘得到相机相对于平面的旋转轴，为叉乘法则，nplane是相机相对于平面的一个单位法向量；
20、步骤33、采用点积法计算坐标轴和平面法向量的夹角θi；cos(θi)＝vcamera⊙nplane；vcamera为相机的视线方向为单位向量；nplane为相机相对于平面的一个单位法向量；
21、步骤34、依据旋转轴和旋转角度构建出相对于平面旋转矩阵rrelative＝rglobal*rmanhattant，rmanhattan为曼哈顿坐标系下的旋转矩阵。
22、步骤四、将局部地图中的平面与曼哈顿坐标系建立联系，结合点特征、面特征、结构约束和地面约束进行后端优化；
23、进一步的，步骤四具体包括：
24、步骤41、使用点特征、面特征以及地面约束来构建非线性优化算法；
25、步骤42、计算点特征重投影误差：其中，upf、vpf为图像帧f的观测位置，zp为特征点在相机坐标系下的z轴坐标；u′pf、v′pf为特征点在相机坐标系下的坐标预测位置；
26、步骤43、构建平面特征误差项：ep2p＝(pi-pplane)·nplane；pi为特征点的三维坐标，pplane是平面的点，nplane是平面的法线；
27、步骤44、构建地面恒高约束误差项eg＝he-hs；其中，he是估计的地面高度，hs是实际的恒定地面高度；
28、步骤45、定义目标函数e＝∑(e2p+e2p2p+e2g)，使用图优化非线性最小二乘优化算法，用于最小化目标函数。
29、进一步的，基于曼哈顿结构面特征约束的视觉slam系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现基于曼哈顿结构面特征约束的视觉slam方法。
30、进一步的，存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现基于曼哈顿结构面特征约束的视觉slam方法。
31、本专利技术的有益效果：
32、1、使用深度图中的深度值结合彩色图的超像素对场景中存在的平面进行拟合，实现平面特征提取；通过丢弃不稳定的观测帧，使得提取的平面特征更接近于实际的平面边界；
33、2、将使用平面作为特征，利用曼哈顿场景中的结构规律的视觉slam方法很大程度上弥补了在复杂场景下的点、线特征提取易丢失的不足，在地下停车场等大场景下，通过解耦旋转和平移策略初始姿态，能够较好的解决相机位姿的漂移问题；
34、3、考虑到未严格遵守曼哈顿世界假设的场景下和初始化过程位姿估计不准确的情况，采用点特征、面特征、结构约束和地面恒高等约束进行后端优化。
本文档来自技高网...
【技术保护点】
1.基于曼哈顿结构面特征约束的视觉SLAM方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于曼哈顿结构面特征约束的视觉SLAM方法，其特征在于，步骤一具体包括：
3.根据权利要求2所述的基于曼哈顿结构面特征约束的视觉SLAM方法，其特征在于，步骤11具体包括：
4.根据权利要求1所述的基于曼哈顿结构面特征约束的视觉SLAM方法，其特征在于，步骤二具体包括：
5.根据权利要求1所述的基于曼哈顿结构面特征约束的视觉SLAM方法，其特征在于，步骤三具体包括：
6.根据权利要求1所述的基于曼哈顿结构面特征约束的视觉SLAM方法，其特征在于，步骤四具体包括：
7.基于曼哈顿结构面特征约束的视觉SLAM系统，其特征在于，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如权利要求1-6任一项所述的基于曼哈顿结构面特征约束的视觉SLAM方法。
8.存储有计算机程序代码的计算机可读介质，其特征在于，计算机程序代码在由处理器执行时实现如权利要求1-6任一项所述的基于曼哈顿结构面特征约束的视觉SLAM方法。
...
【技术特征摘要】
1.基于曼哈顿结构面特征约束的视觉slam方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于曼哈顿结构面特征约束的视觉slam方法，其特征在于，步骤一具体包括：
3.根据权利要求2所述的基于曼哈顿结构面特征约束的视觉slam方法，其特征在于，步骤11具体包括：
4.根据权利要求1所述的基于曼哈顿结构面特征约束的视觉slam方法，其特征在于，步骤二具体包括：
5.根据权利要求1所述的基于曼哈顿结构面特征约束的视觉slam方法，其特征在于，步骤三具...
【专利技术属性】
技术研发人员：杨彪，王姝媛，胡义凯，李怀玉，张立强，俞至韬，杨长春，
申请(专利权)人：常州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。