基于SLAM的三维稠密面元建图方法及其系统和电子设备技术方案

一种基于SLAM的三维稠密面元建图方法及其系统和电子设备。该基于SLAM的三维稠密面元建图方法，包括步骤：对新进的图像帧数据和位姿数据进行预处理，以得到同步的图像帧位姿信息和对应的图像信息，其中该图像信息包括对齐的灰度图像和深度图像；在同一线程内结合该图像帧位姿信息对该图像信息进行超像素分割、面元提取和融合处理，以获得更新后的面元地图；以及对该更新后的面元地图进行结构化网格处理，以实时地输出稠密地图的三角网格数据。以实时地输出稠密地图的三角网格数据。以实时地输出稠密地图的三角网格数据。

【技术实现步骤摘要】
基于SLAM的三维稠密面元建图方法及其系统和电子设备


[0001]本专利技术涉及SLAM
，尤其是涉及基于SLAM的三维稠密面元建图方法及其系统和电子设备。

技术介绍

[0002]同时定位与建图(英文：Simultaneous Localization and Mapping，简称SLAM)技术作为移动机器人、虚拟现实以及增强现实设备的定位与导航的核心技术，其算法框架日臻完善，并逐步由理论研究转向成熟的市场应用。目前，经典的基于视觉传感器或基于视觉传感器与惯性测量单元(IMU)耦合的SLAM算法框架通常包括前端提取与跟踪图像特征，后端优化估计空间点位置与自身位姿，回环检测纠正偏移，以及建立三维地图等模块，并已趋于定型。例如，后端优化主要包括滤波优化和非线性优化两类手段。而直至今日，该非线性优化中代表性的集束优化(Bundle Adjustment)、位姿图以及因子图算法占有明显的优势，已经成为SLAM方案后端滑窗优化和全局优化的主流应用算法。
[0003]由于估计和重建周围的三维环境是自主机器人实现安全导航和操作等高级任务的基本能力之一，在AR、VR等穿戴式设备中也是携带者与周围环境感知交互的桥梁，因此为了使得重建的三维地图在移动机器人平台或穿戴式设备中可用，建图算法需要满足一些基本的要求：首先，三维重建地图必须密集覆盖环境以提供足够的信息，用于导航或者交互；其次，建图模块应当具备良好的可扩展性和运行效率，例如覆盖不同尺度范围的房间乃至街道等规模场景的三维重建，同时可以在有限的CPU/GPU计算资源中实现部署；最后，重建的三维地图需要全局一致性，来消除相机移动过程中产生的位姿估计漂移。
[0004]然而，现今主流的一种三维地图重建方法通常是基于体素来表示三维环境，其通过储存和更新截断符号距离来获取表面位置，进而使用移动立方体算法来获取三维环境网格数据，但这类方法的问题是缺少灵活性，特别是当SLAM系统进行关键帧位姿图优化或者回环检测继而导致位姿发生矫正后，体素地图不能很好地进行相应的变形。例如，Kinect Fusion是实现RGBD图像实时三维重建和位姿估计的开创性工作，其原理是通过带有截断符号距离场信息的体素来表示三维环境，需要CUDA通用并行计算架构实现三维点云和ICP匹配的加速运算。
[0005]而另一种通过面元来表示三维环境的方法虽然可以灵活地根据位姿变化进行地图变换，从而利用SLAM系统的位姿优化信息来维持地图一致性，但绝大部分三维地图重建方法需要GPU等计算资源来处理数量庞大的三维点云运算，难以在计算资源有限的移动平台上实现部署。例如，SurfelMeshing是从RGBD图像的像素点中提取面元，继而实现三维表面重建和结构化网格获取，但这需要GPU加速来实现表面重建和平滑去噪等环节。
[0006]此外，由于在基于非线性优化的SLAM方案中，使用滑动窗口读取固定数量的连续图像帧进行局部优化可以快速计算普通图像帧的位姿；与此同时，采用构建关键帧方式，可以执行快速的回环检测和全局优化从而反馈到滑窗内普通帧的位姿优化中，来实现全局一致的状态信息。因此，三维地图重建模块不仅需要获取普通图像帧位姿进行三维点云提取
和融合，也需要获取全局优化后关键帧位姿优化信息来维持三维地图的一致性，以期减少位姿估计累积误差产生的地图漂移。这样体素类方法的Bundle Fusion是通过RGBD图像帧的逆积分和重新积分来实现对应全局优化后的地图更新，而面元类方法的Elastic Fusion则是通过加入闭环检测模块实现地图的全局一致性，继而进行地图变形，但这两种三维地图重建方案也需要使用GPU进行并行加速，才能满足实时运算。

技术实现思路

[0007]本专利技术的一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其能够在有限的计算资源场景中实现实时的同时定位与三维稠密地图重建方案的部署。
[0008]本专利技术的另一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于SLAM的三维稠密面元建图方法能够在利用SLAM系统的全局优化来解决三维地图全局一致性维持问题的同时，在CPU上实现单线程实时处理和融合新进图像帧信息，有望作为增强现实设备和移动机器人的底层算法，便于开放虚实结合和机器人导航操作等上层应用。
[0009]本专利技术的另一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于SLAM的三维稠密面元建图方法能够对于每帧普通图像融合过程，首先将灰度和深度图像进行超像素分割，继而提取面元并与全局地图融合，以极大地减少计算量，改善方法的实时性。
[0010]本专利技术的另一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于SLAM的三维稠密面元建图方法能够在单线程上实现灰度图像和深度图像的实时超像素分割，进而提取和融合面元地图，有助于实现面元地图的实时处理和更新。
[0011]本专利技术的另一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于SLAM的三维稠密面元建图方法能够通过获取SLAM后端全局优化后的关键帧位姿对面元进行变形，以便维持全局一致的稠密地图。
[0012]本专利技术的另一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于SLAM的三维稠密面元建图方法能够通过对灰度图像和深度图像进行超像素分割以提取为面元，使得面元地图建立过程可以在CPU上进行运算，便于在嵌入式平台实现部署。
[0013]本专利技术的另一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于SLAM的三维稠密面元建图方法能够通过对SLIC超像素分割和面元提取过程进行并行优化和改进，使得面元地图可以在CPU单线程上实现实时处理和更新。
[0014]本专利技术的另一优势在于提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，其中为了达到上述优势，在本专利技术中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本专利技术成功和有效地提供一解决方案，不只提供一基于SLAM的三维稠密面元建图方法及其系统和电子设备，同时还增加了所述基于SLAM的三维稠密面元建图方法及其系统和电子设备的实用性和可靠性。
[0015]为了实现上述至少一优势或其他优势和目的，本专利技术提供了一基于SLAM的三维稠密面元建图方法，包括步骤：
[0016]对新进的图像帧数据和位姿数据进行预处理，以得到同步的图像帧位姿信息和对应的图像信息，其中所述图像信息包括对齐的灰度图像和深度图像；
[0017]在同一线程内结合该图像帧位姿信息对该图像信息进行超像素分割、面元提取和融合处理，以获得更新后的面元地图；以及
[0018]对该更新后的面元地图进行结构化网格处理，以实时地输出稠密地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一基于SLAM的三维稠密面元建图方法，其特征在于，包括步骤：对新进的图像帧数据和位姿数据进行预处理，以得到同步的图像帧位姿信息和对应的图像信息，其中所述图像信息包括对齐的灰度图像和深度图像；在同一线程内结合该图像帧位姿信息对该图像信息进行超像素分割、面元提取和融合处理，以获得更新后的面元地图；以及对该更新后的面元地图进行结构化网格处理，以实时地输出稠密地图的三角网格数据。2.如权利要求1所述的基于SLAM的三维稠密面元建图方法，其中，所述在同一线程内结合该图像帧位姿信息对该图像信息进行超像素分割、面元提取和融合处理，以获得更新后的面元地图的步骤，包括步骤：结合该深度图像对该灰度图像进行超像素分割处理，以得到新进图像帧的超像素数据；根据该新进图像帧的超像素数据，从该新进图像帧中提取面元，以得到该新进图像帧的待融合面元；以及根据该新进图像帧的待融合面元，对当前面元地图进行面元更新处理，以得到更新后的面元地图。3.如权利要求2所述的基于SLAM的三维稠密面元建图方法，其中，所述结合该深度图像对该灰度图像进行超像素分割处理，以得到新进图像帧的超像素数据的步骤，包括步骤：对该深度图像和该灰度图像中的图像栅格进行初始化处理，以得到新进图像帧的初始超像素；根据该新进图像帧的初始超像素对该新进图像帧中的像素点进行归类处理，以得到新进图像帧的归类像素点；以及根据该新进图像帧的归类像素点，对该新进图像帧的初始超像素进行迭代更新处理，以得到数据收敛的该新进图像帧的超像素数据。4.如权利要求3所述的基于SLAM的三维稠密面元建图方法，其中，所述根据该新进图像帧的初始超像素对该新进图像帧中的像素点进行归类处理，以得到新进图像帧的归类像素点的步骤，包括步骤：遍历该图像栅格，以从当前栅格中提取当前像素点；响应于该当前像素点被标记为无效，直接跳过该当前栅格；响应于该当前像素点未被标记为无效，将该当前栅格划分为多个子栅格，以确定需要计算距离度量值的当前超像素；以及通过计算该当前像素点与所确定的超像素之间的距离度量值，取与该当前像素点具有距离度量最小值的当前超像素进行归类，以得到对应的归类像素点。5.如权利要求4所述的基于SLAM的三维稠密面元建图方法，其中，该距离度量值的计算公式被实施为：D＝[|x
i-u
x
|+|y
i-u
y
|]
×
F
S
+|I
i-u
I
|
×
F
C
+|disp
i-u
disp
|
×
F
d
×
S
d
，其中u
x
,u
y
,u
I
以及u
disp
分别代表当前像素点的像素坐标、灰度值以及视差；x
i
,y
i
,I
i
以及disp
i
分别代表当前超像素的像素坐标、灰度值以及视差；F
S
、F
C
、F
d
以及S
d
分别为相应的权重系数。6.如权利要求5所述的基于SLAM的三维稠密面元建图方法，其中，所述根据该新进图像
帧的归类像素点，对该新进图像帧的初始超像素进行迭代更新处理，以得到数据收敛的该新进图像帧的超像素数据的步骤，包括步骤：遍历该图像栅格，以从该当前栅格中提取该当前超像素；响应于该当前超像素被标记为无效，直接跳过该当前栅格；响应于该当前超像素未被标记为无效，通过遍历该当前栅格及其周围栅格中的像素点，求解归类到该当前超像素的像素点的像素坐标、灰度值以及深度值的平均值，以更新该当前超像素的属性；以及重复上述像素点归类步骤和上述超像素更新步骤，直至获得数据收敛的该新进图像帧的超像素数据。7.如权利要求2至6中任一所述的基于SLAM的三维稠密面元建图方法，其中，所述根据该新进图像帧的超像素数据，从该新进图像帧中提取面元，以得到该新进图像帧的待融合面元的步骤，包括步骤：遍历未被标记为无效的超像素，检索当前超像素的中心周围范围内归类到该当前超像素的像素点，以将具有有效深度值的像素点的像素坐标和深度值存入容器中作为内点；响应于该容器中的内点数量小于数量阈值，跳过该当前超像素；以及响应于该容器中的内点数量大于或等于该数量阈值，根据相机参数和该内点的像素坐标和深度值，通过反投影模型计算该内点的三维空间坐标，以将通过该内点在三维空间中组成的平面作为该新进图像帧的面元。8.如权利要求2至6中任一所述的基于SLAM的三维稠密面元建图方法，其中，所述根据该新进图像帧的待融合面元，对当前面元地图进行面元更新处理，以得到更新后的面元地图的步骤，包括步骤：遍历该当前面元地图中所有的已有面元，以将当前已有面元的三维坐标转换并投影到该新进图像帧的图像坐标系；响应于该当前已有面元的图像坐标超...

【专利技术属性】
技术研发人员：周刊，周俊，
申请(专利权)人：舜宇光学浙江研究院有限公司，
类型：发明
国别省市：