一种基于视觉的室内外一体化地图构建系统及其构建方法技术方案

本发明专利技术属于地图构建技术领域，更具体地，涉及一种基于视觉的室内外一体化地图构建系统及其构建方法。地图构建系统包括基准制定模块，数据处理模块，特征提取模块，特征对齐模块和地图融合模块；本发明专利技术通过制定统一的室内外的地图基准，对室内地图和室外地图进行语义信息和图像特征提取，匹配与对齐，实现室内外一体化地图构建，提升了地图构建的效率和精度。

A vision based indoor and outdoor integrated map construction system and its construction method

【技术实现步骤摘要】
一种基于视觉的室内外一体化地图构建系统及其构建方法
本专利技术属于地图构建
，更具体地，涉及一种基于视觉的室内外一体化地图构建系统及其构建方法。
技术介绍
随着我国经济水平和人们生活水平的提高以及科学技术的发展，机器人也被逐渐应用到了人们的生活之中，如巡检机器人和扫地机器人等。这些机器人都可以极大程度的提高工作效率和生活水平。不论是什么机器人，要想正常工作都需要提前构建好对应场景的地图。机器人在场景的划分中一般分为两类：室内场景和室外场景。根据场景的划分，机器人可以构建室内地图和室外地图。但是，由于现有的三维重建算法很难兼顾室内和室外场景，所以，目前的机器人基本都是分场景工作的。但是，很多情况下，机器人是需要在同一场景的室内和室外场景下工作，为了提升机器人的工作效率，需要构建出复杂场景下的室内外一体化地图。
技术实现思路
本专利技术为克服上述现有技术中的缺陷，提供一种基于视觉的室内外一体化地图构建系统及其构建方法，实现室内外一体化地图构建，提升了地图构建的效率和精度。为解决上述技术问题，本专利技术采用的技术方案是：一种基于视觉的室内外一体化地图构建系统，包括：基准制定模块：用于设定三维地图的三轴单位向量(东北天/北东地等)，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；特征提取模块：用于对室内和室外场景三维地图进行诸如门，窗等室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。进一步的，所述数据处理模块使用视觉传感器根据制定的地图基准，进行室内和室外数据的采集。作为优选的，所述基准制定模块制定的基准需符合实际的室内外场景，设定相同的三维地图的单位向量。作为优选的，所述视觉传感器为多颗单目相机或多目相机组成的组合相机。本专利技术还提供一种基于视觉的室内外一体化地图构建方法，包括以下步骤：S1.使用基准制定模块设定三维场景地图的三轴单位向量，制定统一的室内和室外地图规则；S2.使用数据处理模块的视觉传感器，对多颗单目相机或多目相机组成的组合相机进行标定，获取摄像头的内外参数，对组合相机采集到的图像进行校正；S3.数据处理模块根据制定的地图标准，采集室内和室外数据，并使用基于视觉的三维重建方法，构建室内和室外三维地图；S4.特征提取模块基于室内和室外三维地图，提取室内外共有的语义部件信息和图像特征，以便计算室内和室外三维地图间的姿态变换矩阵；S5.特征提取模块基于共有部件语义一致性的原理，使用语义匹配算法，匹配室内和室外三维地图的语义信息；S6.特征提取模块根据室内外共有场景特征一致性的原理，使用基于RANSAC的图像匹配算法，匹配提取的室内和室外图像特征信息S7.特征对齐模块根据语义部件信息和图像特征信息匹配的结果，进行语义部件最大化对齐和图像像素点对齐，实现室内和室外特征信息的对齐，得到姿态变换矩阵，并输入到地图融合模块；S8.地图融合模块根据提取的室内外三维地图的姿态变换矩阵，对基于同一地图基准的室内和室外地图进行三维像素点变换，最终构建出基于视觉的室内外一体化地图。与现有技术相比，有益效果是：1.本专利技术通过制定统一的室内外的地图基准，对室内地图和室外地图进行语义信息和图像特征提取，匹配与对齐，实现室内外一体化地图构建，提升了地图构建的效率和精度；2.本专利技术的组合相机相比于单目相机获取深度信息，相比于激光雷达成本节省很多，可以获取图像色彩信息，便于直观的对数据进行可视化操作；3.本专利技术操作流程简单，成本低，适用范围广，各种复杂室内外场景均可使用。附图说明图1是本专利技术地图构建系统示意图。图2是本专利技术地图构建方法流程示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利技术的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利技术的限制。实施例1：如图1所示，一种基于视觉的室内外一体化地图构建系统，包括：基准制定模块：用于设定三维地图的三轴单位向量(东北天/北东地等)，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；特征提取模块：用于对室内和室外场景三维地图进行诸如门，窗等室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。本专利技术应用场景为在相同环境下室内和室外场景需包含共有的语义部件和特征信息。实施例2如图2所示，一种基于视觉的室内外一体化地图构建方法，包括以下步骤：步骤1.基准制定模块设定三维场景地图的三轴单位向量，制定统一的室内和室外地图规则；步骤2.数据处理模块包括视觉传感器，对多颗单目相机或多目相机组成的组合相机进行标定，获取摄像头的内外参数，对组合相机采集到的图像进行校正；步骤3.数据处理模块根据制定的地图标准，采集室内和室外数据，并使用基于视觉的三维重建方法，构建室内和室外三维地图；步骤4.特征提取模块基于室内和室外三维地图，提取室内外共有的语义部件信息和图像特征，以便计算室内和室外三维地图间的姿态变换矩阵；步骤5.特征提取模块基本文档来自技高网...

【技术保护点】
1.一种基于视觉的室内外一体化地图构建系统，其特征在于，包括：/n基准制定模块：用于设定三维地图的三轴单位向量，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；/n数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；/n特征提取模块：用于对室内和室外场景三维地图进行室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；/n特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；/n地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。/n

【技术特征摘要】
1.一种基于视觉的室内外一体化地图构建系统，其特征在于，包括：
基准制定模块：用于设定三维地图的三轴单位向量，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；
数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；
特征提取模块：用于对室内和室外场景三维地图进行室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；
特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；
地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。


2.根据权利要求1所述的基于视觉的室内外一体化地图构建系统，其特征在于，所述的基准制定模块制定的基准需符合实际的室内外场景，设定相同的三维地图的单位向量。


3.根据权利要求1所述的基于视觉的室内外一体化地图构建系统，其特征在于，所述的数据处理模块使用视觉传感器根据制定的地图基准，进行室内...

【专利技术属性】
技术研发人员：陈龙，张亚琛，谢玉婷，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44