基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法及系统技术方案

本发明专利技术涉及一种基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，包括(1)嵌入式开发处理器通过RGB‑D摄像头获取当前环境的彩色信息与深度信息；(2)通过采集的图像得到特征点匹配对，并进行位姿估计，且获得场景空间点云数据；(3)利用深度学习对图像进行像素级语义分割，通过图像坐标系和世界坐标系映射，并使得空间点具有语义标注信息；(4)通过流形聚类消除优化语义分割所带来的误差；(5)进行语义建图，对空间点云进行拼接，得到由密集离散的点组成的点云语义地图。本发明专利技术还涉及一种基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的系统。采用了该方法及系统，空间网络地图具有更高级的语义信息，更符合在实时建图过程中的使用需求。

【技术实现步骤摘要】
基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法及系统
本专利技术涉及无人系统实时定位与建图领域，尤其涉及图像处理的语义分割领域，具体是指一种基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法及系统。
技术介绍
近年来无人系统发展迅速，自动驾驶、机器人和无人机都是典型的无人系统。视觉SLAM(SimultaneousLocalizationandMapping，即时定位与建图)系统已被广泛的应用于无人系统的定位与路径规划中，如由Mur-Artal等于2015年提出的ORB-SLAM(Mur-ArtalR,MontielJMM,TardósJD.ORB-SLAM:AVersatileandAccurateMonocularSLAMSystem[J].IEEETransactionsonRobotics,2015,31(5):1147-116)。视觉SLAM系统中所建立的空间网络地图仅仅包含低级信息，比如色彩信息和距离信息，这样不利于机器人对当前场景的理解，所以我们在视觉SLAM系统的构建过程中引入基于深度学习的语义分割网络，实现机器人对当前场景的语义及场景理解。语义分本文档来自技高网...

【技术保护点】
1.一种基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的方法包括以下步骤：(1)嵌入式开发处理器通过RGB‑D摄像头获取当前环境的彩色信息与深度信息；(2)通过采集的图像得到特征点匹配对，并进行位姿估计，且获得场景空间点云数据；(3)利用深度学习对图像进行像素级语义分割，通过图像坐标系和世界坐标系映射，并使得空间点具有语义标注信息；(4)通过流形聚类消除优化语义分割所带来的误差；(5)进行语义建图，对空间点云进行拼接，得到由密集离散的点组成的点云语义地图。

【技术特征摘要】
2018.09.18 CN 20181108853151.一种基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的方法包括以下步骤：(1)嵌入式开发处理器通过RGB-D摄像头获取当前环境的彩色信息与深度信息；(2)通过采集的图像得到特征点匹配对，并进行位姿估计，且获得场景空间点云数据；(3)利用深度学习对图像进行像素级语义分割，通过图像坐标系和世界坐标系映射，并使得空间点具有语义标注信息；(4)通过流形聚类消除优化语义分割所带来的误差；(5)进行语义建图，对空间点云进行拼接，得到由密集离散的点组成的点云语义地图。2.根据权利要求1所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(1)中的嵌入式处理器包括NVIDIAJETSONTX2系统。3.根据权利要求1所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(2)包括以下步骤：(2.1)通过视觉SLAM技术提取图像特征点，进行特征匹配得到特征点匹配对；(2.2)通过3D点对求解相机当前位姿；(2.3)通过图优化BundleAdjustment的方法进行更精确的位姿估计；(2.4)通过回环检测消除帧间的累计误差，并获得场景空间点云数据。4.根据权利要求1所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(3)中的对图像进行像素级语义分割具体包括以下步骤：(3.1)通过基于改进空洞卷积的GoogLeNet的特征提取层；(3.2)通过基于改进空洞卷积的GoogLeNet的多尺度提取层；(3.3)根据提取结果对图像进行分类。5.根据权利要求4所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(3.1)还包括特征提取层的设计过程，具体包括以下步骤：(3.1.1)将GoogLeNet网络结构中Inception(3b)之后的最大池化层步长修改为1；(3.1.2)将GoogLeNet网络结构中Inception(4a)、Inception(4b)、Inception(4c)、Inception(4d)、Inception(4e)部分使用空洞卷积代替，并设置空洞卷积为5×5且dilation为2的Pool；(3.1.3)将GoogLeNet网络结构中Inception(4e)之后的最大池化层步长修改为1。6.根据权利要求4所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(3.2)还包括多尺度提取层的设计过程，具体包括以下步骤：(3.2.1)基于空间金字塔池化进行多尺度处理；(3.2.2)通过1×1卷积和不同采样率的空洞卷积提取不同尺度的特征图像；(3.2.3)融合图像池化特征到模块中，将所述的特征图像经过1×1的卷积融合得到特征，并放入Softmax层进行像素点语义分类。7.根据权利要求1所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(4)具体包括以下步骤：(4.1)计算空间点的切平面法向量；(4.2)搜索未被分配类别的点xi，判断是否所有点均已聚类，如果是，则继续步骤(4.5)；否则，xi类别为c＝c+1，并创建空队列q；(4.3)计算空间点xi的切平面法向量vi和距其小于0.01范围内所有点xj的法向量vj的夹角αij，判断是否存在αij＜σ或者αij＞175°，如果是，则xj和xi归为一类，xj类别为c，并将满足条件的xj压入队列q中；否则，继续步骤(4.4)；(4.4)判断队列q是否非空，如果是，则令xi＝q1，继续步骤(4.3)；否则继续步骤(4.1)；(4.5)提取簇内点数最多的前k类点，剩下的点按照就近原则归类。8.根据权利要求1所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(4.1)中的计算空间点的切平面法向量，具体为：根据以下公式计算空间点的切平面法向量：其中，w∈R3×1为该平面的单位法向量，a为特征值。9.根据权利要求1所述的基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的方法，其特征在于，所述的步骤(5)包括以下步骤：(5.1)根据RGB-D相机的精度特性，去除深度值太大或无效的点云；(5.2)通过统计滤波器方法去除孤立的空间点，计算每个空间点与它最近N个空间点的距离均值，去除距离均值过大的空间点；(5.3)通过空间网格原理，将所有空间点云填充进空间网格，使得每个空间网格只保留一个空间点。10.一种基于空洞卷积深度神经网络实现视觉SLAM语义建图功能的系统，其特征在于，所述的系统...

【专利技术属性】
技术研发人员：朱煜，黄俊健，陈旭东，郑兵兵，倪光耀，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海,31