基于视觉融合地标的拓扑地图生成方法技术

本发明专利技术公开基于视觉融合地标的拓扑地图生成方法，包括：输入RGB图像，基于卷积神经网络对RGB图像进行语义分割，根据语义分割中间层的特征图提取出输出值大于预定值的点作为特征点；获取场景的深度图，基于深度图的深度信息和特征点在图像上的二维坐标信息，依据相机模型获取特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；采用基于模糊数学地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和三维地图，获得融合地标的三维语义地图；基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。

Topological map generation method based on visual fusion landmark

【技术实现步骤摘要】
基于视觉融合地标的拓扑地图生成方法
本专利技术属于机器人
，特别是一种基于视觉融合地标的拓扑地图生成方法。
技术介绍
建图技术对于智能机器人探索任务环境、自主完成各种任务来说至关重要。智能机器人在运动过程中，通过传感器收集环境信息，分析数据，感知环境，有助于根据任务的需要以及环境的当前状态自主地做出相应的决策，进而完成各项任务，实现真正意义上的智能。在机器人领域，SLAM(同时定位与构图)技术是机器人构建地图、感知环境的一项关键技术。机器人在行进过程中通过激光雷达、相机等传感器数据，估计此时的位置和姿态，同时构建环境的地图。SLAM技术按照系统所采用的传感器大致可以分为两种，一种是使用激光雷达的SLAM技术，另一种是使用相机的视觉SLAM技术。其中，视觉SLAM技术通常又分为特征点法和直接法两种。传统的SLAM技术无论以激光雷达信息还是视觉图像信息作为系统输入，最终构建出的三维地图都只包含周围环境的几何信息，缺少语义信息。这给智能机器人根据任务自主进行推理，以及进一步实现复杂的人机交互带来了困难。带有语义的SLAM(简称语义SLAM)技术主要涉及传统的SLAM技术和语义分割技术。当前，关于语义SLAM的研究主要聚焦于应用于室内场景的基于激光雷达的SLAM。尽管激光雷达适合室外场景，但是相比于相机，其成本更加昂贵，并且获取的信息远少于视觉包含的信息。而基于视觉的语义SLAM主要是通过RGBD相机实现，即使融入了图像的语义分割结果，但是一方面系统仍然依赖于像素级的数据，易受光照等条件的影响，另一方面，该语义与人类的语言有很大区别，不适于基于语言的人机交互系统。因此，在现有的SLAM系统中，融入更高层次的、适于人机交互的语义信息，实时构建出包含高层语义信息的三维地图至关重要。在
技术介绍
部分中公开的上述信息仅仅用于增强对本专利技术背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
技术实现思路
针对现有技术中存在的问题，本专利技术提出一种基于视觉融合地标的拓扑地图生成方法，能够在嵌入式机载或车载平台上运行的基于视觉的融合地标的拓扑地图构建，解决现有机器人领域构建的三维地图中不包含语义信息的问题，同时解决视觉SLAM系统中融合的像素级的语义信息易受光照等条件影响，且无法实现基于语言的人机交互的问题。并且使建图脱离后端服务器，使得拓扑地图能够在自主智能机器人上建立、存储并在自主智能机器人之间传输。本专利技术的目的是通过以下技术方案予以实现，一种基于视觉融合地标的拓扑地图生成方法包括以下步骤：第一步骤中，输入RGB图像，基于卷积神经网络对所述RGB图像进行语义分割，并根据语义分割中间层的特征图提取出大于预定值的输出值的点作为特征点；第二步骤中，获取场景的深度图，基于所述深度图的深度信息和所述特征点在图像上的坐标信息，依据相机模型获取所述特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，其中，三维地图以点云的形式存储，每个点云根据语义分割的结果进行了筛选与标注；第三步骤中，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；第四步骤中，根据电子地图，获取环境中的建筑物的GPS信息和机器人的初始GPS信息，根据机器人初始GPS信息和所述位姿信息计算得到机器人在不同位姿下的GPS信息和三维地图中的点云的GPS信息；第五步骤(S5)中，根据所述点云的GPS信息和所述建筑物的坐标GPS信息及其编码，采用基于模糊数学的地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和所述三维点云地图，获得融合了地标的三维语义地图；第六步骤中，基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。所述的方法中，第二步骤中，通过深度预测神经网络获得所述特征点的深度信息，将图像中二维特征点从相机坐标系转换到三维点云坐标系，获得该特征点在三维空间中的对应的点云。所述的方法中，坐标系转换过程为：其中，(xv，yv，zv)表示点云的坐标值，Tpointcloud2camera表示从三维点云坐标系到相机坐标系的转换过程，(uc，vc)表示该点云对应的像素坐标值，其中，u，v是图像中像素点的横纵坐标，w为与深度相关的比例参数。所述的方法中，深度信息包括真实世界三维点距离相机光心的垂直距离。所述的方法中，图像每个像素属于建筑物的概率的图像语义分割结果与点云中每个点关联，使用贝叶斯更新规则更新每个点云的语义标签的概率分布，其中，根据三维点云与二维特征点的对应关系，每个特征点的是否属于建筑物的分布如下式：Lv(xv，yv，zv)＝Is(uc，vc)，其中，Is(uc，vc)表示图像语义分割的结果，Lv(xv，yv，zv)表示每个点云的语义标签，贝叶斯更新规则对多观测的数据进行融合，如下式：其中，Z是归一化常量，代表点云在第k帧时属于类别v，表示从第一帧到第k帧的累积概率分布，选择一个点云的概率分布中概率最大值对应的标签作为该点云的标签，如下式：Lp(v)＝maxp(lv|I，P)，其中，Lp(v)表示该点云的语义标签，在实时融合过程中，每个点云包含一个语义类别和一个语义概率分布。所述的方法中，第三步骤中，维度为W×H×3输入图片依次通过特征提取器，编码器和解码器得到前景和背景划分，作为纹理分割结果，纹理分割网络训练完成后，采用特征提取器和编码器两部分作为图像的纹理编码模块，将编码器的输出向量作为图像的纹理编码，编码器的输出向量维度为W×H×Nd，原图的每个像素点对应一个Nd维的编码向量，所述编码向量为像素点在纹理特征空间中的编码。所述的方法中，第五步骤中，采用基于模糊数学的方法进行地标和点云的融合，空间隶属度的计算方法为：假设地标的位置坐标为(xl，yl)，点云的位置坐标为(x，y)，所述点云隶属于该地标的空间隶属度s(x，y)基于高斯分布来表示，如下式：s(x，y)＝G(x，y，xl，yl，σ)，其中，G(x，y，xl，yl，σ)表示二维高斯概率密度函数，σ为二维高斯分布标准差，纹理隶属度的计算方法为：对距离地标的位置坐标为(xl，yl)最近的N个属于建筑类别的点云对应的纹理特征进行加权平均，得到该地标的纹理特征向量权重为点云隶属于该地标的空间隶属度s(x，y)，如下式：依据每个点云对应的纹理特征向量Td(x，y)计算其与地标的纹理特征向量之间的距离D，点云隶属于地表的纹理隶属度函数t(x，y)由一维高斯概率密度函数表示，其中，为一维高斯概率密度函数，σt为一维高斯分布的标准差，最终的隶属度函数b(x，y)为空间隶属度和纹理隶属度的乘积，b(x，y)＝s(x，y)×t(x，y)。所述的方法中，第六步骤中，根据机器人的位姿轨迹生成路径拓扑点，路径拓扑点与在该位置能观测到的路标拓扑点建立关联，最终生成可用于导航的融合地标的拓扑地图。有益效果本专利技术基于深度学习技术建立了融合语义地标的拓扑地图，解决了现有机器人领域构建的三维地图中不包含语义信息的问本文档来自技高网...

【技术保护点】
1.一种基于视觉融合地标的拓扑地图生成方法，所述方法包括以下步骤：/n第一步骤(S1)中，输入RGB图像，基于卷积神经网络对所述RGB图像进行语义分割，并根据语义分割中间层的特征图提取出大于预定值的输出值的点作为特征点；/n第二步骤(S2)中，获取场景的深度图，基于所述深度图的深度信息和所述特征点在图像上的坐标信息，依据相机模型获取所述特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，其中，三维地图以点云的形式存储，每个点云根据语义分割的结果进行了筛选与标注；/n第三步骤(S3)中，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；/n第四步骤(S4)中，根据电子地图，获取环境中的建筑物的GPS信息和机器人的初始GPS信息，根据机器人初始GPS信息和所述位姿信息计算得到机器人在不同位姿下的GPS信息和三维地图中的点云的GPS信息；/n第五步骤(S5)中，根据所述点云的GPS信息和所述建筑物的坐标GPS信息及其编码，采用基于模糊数学的地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和所述三维点云地图，获得融合了地标的三维语义地图；/n第六步骤(S6)中，基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。/n...

【技术特征摘要】
1.一种基于视觉融合地标的拓扑地图生成方法，所述方法包括以下步骤：
第一步骤(S1)中，输入RGB图像，基于卷积神经网络对所述RGB图像进行语义分割，并根据语义分割中间层的特征图提取出大于预定值的输出值的点作为特征点；
第二步骤(S2)中，获取场景的深度图，基于所述深度图的深度信息和所述特征点在图像上的坐标信息，依据相机模型获取所述特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，其中，三维地图以点云的形式存储，每个点云根据语义分割的结果进行了筛选与标注；
第三步骤(S3)中，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；
第四步骤(S4)中，根据电子地图，获取环境中的建筑物的GPS信息和机器人的初始GPS信息，根据机器人初始GPS信息和所述位姿信息计算得到机器人在不同位姿下的GPS信息和三维地图中的点云的GPS信息；
第五步骤(S5)中，根据所述点云的GPS信息和所述建筑物的坐标GPS信息及其编码，采用基于模糊数学的地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和所述三维点云地图，获得融合了地标的三维语义地图；
第六步骤(S6)中，基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。


2.根据权利要求1所述的方法，其中，优选的，第二步骤(S2)中，通过深度预测神经网络获得所述特征点的深度信息，将图像中二维特征点从相机坐标系转换到三维点云坐标系，获得该特征点在三维空间中的对应的点云。


3.根据权利要求2所述的方法，其中，坐标系转换过程为：

其中，(xv，yv，zv)表示点云的坐标值，Tpointcloud2camera表示从三维点云坐标系到相机坐标系的转换过程，(uc，vc)表示该点云对应的像素坐标值，其中，u，v是图像中像素点的横纵坐标，w为与深度相关的比例参数。


4.根据权利要求2所述的方法，其中，深度信息包括真实世界三维点距离相机光心的垂直距离。


5.根据权利要求2所述的方法，其中，图像每个像素属于建筑物的概率的图像语义分割结果与点云中每个点关联，使用贝叶斯更新规则更新每个点云的语义标签的概率分布，其中，根据三维点云与二维特征点的对应关系，每个特征点的是否属于建筑物的分布如下式：Lv(xv，yv，zv)＝Is(uc，vc)，其中，Is(uc...

【专利技术属性】
技术研发人员：任鹏举，李创，丁焱，赵子瑞，毛艺钧，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61