一种基于深度学习的语义地图构建方法技术

本发明专利技术涉及一种基于深度学习的语义地图构建方法，包括：实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息；根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，所述深度信息为逆深度估计值；用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图；利用闭环检测算法优化机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化，实现带有语义信息的深度地图构建，提高机器人的环境感知与自主定位能力。

【技术实现步骤摘要】
一种基于深度学习的语义地图构建方法
本专利技术属于人工智能与数字图像处理
，涉及一种基于深度学习的语义地图构建方法。
技术介绍
在机器人领域，一个重要的问题是如何使得机器人获得自身与环境的信息。为了解决这个问题，首先要使得机器人具备感知环境的能力。在实际研究中，机器人常常利用视觉信息来构建室内地图，然而，这些利用视觉信息构造的地图往往是利用深度相机构建的三维地图地图且不具备室内空间的语义信息。传统的语义信息获取算法往往分为三个步骤，即区域选择，特征提取和分类。但是在区域选择时针对性不强且手动设计的特征对于目标的多样性并没有很好的鲁棒性，检测的结果实时性和准确性都比较低。从深度相机被应用于地图构建领域之后，越来越多的开发者在这上面做了很多工作，但是在相机获取数据准确度不高的情况下，大环境下构建地图仍然是一个非常具有挑战的问题，因为深度相机的深度信息有效距离只有4米左右，在环境快速变化的过程中，超过4米的空旷环境下并不一定有深度信息反馈，这为构建深度地图带来了许多困难。
技术实现思路
为了克服上述现有的问题本文档来自技高网...

【技术保护点】
1.一种基于深度学习的语义地图构建方法，其特征在于，包括以下步骤：/n实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息；/n根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，所述深度信息为逆深度估计值；/n用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图；/n利用闭环检测算法优化移动机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化。/n

【技术特征摘要】
1.一种基于深度学习的语义地图构建方法，其特征在于，包括以下步骤：
实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息；
根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，所述深度信息为逆深度估计值；
用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图；
利用闭环检测算法优化移动机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化。


2.根据权利要求1所述的语义地图构建方法，其特征在于，所述实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息，包括：
采用单目相机实时拍摄移动机器人周围环境，得到当前帧图像；
根据所述当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息。


3.根据权利要求2所述的语义地图构建方法，其特征在于，所述根据所述当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息，包括：
根据所述当前帧图像与前一帧图像之间的光度误差构建如下式所示的移动机器人位姿函数：



其中，Ep(ξ)i，i-1为移动机器人位姿，P为空间上的某一点，ξ为移动机器人位姿对应的李代数，rp(p,ξi，i-1)为P点在前一帧图像I(i-1)和当前帧图像Ii上对应点的光度误差，D(p)为空间上的所有点集，Ii(p)为点p在当前帧图像Ii上对应的像素点，ω为点p投影到相机坐标系下的投影函数，为光度误差的方差，||·||δ为huber范数；
通过高斯牛顿迭代法对所述移动机器人位姿函数进行求解，获得移动机器人位姿对应的李代数，并利用如下公式求出移动机器人的旋转信息和移动信息：



其中，R为移动机器人的旋转信息，t为移动机器人的移动信息。


4.根...

【专利技术属性】
技术研发人员：徐一鸣，戴秋霞，顾海峰，顾菊平，华亮，王栗，张海东，卞春磊，周方杰，祁晖，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32