一种基于机器人平台的室内墙角二维语义地图构建方法技术

本发明专利技术提出了一种基于机器人平台的室内墙角二维语义地图构建方法。本发明专利技术通过激光雷达结合Gmapping算法处理得到环境栅格地图、机器人实时位姿；通过语义分割数据集、墙角目标检测数据训练深度学习模型，识别预测室内环境墙角、非墙角物体；同时结合深度相机进行环境中墙角、非墙角物体语义点云提取，并基于统计学方法进行滤波，将滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标，结合机器人实时位姿分别进行点云坐标变换，得到其在环境栅格地图坐标系下的坐标，以构建物体栅格地图，合成得到室内墙角二维语义地图。本发明专利技术具有更高的稳定性，为机器人定位导航提供更为丰富可靠的特征，从而能完成更为高级复杂的任务。

【技术实现步骤摘要】
一种基于机器人平台的室内墙角二维语义地图构建方法
本专利技术属于机器人平台建图定位导航领域，具体涉及一种基于机器人平台的室内墙角二维语义地图构建方法。
技术介绍
地图构建是智能机器人平台完成定位导航任务的第一步也是关键，随着对机器人平台智能化和自动化程度的要求越来越高，要求机器人平台能理解周围环境中所包含的几何和语义信息，但利用传统激光SLAM方法构建出的拓扑地图或者栅格地图只能表达环境中拓扑信息与几何信息，缺少对环境语义信息的提取与描述，导致机器人平台无法真正地理解环境。利用视觉SLAM可以获取环境语义，它可以获取丰富的纹理信息，但其受光线影响较大，边界不够清晰，暗处纹理少，且运算负荷大，地图构建存在累计误差，不利于构建二维语义地图。同时环境中物体的移动导致建立好的语义地图出现较大改动，因此加入某些环境中特定物体语义(如墙角)作为环境地图的固有特征十分有意义。
技术实现思路
本专利技术提出一种包含墙角信息的室内二维语义地图构建方法，利用激光slam算法进行栅格地图创建，同时结合视觉传感器和深度学习模型进行目标识别检测，对环本文档来自技高网...

【技术保护点】
1.一种基于机器人平台的室内墙角二维语义地图构建方法，其特征在于：/n所述机器人平台其特征在于，包括：机器人平台底盘、主控机、激光雷达传感器、深度相机；/n所述的机器人平台底盘装载所述的主控机、激光雷达传感器、深度相机；/n所述主控机分别与所述的机器人平台底盘、激光雷达传感器、深度相机通过有线方式依次连接；/n所述室内墙角二维语义地图构建方法，其特征在于，包括以下步骤：/n步骤1：所述主控机控制所述机器人平台在室内运动，所述激光雷达传感器实时采集室内物体与机器人平台的距离、室内物体与机器人平台的方向角，并传输至所述主控机，所述主控机将室内物体与机器人平台的距离、室内物体与机器人平台的方向角通过...

【技术特征摘要】
1.一种基于机器人平台的室内墙角二维语义地图构建方法，其特征在于：
所述机器人平台其特征在于，包括：机器人平台底盘、主控机、激光雷达传感器、深度相机；
所述的机器人平台底盘装载所述的主控机、激光雷达传感器、深度相机；
所述主控机分别与所述的机器人平台底盘、激光雷达传感器、深度相机通过有线方式依次连接；
所述室内墙角二维语义地图构建方法，其特征在于，包括以下步骤：
步骤1：所述主控机控制所述机器人平台在室内运动，所述激光雷达传感器实时采集室内物体与机器人平台的距离、室内物体与机器人平台的方向角，并传输至所述主控机，所述主控机将室内物体与机器人平台的距离、室内物体与机器人平台的方向角通过Gmapping算法处理得到环境栅格地图、机器人平台实时位姿；
步骤2：所述主控机上构建语义分割数据集，将语义分割数据集作为训练集，将语义分割数据集中每张非墙角样本图像输入至DeepLabv2网络进行预测得到预测的非墙角语义标签，进一步结合非墙角语义标签构建DeepLabv2网络损失函数，通过优化训练得到优化后DeepLabv2网络；构建墙角目标检测数据集，将墙角目标检测数据集作为训练集，将墙角目标检测数据集中每张墙角样本图像输入至SSD网络进行预测得到预测的外界矩形边框、以及预测的外界矩形边框中物体类型，进一步结合预测框、墙角标记框中物体类型构建SSD网络损失函数，通过优化训练得到优化后SSD网络；
步骤3：所述主控机利用所述深度相机获取机器人平台视角彩色图像，将视角彩色图像输入到优化后DeepLabv2网络预测，识别到视角彩色图像中非墙角的语义标签；将视角彩色图像通过优化后SSD目标检测网络，识别到视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型；将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理，依次得到非墙角的三维点云坐标、墙角的三维点云坐标，将非墙角的三维点云坐标、墙角的三维点云坐标分别通过基于统计方法的滤波器进行点云滤波处理，得到滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标；
步骤4：所述主控机将滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标，结合机器人平台实时位姿分别进行点云坐标变换，得到非墙角的物体在环境栅格地图坐标系下的坐标以及墙角的物体在环境栅格地图坐标系下的坐标，通过非墙角的物体在环境栅格地图坐标系下的坐标、墙角的物体在环境栅格地图坐标系下的坐标构建物体栅格地图；
步骤5：重复执行步骤3至步骤4，直至所述主控机控制所述机器人平台完成室内环境遍历，从而得到完整的环境栅格地图、完整的物体栅格地图，进一步将完整的环境栅格地图、完整的物体栅格地图进行合并，得到室内墙角二维语义地图。


2.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
步骤1所述机器人平台实时位姿为：
cok＝(xo,k,yo,k,θo,k)，k∈[1,K]
其中，co，k表示第k个时刻机器人平台实时位姿，xo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的x轴坐标，yo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的y轴坐标，θo,k表示第k个时刻机器人平台的偏航角，即与x轴正向的夹角，K为采集时刻的数量。


3.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
步骤2所述语义分割数据集为：
I＝{datam(u,v),typem(u,v)}，m∈[1,M],u∈[1,UI],v∈[1,VI]
其中，M表示语义分割数据集I中非墙角样本图像的数量，U表示语义分割数据集I中每张非墙角样本图像的列数，V表示表示语义分割数据集I中每张非墙角样本图像的行数，s表示语义分割数据集I中每张非墙角样本图像的像素所属类别的数量，datam(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素，typem(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素所属类别；
步骤2所述DeepLabv2网络损失函数为交叉熵损失函数；
步骤2所述通过优化训练得到优化后DeepLabv2网络为：
将所述交叉熵损失函数最小化为优化目标，
通过SGD算法寻优得到优化后DeepLabv2网络；
步骤2所述目标检测数据集为：



p∈[1,P],x∈[1,X],y∈[1,Y],n∈[1,Np]
其中，P表示目标检测数据集中墙角样本图像的数量，X表示目标检测数据集中每张墙角样本图像的列数，Y表示表示目标检测数据集中每张墙角样本图像的行数，P表示目标检测数据集中第p张墙角样本图像中外界矩形边框的数量，s表示像素点所属的类别；datam(x,y)目标检测数据集中第p张墙角样本图像中第x列第y行的像素，表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角横坐标，表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角纵坐标，表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角横坐标，表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角纵坐标，Typ,n表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框中物体类型；
步骤2所述SSD网络损失函数：由用于分类的logloss损失函数和用于回归的smoothL1损失函数构成；
步骤2所述通过优化训练得到优化后SSD网络为：
通过SGD算法寻优得到优化后SSD网络。


4.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
步骤3所述视角彩色图像中非墙角的语义标签为：
*wk＝{*data(u,v)k,*types,k}
其中，*data(u,v)k表示第k个时刻视角彩色图像中第u列第v行的像素信息，*types,k表示第k个时刻视角彩色图像中第u列第v行的像素所属的物体类别；
步骤3所述视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型为：

...

【专利技术属性】
技术研发人员：蒋林，聂文康，向超，金胜昔，左建朋，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42