基于深度学习的机器人回环检测方法技术

本发明专利技术公开了一种基于深度学习的机器人回环检测方法，本方法通过深度相机获取了一帧帧的图片，作为卷积神经网络的输入，从卷积神经网络的输出端获得物体的类别信息、位置信息及该类物体的数量信息，建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存；根据两帧图片中出现的物体类别作为判断两张图片是否相同的特征，同时以位置信息和数量信息作为辅助特征，构建判断两帧图片相似程度的函数；根据该函数实现回环检测。本方法使用深度学习的方式实现回环检测功能，减少位姿漂移误差，实现精准定位和建图，大大减少运算量，在实时性方面表现的更加优秀。

【技术实现步骤摘要】
基于深度学习的机器人回环检测方法
本专利技术涉及基于深度学习的机器人回环检测方法。
技术介绍
随着机器人行业的兴起，即时定位与地图构建SLAM(simultaneouslocalizationandmapping)在机器人中的地位越来越重要，近些年，由于深度相机的发展，使得SLAM取得了重大的突破，逐渐由传统的激光雷达SLAM和惯性传感器SLAM转向视觉SLAM。视觉SLAM主要解决的是相机在空间中的定位、以及创建环境地图。在当前比较热门的一些行业中，都可以看到它的身影,如在VR/AR方面，根据视觉SLAM得到地图和当前视角对叠加虚拟物体做相应渲染，这样可以使得叠加的虚拟物体看起来比较真实，没有违和感；在无人机领域，可以使用视觉SLAM构建局部地图，辅助无人机进行自主避障、规划路径；在无人驾驶方面，可以使用视觉SLAM技术提供视觉里程计功能，然后跟其他的定位方式融合；移动机器人定位导航方面，视觉SLAM可以用于生成环境地图，基于该地图，移动机器人执行路径规划、自主探索、导航等任务。回环检测是为了解决在定位建图的过程中，随着时间改变，位姿随时间的漂移问题，常用的方法是bagofwords(词袋模型)，它是一种抽象的，无监督学习，其运算量较大，且随着时间的变化，机器人对于位姿的误差积累会越来越大，使得机器人定位和建图的精确度降低，严重影响机器人自主导航的准确性。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于深度学习的机器人回环检测方法，本方法克服传统词袋模型回环检测的缺陷，使用深度学习的方式实现回环检测功能，减少位姿漂移误差，实现精准定位和建图，使得机器人自主导航时更加准确，且大大减少了运算量，在实时性方面表现的更加优秀。为解决上述技术问题，本专利技术基于深度学习的机器人回环检测方法包括如下步骤：步骤一、机器人在运动过程中，通过深度相机获取一帧帧的图片，该图片作为深度学习目标检测算法的卷积神经网络的输入，从卷积神经网络的输出端获得的图片包含物体的类别信息、位置信息及该种类物体的数量信息；步骤二、建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存，其中物体总数量即为类别特征向量的和，位置特征向量由该图片中所有物体边界框的像素坐标组成；步骤三、将图片当前帧和历史帧的物体总数量特征向量进行比较判断，如果不相等，则与下一个历史帧比较，再判断当前帧和下一个历史帧的物体总数量特征向量是否相等，当相等时，采用机型判断当前帧的类别特征向量与历史帧的类别特征向量相减是否为零，即式(1)中：C1为当前帧的类别特征向量、C2为历史帧的类别特征向量、C1i表示当前帧类别特征向量的第i个值，即为第i个物体的数量、C2i表示历史帧类别特征向量的第i个值、n为设定的物体类别数量；f为当前帧的类别特征向量与历史帧的类别特征向量相减是否为零的结果，如果f不为零，则与下一个历史帧比较，重新执行本步骤；步骤四、当式(1)中f为零时，采用式(2)计算两帧图片的相似程度：式(2)中：P为两帧图片中所有物体像素面积之和的比值、Sij为第i个种类第j个物体的像素面积、为第i个种类的第j个物体边界框的右上坐标，为第i个种类的第j个物体边界框的左下坐标、S1ij中1表示当前帧，S1ij则表示当前帧中第i个种类的第j个物体所占有的像素面积，同理S2ij则表示历史帧中第i个种类的第j个物体所占有的像素面积；；如果P的值大于1，则取其倒数，如果P的值小于等于1，则不变，当两帧图片相同的时候，P是一个接近于1的值，当两帧图片中的物体总和像素面积不相同的时候，P是小于1的值；步骤五、判断P≥相似度阈值，若为真，则两帧图片相似，判断机器人产生回环，反之，则两帧图片不相似，判断机器人无回环产生，其中相似度阈值为由实践经验判断相似度设定的一个常数。进一步，采用字典模型训练深度学习目标检测算法的卷积神经网络，将采集的一系列图片输入到卷积神经网络，得到图片中物体的类别信息、位置信息及该类物体的数量信息。由于本专利技术基于深度学习的机器人回环检测方法采用了上述技术方案，即本方法通过深度相机获取了一帧帧的图片，作为卷积神经网络的输入，从卷积神经网络的输出端获得物体的类别信息、位置信息及该类物体的数量信息，建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存；根据两帧图片中出现的物体类别作为判断两张图片是否相同的特征，同时使用物体在图片中的位置信息和数量信息作为辅助特征，构建判断该图片与之前保存的关键帧图片相似程度的函数；当函数值大于预设值，认为机器人回到了原来的位置，反之，该机器人并没有检测到回环。本方法克服传统词袋模型回环检测的缺陷，使用深度学习的方式实现回环检测功能，减少位姿漂移误差，实现精准定位和建图，使得机器人自主导航时更加准确，且大大减少了运算量，在实时性方面表现的更加优秀。附图说明下面结合附图和实施方式对本专利技术作进一步的详细说明：图1为本专利技术基于深度学习的机器人回环检测方法的原理框图。具体实施方式实施例如图1所示，本专利技术基于深度学习的机器人回环检测方法包括如下步骤：步骤一、机器人在运动过程中，通过深度相机获取一帧帧的图片，该图片作为深度学习目标检测算法的卷积神经网络的输入，从卷积神经网络的输出端获得的图片包含物体的类别信息、位置信息及该种类物体的数量信息；步骤二、建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存，其中物体总数量即为类别特征向量的和，位置特征向量由该图片中所有物体边界框的像素坐标组成；其中，卷积神经网络输出端获得的图片构成coco的数据集模型，该数据集模型对于图像的标注信息不仅有类别、位置信息，还有对图像的语义文本描述，COCO数据集的开源使得图像分割语义理解取得了巨大的进展，也几乎成为了图像语义理解算法性能评价的标准数据集，本方法应用coco的数据集模型可准确获得图片中物体的类别、位置、总数量特征向量；步骤三、将图片当前帧和历史帧的物体总数量特征向量进行比较判断，如果不相等，则与下一个历史帧比较，再判断当前帧和下一个历史帧的物体总数量特征向量是否相等，当相等时，采用机型判断当前帧的类别特征向量与历史帧的类别特征向量相减是否为零，即式(1)中：C1为当前帧的类别特征向量、C2为历史帧的类别特征向量、C1i表示当前帧类别特征向量的第i个值，即为第i个物体的数量、C2i表示历史帧类别特征向量的第i个值、n为设定的物体类别数量；f为当前帧的类别特征向量与历史帧的类别特征向量相减是否为零的结果，如果f不为零，则与下一个历史帧比较，重新执行本步骤；步骤四、当式(1)中f为零时，采用式(2)计算两帧图片的相似程度：式(2)中：P为两帧图片中所有物体像素面积之和的比值、Sij为第i个种类第j个物体的像素面积、为第i个种类的第j个物体边界框的右上坐标，为第i个种类的第j个物体边界框的左下坐标。S1ij中1表示当前帧，S1ij则表示当前帧中第i个种类的第j个物体所占有的像素面积，同理S2ij则表示历史帧中第i个种类的第j个物体所本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机器人回环检测方法，其特征在于本方法包括如下步骤：步骤一、机器人在运动过程中，通过深度相机获取一帧帧的图片，该图片作为深度学习目标检测算法的卷积神经网络的输入，从卷积神经网络的输出端获得的图片包含物体的类别信息、位置信息及该种类物体的数量信息；步骤二、建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存，其中物体总数量即为类别特征向量的和，位置特征向量由该图片中所有物体边界框的像素坐标组成；步骤三、将图片当前帧和历史帧的物体总数量特征向量进行比较判断，如果不相等，则与下一个历史帧比较，再判断当前帧和下一个历史帧的物体总数量特征向量是否相等，当相等时，采用机型判断当前帧的类别特征向量与历史帧的类别特征向量相减是否为零，即

【技术特征摘要】
1.一种基于深度学习的机器人回环检测方法，其特征在于本方法包括如下步骤：步骤一、机器人在运动过程中，通过深度相机获取一帧帧的图片，该图片作为深度学习目标检测算法的卷积神经网络的输入，从卷积神经网络的输出端获得的图片包含物体的类别信息、位置信息及该种类物体的数量信息；步骤二、建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存，其中物体总数量即为类别特征向量的和，位置特征向量由该图片中所有物体边界框的像素坐标组成；步骤三、将图片当前帧和历史帧的物体总数量特征向量进行比较判断，如果不相等，则与下一个历史帧比较，再判断当前帧和下一个历史帧的物体总数量特征向量是否相等，当相等时，采用机型判断当前帧的类别特征向量与历史帧的类别特征向量相减是否为零，即（1）式（1）中：C1为当前帧的类别特征向量、C2为历史帧的类别特征向量、表示当前帧类别特征向量的第i个值，即为第i个物体的数量、表示历史帧类别特征向量的第i个值、n为设定的物体类别数量；f为当前帧的类别特征向量与历史帧的类别特征向量相减是否为零的结果...

【专利技术属性】
技术研发人员：魏国亮，罗顺心，严龙，宋天中，耿双乐，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海,31