机器人的回环检测方法、装置及机器人制造方法及图纸

本申请适用于图像处理技术领域，提供了机器人的回环检测方法、装置、机器人及计算机可读存储介质，包括：获取机器人的视角图像序列；通过已训练的SDA网络提取视角图像序列的图像特征序列；在创建的树结构中搜索视角图像序列中每个视角图像的N个最近邻居，并计算每个视角图像到N个最近邻居的距离，树结构预先存储地图的图像特征，N为正整数；存储每个视角图像到N个最近邻居的距离至稀疏差异矩阵中；从稀疏差异矩阵的N个位置中搜索每个视角图像的最佳匹配位置；若搜索到的最佳匹配位置与真实回环的位置的距离在预设偏移距离内，则判定视角图像序列为回环。通过上述方法，能够提高回环检测对较大视角变化和剧烈环境变化的鲁棒性。

Loop Detection Method, Device and Robot of Robot

This application is applicable to the field of image processing technology, and provides a loop detection method, device, robot and computer readable storage medium for robots, including: acquiring the view image sequence of robots; extracting the image feature sequence of the view image sequence through the trained SDA network; and searching N nearest neighbors of each view image sequence in the created tree structure. The distance from each view image to N nearest neighbors is calculated. The tree structure stores the image features of the map in advance, and N is a positive integer; stores the distance from each view image to N nearest neighbors to the sparse difference matrix; searches the best matching position of each view image from N positions of the sparse difference matrix; if the distance between the best matching position searched and the position of the real loop is the distance. Within the preset offset distance, the view image sequence is determined as a loop. Through the above method, the robustness of loop detection can be improved for large angle changes and drastic environmental changes.

【技术实现步骤摘要】
机器人的回环检测方法、装置及机器人
本申请属于图像处理
，尤其涉及机器人的回环检测方法、装置、机器人及计算机可读存储介质。
技术介绍
回环检测旨在让机器人识别之前访问过的地方，如果回环被正确的检测到，机器人可以重新定位它自己，并有助于后续的建图和配准算法得到更准确和一致的结果。回环检测与场景识别相似，都需要对场景图像提取合适的特征，不同之处在于，回环检测处理的数据是连续的视频帧，并且没有类别标签。现有的回环检测方法主要分为三种：(1)许多最先进的基于外观的回环检测算法采用词袋(BoW)模型，其将视觉特征描述符聚类成称为“词典”的集合。当新观察到来时，提取视觉特征。其他使用手工提取局部特征的方法包括FV，VLAD，全局描述子GIST，BoVW也经常用于SLAM并取得了不错的效果，但这些都属于手工设计的特征，它们对环境中光照变化非常敏感，在复杂的光照下，它们检测闭环的成功率并不高。(2)深度学习方法试图通过多层神经网络直接从原始传感器数据学习数据表示，在训练过程中学习这些特征。大量研究表明基于卷积网络(ConvolutionalNeuralNetworks，CNN)的方法比手工提取特征的方法效果好，但CNN属于监督学习，需要获得大量的标签才能训练。(3)基于图像序列的方法能够在感知环境极度变化的情况下进行位置识别，例如：白天，黑夜；晴天，雨天；夏天，冬天；但该方法在很大程度上依赖于详尽的序列匹配，计算成本高昂，不适合用于处理大型地图。实际情况中，回环检测会遇到诸如视角变化，季节变化，日夜不同等各种情况，但是现有回环检测技术很难同时满足对视角不变性和环境不变性的要求。故，需要提供一种新的方法，以解决上述技术问题。
技术实现思路
有鉴于此，本申请实施例提供了机器人的回环检测方法、装置、机器人及计算机可读存储介质，以解决现有技术中回环检测技术很难同时满足对视角不变性和环境不变性的要求的问题。本申请实施例的第一方面提供了一种机器人的回环检测方法，包括：获取机器人的视角图像序列；通过已训练的堆栈式去燥稀疏自编码SDA网络提取所述视角图像序列的图像特征序列；在创建的树结构中搜索所述视角图像序列中每个视角图像的N个最近邻居，并计算所述每个视角图像到所述N个最近邻居的距离，所述树结构预先存储地图的图像特征，N为正整数；存储所述每个视角图像到所述N个最近邻居的距离至稀疏差异矩阵中；从所述稀疏差异矩阵的N个位置中搜索每个视角图像的最佳匹配位置；若搜索到的最佳匹配位置与真实回环的位置的距离在预设偏移距离内，则判定所述视角图像序列为回环。本申请实施例的第二方面提供了一种机器人的回环检测装置，包括：视角图像序列获取单元，用于获取机器人的视角图像序列；图像特征序列提取单元，用于通过已训练的堆栈式去燥稀疏自编码SDA网络提取所述视角图像序列的图像特征序列；最近邻居搜索单元，用于在创建的树结构中搜索所述视角图像序列中每个视角图像的N个最近邻居，并计算所述每个视角图像到所述N个最近邻居的距离，所述树结构预先存储地图的图像特征，N为正整数；数据存储单元，用于存储所述每个视角图像到所述N个最近邻居的距离至稀疏差异矩阵中；最佳匹配位置搜索单元，用于从所述稀疏差异矩阵的N个位置中搜索每个视角图像的最佳匹配位置；回环判定单元，用于若搜索到的最佳匹配位置与真实回环的位置的距离在预设偏移距离内，则判定所述视角图像序列为回环。本申请实施例的第三方面提供了一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行时实现所述计算机程序时实现如所述机器人的回环检测方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述机器人的回环检测方法的步骤。本申请实施例与现有技术相比存在的有益效果是：由于采用了SDA网络这一种无监督的网络结构提取图像特征序列，而无监督的网络结构无需带有标签的数据集即可训练，因此使得训练过程更简便，此外，通过序列匹配的方法确定最佳匹配位置，因此，显著提高了检测效率，适合大规模、复杂的室外环境。综上，由于本申请在检测回环时结合了无监督深度网络和序列匹配的方法，因此，提高了回环检测对较大视角变化和剧烈环境变化的鲁棒性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种机器人的回环检测方法的流程图；图2是本申请实施例提供的一种机器人的回环检测装置的结构示意图；图3是本申请实施例提供的机器人的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。实施例一：图1示出了本申请实施例提供的一种机器人的回环检测方法的流程图，详述如下：步骤S11，获取机器人的视角图像序列；该步骤中，获取机器人在当前时间拍摄的视角图像以及该当前时间之前一段时间内拍摄的视角图像，这些图像组成了机器人的视觉图像序列。当然，由于本申请实施例是检测回环位置，因此，该视角图像序列的长度大于0，且小于预设长度阈值。步骤S12，通过已训练的堆栈式去燥稀疏自编码SDA网络提取所述视角图像序列的图像特征序列；在一些实施例中，为了提高图像特征序列的提取速度，在所述步骤S12之前，包括：A1、将所述视角图像序列中的视角图像分成预设大小的小块；A2、对所述视角图像序列中的每个视角图像执行以下步骤：对所述小块通过稀疏关键点检测算法检测出特征响应最大的前N个关键点，并将所述N个关键点处理为N个图像块矢量；对应地，所述步骤S12包括：对所述视本文档来自技高网...

【技术保护点】
1.一种机器人的回环检测方法，其特征在于，包括：获取机器人的视角图像序列；通过已训练的堆栈式去燥稀疏自编码SDA网络提取所述视角图像序列的图像特征序列；在创建的树结构中搜索所述视角图像序列中每个视角图像的N个最近邻居，并计算所述每个视角图像到所述N个最近邻居的距离，所述树结构预先存储地图的图像特征，N为正整数；存储所述每个视角图像到所述N个最近邻居的距离至稀疏差异矩阵中；从所述稀疏差异矩阵的N个位置中搜索每个视角图像的最佳匹配位置；若搜索到的最佳匹配位置与真实回环的位置的距离在预设偏移距离内，则判定所述视角图像序列为回环。

【技术特征摘要】
1.一种机器人的回环检测方法，其特征在于，包括：获取机器人的视角图像序列；通过已训练的堆栈式去燥稀疏自编码SDA网络提取所述视角图像序列的图像特征序列；在创建的树结构中搜索所述视角图像序列中每个视角图像的N个最近邻居，并计算所述每个视角图像到所述N个最近邻居的距离，所述树结构预先存储地图的图像特征，N为正整数；存储所述每个视角图像到所述N个最近邻居的距离至稀疏差异矩阵中；从所述稀疏差异矩阵的N个位置中搜索每个视角图像的最佳匹配位置；若搜索到的最佳匹配位置与真实回环的位置的距离在预设偏移距离内，则判定所述视角图像序列为回环。2.如权利要求1所述的机器人的回环检测方法，其特征在于，在所述通过已训练的堆栈式去燥稀疏自编码SDA网络提取所述视角图像序列的图像特征序列之前，包括：将所述视角图像序列中的视角图像分成预设大小的小块；对所述视角图像序列中的每个视角图像执行以下步骤：对所述小块通过稀疏关键点检测算法检测出特征响应最大的前N个关键点，并将所述N个关键点处理为N个图像块矢量；对应地，所述通过已训练的堆栈式去燥稀疏自编码SDA网络提取所述视角图像序列的图像特征序列，包括：对所述视角图像序列中的每个视角图像执行以下步骤：通过已训练的SDA网络提取所述N个图像块矢量的图像特征，每个视角图像的图像特征组成所述视角图像序列的图像特征序列。3.如权利要求1所述的机器人的回环检测方法，其特征在于，树结构预先存储地图的图像特征通过所述SDA网络提取。4.如权利要求1所述的机器人的回环检测方法，其特征在于，所述从所述稀疏差异矩阵的N个位置中搜索每个视角图像的最佳匹配位置，包括：根据所述视角图像序列的序列长度、获取所述视角图像序列中的视角图像的最近时间，计算经过的图像路径的累加差分值，将累加差分值最小的图像路径对应的地图图像序列作为从所述稀疏差异矩阵的N个位置中搜索每个视角图像的最佳匹配位置。5.一种机器人的回环检测装置，其特征在于，包括：视角图像序列获取单元，用于获取机器人的视角图像序列；图像特征序列提取单元，用于通过已训练的堆栈式去燥稀疏自编码SDA网络提取所...

【专利技术属性】
技术研发人员：张锲石，程俊，刘袁，方璡，向荣，
申请(专利权)人：中国科学院深圳先进技术研究院，深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44