回环检测方法、装置及相关设备制造方法及图纸

本申请提供一种回环检测方法、装置及相关设备，其中方法包括获取检测场景的当前帧和多个历史帧；根据当前帧和多个历史帧，确定用于描述当前帧中物体类别的第一语义信息，以及用于描述多个历史帧中物体类别的第二语义信息；根据第一语义信息与第二语义信息，确定多个历史帧中与当前帧最相近的历史帧为目标帧；根据目标帧进行回环检测。本申请实施例提供的方法解决了回环检测的准确性较低的问题。解决了回环检测的准确性较低的问题。解决了回环检测的准确性较低的问题。

【技术实现步骤摘要】
回环检测方法、装置及相关设备


[0001]本申请涉及环境感知领域，尤其涉及一种回环检测方法、装置及相关设备。

技术介绍

[0002]即时定位与建图(Simultaneous Localization And Mapping，SLAM)技术，用于解决机器人在未知环境中，通过附近的环境对自身进行定位，并绘制出附近环境的地图，为后续的机器人导航提供基础。机器人在建图过程中会存在一些累计误差，可以利用回环检测来优化位姿，回环检测需要进行关键帧关联。
[0003]目前关键帧的关联多采用词袋模型进行求解，但是词袋模型是基于特征点和描述子的局部描述，不是场景的很好泛化，例如相反方向经过同一条路径时，因为视角的不同，即使经过相同的区域，关键帧之间的相似性也不会很高，会导致回环检测的准确性较低。

技术实现思路

[0004]本申请实施例提供一种回环检测方法、装置及相关设备，解决了回环检测的准确性较低的问题。
[0005]为达到上述目的，第一方面，本申请实施例提供一种回环检测方法，包括：
[0006]获取检测场景的当前帧和多个历史帧；
[0007]根据所述当前帧和所述多个历史帧，确定用于描述所述当前帧中物体类别的第一语义信息，以及用于描述所述多个历史帧中物体类别的第二语义信息；
[0008]根据所述第一语义信息与所述第二语义信息，确定所述多个历史帧中与所述当前帧最相近的历史帧为目标帧；
[0009]根据所述目标帧进行回环检测。
[0010]第二方面，本申请实施例提供一种回环检测装置，包括：
[0011]第一获取模块，用于获取检测场景的当前帧和多个历史帧；
[0012]第一确定模块，用于根据所述当前帧和所述多个历史帧，确定用于描述所述当前帧中物体类别的第一语义信息，以及用于描述所述多个历史帧中物体类别的第二语义信息；
[0013]第二确定模块，用于根据所述第一语义信息与所述第二语义信息，确定所述多个历史帧中与所述当前帧最相近的历史帧为目标帧；
[0014]第三确定模块，用于根据所述目标帧进行回环检测。
[0015]第三方面，本申请实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的回环检测方法中的步骤。
[0016]第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如第一方面所述的回环检测方法中的步骤。
[0017]本申请实施例中，通过获取检测场景的当前帧和多个历史帧；根据当前帧和多个
历史帧，确定用于描述当前帧中物体类别的第一语义信息，以及用于描述多个历史帧中物体类别的第二语义信息；根据第一语义信息与第二语义信息，确定多个历史帧中与当前帧最相近的历史帧为目标帧；根据目标帧进行回环检测。这样，即使当前帧和目标帧为机器人相反方向经过同一条路径时，在相同的区域所采集的两张图像，因为相同区域的第一语义信息和第二语义信息相似性较高，不会因为视角的不同导致当前帧和目标帧之间的相似性较低，从而提高了回环检测的准确性。
附图说明
[0018]为了更清楚的说明本申请实施例中的技术方案，现对说明书附图作如下说明，显而易见地，下述附图仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据所列附图获得其他附图。
[0019]图1是本申请实施例提供的回环检测方法的流程示意图；
[0020]图2是本申请实施例提供的回环检测装置的结构示意图；
[0021]图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0022]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。在本申请中的实施例的基础上，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]为了便于理解，下面先对本申请相关的背景知识作简单介绍。
[0024]即时定位与建图(Simultaneous Localization And Mapping，SLAM)技术，用于解决机器人在未知环境中，通过附近的环境对自身进行定位，并绘制出附近环境的地图，为后续的机器人导航提供基础。机器人在建图过程中会存在一些累计误差，可以利用回环检测来优化位姿，回环检测需要进行关键帧关联。
[0025]目前，关键帧的关联通常采用词袋模型进行求解，词袋模型(Bag
‑
of
‑
Words，BoW)是用“图像上有哪几种特征”来描述一个图像的方法。图像的词袋模型可以度量两个图像的相似性：首先需要确定BoW中的“单词”，许多单词放在一起，组成“字典”。然后确定一张图像中出现了哪些单词(这里的单词对应的是特征点)，把图像转换成了一个向量。最后根据向量，设计一定的计算方式，就能确定图像间的相似性了。
[0026]通过“字典”和“单词”，只需一个向量就可以描述整张图像了。该向量描述的是“图像是否含有某类特征”的信息，比单纯的灰度值更加稳定。因为描述向量说的是“是否出现”，而不管它们“在哪儿出现”，所以与物体的空间位置和排列顺序无关，因此称它为Bag
‑
of
‑
Words。但是，词袋模型是基于特征点和描述子的局部描述，不是场景的很好泛化，例如相反方向经过同一条路径时，因为视角的不同，即使经过相同的区域，关键帧之间的相似性也不会很高，会导致回环检测的准确性较低。
[0027]为解决这一问题，本申请实施例提供一种回环检测方法，参见图1，图1是本申请实施例提供的回环检测方法的流程示意图之一，如图1所示，回环检测方法可以包括以下步骤：
[0028]步骤101，获取检测场景的当前帧和多个历史帧；
[0029]具体实现时，可通过机器人的深度相机(RedGreenBlue+Depth Map，RGB
‑
D)采集检测场景的图像，机器人采集的多张历史图像为多个历史帧，机器人采集的当前图像为当前帧。本申请实施例可采用多个机器人进行检测场景的图像采集，相较于单个机器人采集图像，多个机器人进行图像采集可节约时间成本，也可以避免单个机器人故障导致的回环检测任务失败以提升回环检测方法的鲁棒性，还可以通过多机器人相互协作获取更加丰富的检测场景信息。
[0030]为提高信息传输的有效性，简化回环检测方法的复杂度，本申请实施例可采用集中式通信环境。即机器人可将采集的信息发送给中心服务设备，由中心服务设备执行本申请实施例提供的回环检测方法。
[0031]步骤102，根据所述当前帧和所述多个历史帧，确定用于描述所述当前帧中物体类别的第一语义信息，以及用于描述所述多个历史帧中物体类别的第二语义信息；
[0032]具体实现时，可以将当前帧和多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种回环检测方法，其特征在于，包括：获取检测场景的当前帧和多个历史帧；根据所述当前帧和所述多个历史帧，确定用于描述所述当前帧中物体类别的第一语义信息，以及用于描述所述多个历史帧中物体类别的第二语义信息；根据所述第一语义信息与所述第二语义信息，确定所述多个历史帧中与所述当前帧最相近的历史帧为目标帧；根据所述目标帧进行回环检测。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧和所述多个历史帧，确定用于描述所述当前帧中物体类别的第一语义信息，以及用于描述所述多个历史帧中物体类别的第二语义信息，包括：确定所述当前帧中是否存在与预先设置的M个物体类别中各类别对应的物体；在所述当前帧中存在与第m类别对应的N个物体的情况下，确定所述N个物体所在的N个边界区域，m、M和N均为正整数，且m＝1,2,
……
M；将所述N个边界区域的面积之和占所述当前帧总面积的比值确定为第m类别对应的第一比例，所述第一语义信息包括第m类别，以及所述第m类别对应的第一比例；确定所述多个历史帧中的各历史帧是否存在与预先设置的M个物体类别中各类别对应的物体；在第一历史帧中存在与第k类别对应的L个物体的情况下，确定所述L个物体所在的L个边界区域，m、M和L均为正整数，且k＝1,2,
……
M；将所述L个边界区域的面积之和占所述第一历史帧总面积的比值确定为第k类别对应的第二比例，所述第二语义信息包括第k类别，以及所述第k类别对应的第二比例。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一语义信息与所述第二语义信息，确定所述多个历史帧中与所述当前帧最相近的历史帧为目标帧，包括：根据目标比例，确定所述多个历史帧中与所述当前帧相匹配的P个历史帧，P为正整数，所述目标比例为所述M个物体类别中各类别对应的第一比例中的最大比例；根据所述P个历史帧中各历史帧与所述当前帧之间相似度，获得P个相似度指标值；将所述P个相似度指标值中最大的相似度指标值所对应的历史帧确定为目标帧。4.根据权利要求3所述的方法，其特征在于，所述根据所述P个历史帧中各历史帧与所述当前帧之间相似度，获得P个相似度指标值，包括：在所述当前帧中存在与预先设置的M个物体类别中Q个类别对应的物体的情况下，确定当前帧中与所述Q个类别对应的Q个第一比例；将第二历史帧中与所述Q个类别对应的Q个第二比例，与所述Q个第一比例对应相乘获得Q个乘积值，所述第二历史帧为所述P个历史帧中的任意一个历史帧；将所述Q个乘积值中各乘积值...

【专利技术属性】
技术研发人员：熊振华，许寒旭，徐享，彭盖伦，吴建华，张旖旎，
申请(专利权)人：上海交通大学中国移动通信集团有限公司，
类型：发明
国别省市：