回环检测方法、点云地图构建方法、电子设备及存储介质技术

本发明专利技术涉及一种回环检测方法、点云地图构建方法、电子设备及存储介质，该方法以主对象为中心构建主对象描述子，只需要两帧的主对象位置接近且能观测到同一场景中的一个或多个主对象即可，相比现有技术中以激光雷达为中心建立Scan Context描述子的方法，本发明专利技术提供的这种不依赖观测位置的描述子能解决Scan Context描述子在两帧位置不重合时无法进行回环检测的问题，扩大了回环检测的适用范围，提高了回环检测的鲁棒性。进一步地，由于最终计算出的当前关键帧和历史关键帧之间的相对位姿包含x、y方向的偏移和旋转角度，使得回环检测得到的结果发送给后端做全局目标地图优化时，可以得到更好的位姿优化结果，能够提高整个SLAM系统的鲁棒性和定位建图的精度。个SLAM系统的鲁棒性和定位建图的精度。个SLAM系统的鲁棒性和定位建图的精度。

【技术实现步骤摘要】
回环检测方法、点云地图构建方法、电子设备及存储介质


[0001]本专利技术涉及地图构建
，具体涉及一种回环检测方法、点云地图构建方法、电子设备及存储介质。

技术介绍

[0002]SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)技术在自动驾驶、无人机、机器人、VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实)等领域有着广泛应用。SLAM是指设备在未知环境下从一个未知位置开始移动，在移动过程中根据传感器收集到的数据和构建出的环境地图进行自身定位，并在自身定位的基础上构建增量式地图的过程。
[0003]目前流行的三维SLAM框架主要是基于图进行优化的方法，包含前端、后端和回环检测三个模块。前端进行传感器数据的收集、数据的处理并输出里程计信息；后端主要构建一个以车辆位姿为节点、以相对位姿为边的图结构，用于进行全局的位姿优化。
[0004]回环检测是SLAM系统中非常重要的一环，在SLAM系统中，传感器数据噪声和算法本身都会导致前端估算的载具位姿存在一定的误差，该误差会随着时间不断积累积，当载具完成一个环形的运动之后，SLAM算法计算出的路径会由于累积误差而无法完全闭合，这时就要求SLAM系统的回环检测模块能够识别出回环并计算出准确的相对位姿，将此相对位姿发送给后端来进行载具位姿的优化。
[0005]Scan Context是目前流行的回环检测技术之一。Scan Context，从英文字面理解就是“扫描上下文”。类比于我们阅读的时候，需要理解上下文，才能明白其意，SLAM在进行回环检测的时候，也需要将“上下文”(之前的数据)进行比较，方才知道我们是不是又走到了之前的同一个地方(回环)。该技术以激光雷达为中心建立一种名为Scan Context的全局描述子，通过旋转匹配的方式进行回环检测，相比直接匹配的方法有较高的效率、准确率和召回率，但是仍然存在一些缺陷。
[0006]相关技术提出了一种基于3D点云的场景识别技术，该技术将3D点云投影到XY平面，以激光雷达为中心建立Scan Context作为关键帧的descriptor(描述子)，以Scan Context的环特征向量为节点建立多维树结构以便后续快速搜索。当设备回到历史某一时刻的坐标位置时，根据当前的Scan Context的环特征向量在多维树结构中快速搜索出多个候选帧，通过旋转的方式进行Scan Context之间的匹配，若最高的匹配相似度大于预设值，则认为检测到回环，最后将匹配的位姿信息发送给后端。该技术使用的以激光雷达为中心建立Scan Context的方法要求当前帧与历史帧的位置重合才能检测出回环，会造成许多回环的漏检；该技术通过旋转的方式进行Scan Context匹配只能计算出两帧之间设备的旋转角度，并不能计算出设备在x和y方向的偏移，在实际使用时有一定局限性。
[0007]相关技术还提出了一种基于图描述子的激光SLAM回环检测系统及方法。该方法利用了从点云数据中提取的语义信息形成了全图描述子和顶点描述子两种图描述子来进行点云帧和语义物体的表征。相比于传统算法从像素级别提取描述子，本专利技术可以避免繁重
的法向量计算任务和避免视角大幅变化带来的问题，可以更加快速和鲁棒地检测回环。尽管该技术使用了语义信息构建了两种描述子，提高了场景识别的的鲁棒性，但是并不能准确地计算出当前帧与回环帧之间的相对位姿。
[0008]相关技术还提出了一种基于静态语义信息的点云地图创建与场景辨识方法，包括步骤1：激光点云与语义图像联合投影获得语义点云；步骤2：通过语义标签筛选鲁棒静态信息；步骤3：提取鲁棒静态信息的描述子并组合成当前场景的描述子；步骤4：语义点云与激光雷达的里程计相结合生成全局地图，并通过点云配准在全局地图上进行重定位。该技术提取鲁棒静态信息建立描述子，描述子直接匹配得出当前帧的位姿，但是描述子内容强依赖于激光雷达的位置，这容易造成描述子误匹配，并且直接匹配方式将消耗大量的时间，在实际使用时有一定局限性。
[0009]综上，Scan Context方法以及基于Scan Context的多种改进方法虽然能快速检索出回环候选帧并计算两帧之间的相似度，但要求两帧坐标基本重合，无法识别位置相差一定距离的两帧的场景；其次，此类方法只能计算出当前帧相对匹配帧的旋转角度，无法计算两帧之间的X和Y坐标的偏移，在实际使用时有一定局限性。

技术实现思路

[0010]有鉴于此，本专利技术的目的在于提供一种回环检测方法、点云地图构建方法、电子设备及存储介质，以解决现有技术中回环检测方法要求两帧坐标基本重合，无法识别位置相差一定距离的场景的问题。
[0011]根据本专利技术实施例的第一方面，提供一种回环检测方法，包括：
[0012]获取前端构建的关键帧，及，从所述关键帧中确定出的主对象；
[0013]对任一主对象，以所述主对象为中心构建主对象描述子；
[0014]将当前关键帧的主对象描述子和历史关键帧的主对象描述子两两匹配；
[0015]根据匹配结果，判断当前关键帧与历史关键帧是否处于同一场景，若是，判定当前关键帧和历史关键帧之间存在回环边，将当前关键帧与历史关键帧之间的相对位姿作为约束边，添加到后端构建的位姿图中，以使后端根据所述约束边对所述位姿图进行全局位姿优化。
[0016]优选地，所述前端通过将当前帧中的3D点云及其前四帧中的3D点云按照前端的匹配结果融合、滤波，构建关键帧，并将当前帧的位姿定义为所述关键帧的位姿，将关键帧中的点云定义为子地图；和/或，
[0017]所述前端通过如下方法从所述关键帧中确定出主对象，包括：
[0018]对任一子地图，获取该子地图中每一个点的语义标签；
[0019]根据所述语义标签，筛选出主对象点云；
[0020]对筛选出的主对象点云进行聚类，得到该子地图的所有主对象；
[0021]对任一主对象，根据该主对象内所有点的坐标值，计算该主对象的X坐标和Y坐标。
[0022]优选地，所述以所述主对象为中心构建主对象描述子，包括：
[0023]对任一主对象，以所述主对象为中心、以激光雷达到主对象的连线为极轴建立极坐标系，将极轴划分为N
r
等分，将极角划分为N
s
等分，以将主对象周围的环境划分为N
r
×
N
s
个栅格，将子地图中的点向下投影对应到栅格中，计算每个栅格内所有点的平均高度；其
中，N
r
≥2，N
s
≥2；
[0024]将每个栅格对应的平均高度值，组合在一起形成一个N
r
×
N
s
的矩阵，将所述N
r
×
N
s
的矩阵，确定为该主对象的主对象描述子。
[0025]优选地，所述方法，还包括：...

【技术保护点】

【技术特征摘要】
1.一种回环检测方法，其特征在于，包括：获取前端构建的关键帧，及，从所述关键帧中确定出的主对象；对任一主对象，以所述主对象为中心构建主对象描述子；将当前关键帧的主对象描述子和历史关键帧的主对象描述子两两匹配；根据匹配结果，判断当前关键帧与历史关键帧是否处于同一场景，若是，判定当前关键帧和历史关键帧之间存在回环边，将当前关键帧与历史关键帧之间的相对位姿作为约束边，添加到后端构建的位姿图中，以使后端根据所述约束边对所述位姿图进行全局位姿优化。2.根据权利要求1所述的方法，其特征在于，所述前端通过将当前帧中的3D点云及其前四帧中的3D点云按照前端的匹配结果融合、滤波，构建关键帧，并将当前帧的位姿定义为所述关键帧的位姿，将关键帧中的点云定义为子地图；和/或，所述前端通过如下方法从所述关键帧中确定出主对象，包括：对任一子地图，获取该子地图中每一个点的语义标签；根据所述语义标签，筛选出主对象点云；对筛选出的主对象点云进行聚类，得到该子地图的所有主对象；对任一主对象，根据该主对象内所有点的坐标值，计算该主对象的X坐标和Y坐标。3.根据权利要求2所述的方法，其特征在于，所述以所述主对象为中心构建主对象描述子，包括：对任一主对象，以所述主对象为中心、以激光雷达到主对象的连线为极轴建立极坐标系，将极轴划分为N
r
等分，将极角划分为N
s
等分，以将主对象周围的环境划分为N
r
×
N
s
个栅格，将子地图中的点向下投影对应到栅格中，计算每个栅格内所有点的平均高度；其中，N
r
≥2，N
s
≥2；将每个栅格对应的平均高度值，组合在一起形成一个N
r
×
N
s
的矩阵，将所述N
r
×
N
s
的矩阵，确定为该主对象的主对象描述子。4.根据权利要求3所述的方法，其特征在于，还包括：删除所述栅格中高度低于高度阈值的点，所述高度阈值根据地面点的平均高度进行确定；和/或，忽略未投影到所述栅格中的点。5.根据权利要求3所述的方法，其特征在于，还包括：将主对象描述子按行求均值得到的列向量，定义为环特征向量；将主对象描述子按列求均值得到的行向量，定义为扇特征向量；对任一子地图，将主对象位置列表、主对象描述子列表、扇特征向量列表按照按照关键帧序号保存到数据库中；所述主对象位置列表中存储有所述子地图中各主对象的X坐标和Y坐标；所述主对象描述子列表中存储有所述子地图中各主对象的主对象描述子；所述特征向量列表中存储有所述子地图的各主对象描述子的扇特征向量。6.根据权利要求5所述的方法，其特征在于，所述将当前关键帧的主对象描述子和历史关键帧的主对象描述子两两匹配，包括：根据历史关键帧的环特征向量，构建多维树结构；
创建候选关键帧集合；遍历当前关键帧中所有主对象描述子的环特征向量，为每个环特征向量在多维树结构中搜索出预设数量个与其相似的节点，将相似节点对应的关键帧序号加入到候选关键帧集合中；将所述候选关键帧集合中的关键帧序号所对应的历史关键帧作为候选关键帧，将当前关键帧的主对象描述子和候选关键帧的主对象描述子两两匹配。7.根据权利要求6所述...

【专利技术属性】
技术研发人员：袁昊东，张煜东，范圣印，李雪，
申请(专利权)人：北京易航远智科技有限公司，
类型：发明
国别省市：