一种用于无人船生成三维语义地图的方法和系统技术方案

本发明专利技术公开了一种用于无人船生成三维语义地图的方法和系统，包括：对无人船在航行过程中采集的图像帧使用ORB

【技术实现步骤摘要】
一种用于无人船生成三维语义地图的方法和系统


[0001]本专利技术属于计算机视觉
，更具体地，涉及一种用于无人船生成三维语义地图的方法和系统。

技术介绍

[0002]传近年来无人船市场不断增长，自主导航作为增加无人船安全航行的保障也随着技术的发展日新月异。无人船想要实现应用，一个关键问题在于实现自主定位和环境感知。在许多涉及到无人船应用的场景中，比如路径规划、环境感知、避障等，定位与建图的过程被视作是先决条件。同时视觉SLAM(Simultaneous Localization and Mapping)算法可以在使用相机作为视觉传感器后，在没有环境先验信息的情况下，在运动过程中建立环境的地图，并同时进行自主定位。
[0003]ORB
‑
SLAM算法(Orinted FAST and BRIEF
‑
Simultaneous Localization and Mapping)是一种完全基于稀疏特征点的单目视觉SLAM算法，包括视觉里程计、跟踪、回环检测，其核心是使用ORB(Orinted FAST and BRIEF)作为整个视觉SLAM中的核心特征。但是，ORB
‑
SLAM算法构建的地图无法提供周围环境中物体的语义信息，视觉传感器获取的图像信息未能得到充分利用。因此，ORB
‑
SLAM算法只能解决无人船自主导航的问题，在航行过程中通过视觉传感器拍摄到的物体无法智能识别的。
[0004]Mask R
‑
CNN算法是近年来十分具有代表性的基于深度学习的实例分割算法，可以被应用于目标检测、实例分割和目标关键点检测等领域。由于大量的物体会有复杂且不规则的边界形状，而边界形状的精确预测对于整个实例的分割影响重大，Mask R
‑
CNN算法对物体实例边界识别的精度上略有欠缺。
[0005]综上，现有的ORB
‑
SLAM方法虽然可以解决无人船的自主导航功能，但是无法对航行过程中拍摄到的物体进行类型识别，现有的Mask R
‑
CNN算法对物体边界的精确识别还略有欠缺。因此，提供一种用于无人船生成三维语义地图的方法和系统，增强无人船在执行航行、探索等任务时的效率，是当前无人船
的当务之急。

技术实现思路

[0006]针对现有技术的缺陷，本专利技术提供了一种用于无人船生成三维语义地图的方法和系统，解决了现有技术在无人船航行过程中无法对物体边界进行准确识别的技术问题。
[0007]为实现上述目的，本专利技术提供了一种用于无人船生成三维语义地图的方法，包括如下步骤：
[0008](1)获取关键帧步骤：无人船在航行过程中使用视觉传感器连续采集图像帧，得到图像帧序列，采用ORB
‑
SLAM算法对图像帧序列中连续图像帧进行处理得到初始化的三维点云地图，同时，对提取所述连续图像帧的特征点进行处理，得到连续的关键帧，以下分别进行步骤(2)和步骤(3)；
[0009](2)关键帧实例分割步骤：使用Mask R
‑
CNN算法对连续的关键帧中各关键帧进行
实例分割，得到所述连续的关键帧中各关键帧包含的物体实例，并对其进行语义标注，转至步骤(4)；
[0010](3)三维点云地图更新步骤：将所述连续的关键帧加入到初始化的三维点云地图中，实现对三维点云地图的更新，转至步骤(4)；
[0011](4)特征融合步骤：将所述连续的关键帧中各关键帧提取的特征点以及得到的物体实例和上一个关键帧的特征点和物体实例进行匹配，综合特征点以及物体实例匹配的结果对各关键帧的位姿估计结果进行局部非线性优化，得到所述连续的关键帧中各关键帧携带的物体实例语义标注信息；
[0012](5)构建三维语义地图步骤：将所述连续的关键帧中各关键帧携带的物体实例语义标注信息和各关键帧在三维点云地图上的坐标进行关联，实现对三维点云地图的语义标注，得到三维语义地图。
[0013]在一个可选的实施例中，所述获取关键帧步骤中对提取所述连续图像帧的特征点进行处理，得到连续的关键帧，具体过程为：
[0014]采用ORB
‑
SLAM算法提取各图像帧的特征点，将各图像帧提取的特征点和上一个图像帧的特征点进行匹配，得到各图像帧采集时视觉传感器的位姿估计结果；若和上一个图像帧匹配失败，则需要和上一个关键帧进行匹配得到图像帧的位姿估计结果，若和上一个关键帧匹配失败，则需要进行全局重定位，得到图像帧的位姿估计结果，在得到各图像帧的位姿估计结果后，对各图像帧进行筛选得到关键帧。
[0015]在一个可选的实施例中，所述全局重定位，具体为：
[0016]获取的连续的关键帧会生成关键帧数据库，将图像帧和关键帧数据库中所有关键帧进行匹配，确定图像帧的位姿估计结果。
[0017]在一个可选的实施例中，所述对各图像帧进行筛选得到关键帧，具体为：
[0018]满足以下条件的图像帧选取为关键帧：
[0019]图像帧距离上一次全局重定位的图像帧间隔至少20个图像帧；
[0020]建图线程闲置，或者距离上一次加入关键帧已经超过20个图像帧；
[0021]图像帧至少跟踪50个地图点；
[0022]图像帧匹配到的地图点的个数不能超过参考关键帧匹配到的地图点个数的90％。
[0023]在一个可选的实施例中，所述建图线程闲置，还包括：
[0024]若加入关键帧时，建图线程繁忙，则需要发送信号给建图线程，停止建图线程当前任务，使关键帧能够得到及时处理，所述建图线程为ORB
‑
SLAM算法中用于构建无人船航行地图的一个线程。
[0025]在一个可选的实施例中，所述地图点，具体为：
[0026]无人船航行过程中视觉传感器观测到的路标。
[0027]在一个可选的实施例中，所述参考关键帧，具体为：
[0028]所述参考关键帧为关键帧数据库中和所述图像帧的特征点匹配程度最高的关键帧。
[0029]在一个可选的实施例中，所述关键帧实例分割步骤，还包括：
[0030]使用Mask R
‑
CNN对关键帧进行实例分割过程中，还需要使用边界细化模块对分割后的物体实例边界进行拟合，得到更精准的物体实例边界轮廓。
[0031]在一个可选的实施例中，所述关键帧实例分割步骤中并对其进行语义标注，具体为：
[0032]所述语义标注为关键帧中各个物体实例的类别以及它们之间的关系。
[0033]本专利技术的另一目的在于提供一种用于无人船生成三维语义地图的系统，包括如下单元：
[0034]获取关键帧单元：无人船在航行过程中使用视觉传感器连续采集图像帧，得到图像帧序列，采用ORB
‑
SLAM算法对图像帧序列中连续图像帧进行处理得到初始化的三维点云地图，同时，对提取所述连续图像帧的特征点进行处理，得到连续的关键帧，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于无人船生成三维语义地图的方法，其特征在于，包括如下步骤：(1)获取关键帧步骤：无人船在航行过程中使用视觉传感器连续采集图像帧，得到图像帧序列，采用ORB
‑
SLAM算法对图像帧序列中连续图像帧进行处理得到初始化的三维点云地图，同时，对提取所述连续图像帧的特征点进行处理，得到连续的关键帧，以下分别进行步骤(2)和步骤(3)；(2)关键帧实例分割步骤：使用Mask R
‑
CNN算法对连续的关键帧中各关键帧进行实例分割，得到所述连续的关键帧中各关键帧包含的物体实例，并对其进行语义标注，转至步骤(4)；(3)三维点云地图更新步骤：将所述连续的关键帧加入到初始化的三维点云地图中，实现对三维点云地图的更新，转至步骤(4)；(4)特征融合步骤：将所述连续的关键帧中各关键帧提取的特征点以及得到的物体实例和上一个关键帧的特征点和物体实例进行匹配，综合特征点以及物体实例匹配的结果对各关键帧的位姿估计结果进行局部非线性优化，得到所述连续的关键帧中各关键帧携带的物体实例语义标注信息；(5)构建三维语义地图步骤：将所述连续的关键帧中各关键帧携带的物体实例语义标注信息和各关键帧在三维点云地图上的坐标进行关联，实现对三维点云地图的语义标注，得到三维语义地图。2.如权利要求1所述的用于无人船生成三维语义地图的方法，其特征在于，所述获取关键帧步骤中对提取所述连续图像帧的特征点进行处理，得到连续的关键帧，具体过程为：采用ORB
‑
SLAM算法提取各图像帧的特征点，将各图像帧提取的特征点和上一个图像帧的特征点进行匹配，得到各图像帧采集时视觉传感器的位姿估计结果；若和上一个图像帧匹配失败，则需要和上一个关键帧进行匹配得到图像帧的位姿估计结果，若和上一个关键帧匹配失败，则需要进行全局重定位，得到图像帧的位姿估计结果，在得到各图像帧的位姿估计结果后，对各图像帧进行筛选得到关键帧。3.如权利要求2所述的用于无人船生成三维语义地图的方法，其特征在于，所述全局重定位，具体为：获取的连续的关键帧会生成关键帧数据库，将图像帧和关键帧数据库中所有关键帧进行匹配，确定图像帧的位姿估计结果。4.如权利要求2所述的用于无人船生成三维语义地图的方法，其特征在于，所述对各图像帧进行筛选得到关键帧，具体为：满足以下条件的图像帧选取为关键帧：图像帧距离上一次全局重定位的图像帧间隔至少20个图像帧；建图线程闲置，或者距离上一次加入关键帧已经超过20个图像帧；图像帧至少跟踪50个地图点；图像帧匹配到的地图点的个数不能超过参考关键帧匹配...

【专利技术属性】
技术研发人员：李波，陈小乔，
申请(专利权)人：中国船舶重工集团公司第七零九研究所，
类型：发明
国别省市：