一种基于地图构建的视觉定位方法及装置制造方法及图纸

本发明专利技术公开一种基于地图构建的视觉定位方法及装置，该方法步骤包括：S1.获取周围环境的图像并提取图像的特征信息，构建具有空间信息以及特征信息的三维点云地图；S2.由成像设备实时获取二维图像并提取图像的特征信息，根据提取到的特征信息构建实时获取的二维图像与三维点云地图之间的映射关系，根据映射关系定位出成像设备在三维点云地图中的位置。本发明专利技术具有实现方法简单、定位精度高以及鲁棒性强等优点。

【技术实现步骤摘要】
一种基于地图构建的视觉定位方法及装置
本专利技术涉及视觉定位
，尤其涉及一种基于地图构建的视觉定位方法及装置。
技术介绍
视觉定位即为利用图像采集设备采集的图像信息实现定位。现有技术中，视觉定位方法通常是基于光流或者特征点实现，但是该类视觉定位方法会存在以下问题：1、由于特征点是由图像生成，而这类特征点的位置精度较低，会直接影响定位的精度。2、由视觉直接提取的特征点还存在不稳定的问题，如特征点可能由路上的落叶、高楼等的倒影获得，这种特征在短时间内位置会发生巨大的变化甚至消失，基于这类不稳定特征进行定位，会使得定位鲁棒性较低。在如无人驾驶等的应用场景中，需要为车辆提供地图数据，该地图数据通常为激光点云类的数据，但是激光点云图无法直接应用于视觉定位。专利申请201910587663.0公开了一种视觉建图的校准方法，该方法通过获取视觉传感器采集的图像数据，根据图像数据确定视觉传感器的运动轨迹，基于视觉传感器的运动轨迹和图像数据生成初始视觉地图，再对初始视觉地图进行校准，该方法可以通过构建视觉地图，以用于视觉定位，但是地图构建方式复杂，且依赖于该地图构建方式所实现的视觉定位实际定位精度并不高。
技术实现思路
本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种实现方法简单、定位精度高以及鲁棒性强的基于地图构建的视觉定位方法及装置。为解决上述技术问题，本专利技术提出的技术方案为：一种基于地图构建的视觉定位方法，步骤包括：S1.地图构建：获取周围环境的图像并提取图像的特征信息，构建具有空间信息以及所述特征信息的三维点云地图；S2.视觉定位：由成像设备实时获取二维图像并提取图像的特征信息，根据提取到的特征信息构建实时获取的二维图像与所述三维点云地图之间的映射关系，根据所述映射关系定位出所述成像设备在所述三维点云地图中的位置。进一步的：所述图像的特征信息包括语义特征、几何特征、色彩特征中一种或多种的组合。进一步的：所述三维点云地图包括多个子地图，每个所述子地图包括一个以上的点包，所述点包包括点云的空间信息及点云对应的所述特征信息。进一步的：所述步骤S2中，通过对比所述二维图像的特征信息与所述三维点云地图的特征信息，得到在所述三维点云地图中的初始位姿估计。进一步的：所述初始位姿估计中，分别计算实时提取到的特征信息所形成的特征向量与所述三维点云地图中各子地图之间的距离，由最小距离对应的所述子地图确定得到所述初始位置估计。进一步的：所述步骤S2中构建映射关系时，先将所述三维点云地图中各子地图分别与所述二维图像进行数据关联；然后从所述二维图像中提取二维特征点，并与所述三维点云地图中特征点进行对应匹配，计算出所述二维图像与所述三维点云地图之间的映射关系。进一步的：所述进行数据关联时，遍历实时获取的所述二维图像，将所述二维图像的特征信息分别与所述三维点云地图中各子地图的点包进行匹配，如果匹配成功则进行数据关联，所述点包包括点云的空间信息及点云对应的所述特征信息。进一步的：进行对应匹配后还包括对匹配上的点进行二次关联步骤，具体步骤包括：当待匹配的两个目的特征点之间满足色彩特征、语义特征、几何特征中任意一种或多种符合预设条件时，最终确定两个目的特征点关联成功。一种基于地图构建的视觉定位装置，包括：地图构建模块，用于获取周围环境的图像并提取图像的特征信息，构建具有空间信息以及特征信息的三维点云地图；视觉定位模块，用于由成像设备实时获取二维图像并提取图像的特征信息，根据提取到的特征信息构建实时获取的二维图像与所述三维点云地图之间的映射关系，根据所述映射关系定位出所述成像设备在所述三维点云地图中的位置。一种基于地图构建的视觉定位装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，其特征在于，所述处理器用于执行所述计算机程序，以执行如上述的方法。与现有技术相比，本专利技术的优点在于：1、本专利技术通过先构建三维点云地图，该三维点云地图不仅包含空间信息，还包含特征信息，实时获取到二维图像后，将二维图像与三维点云地图进行映射，由映射关系定位出成像设备在三维点云地图中的位置，从而结合三维点云地图构建实现视觉定位，降低视觉定位的复杂度，同时利用三维点云地图的信息，有效提高视觉定位的精度以及鲁棒性。2、本专利技术进一步通过在图像中提取语义特征、几何特征、色彩特征三类视觉特征，融合语义特征、几何特征、色彩特征三种约束，可以进一步提高定位的鲁棒性。附图说明图1是本实施例基于地图构建的视觉定位方法的实现流程示意图。图2是本实施例中提取的特征信息原理示意图。图3是本实施例中特征地图的形成原理示意图。图4是在具体应用实施例中得到的三维点云效果示意图。图5是本实施例中提取三维特征点的原理示意图。图6是在具体应用实施例中得到的匹配特征点的效果示意图。图7是在具体应用实施例中特征点匹配后的效果示意图。图8是本实施例采用PNP方法的原理示意图。图9是本实施例中实现视觉定位的详细流程示意图。具体实施方式以下结合说明书附图和具体优选的实施例对本专利技术作进一步描述，但并不因此而限制本专利技术的保护范围。如图1，本实施例基于地图构建的视觉定位方法的步骤包括：S1.地图构建：获取周围环境的图像并提取图像的特征信息，构建具有空间信息以及特征信息的三维点云地图；S2.视觉定位：由成像设备实时获取二维图像并提取图像的特征信息，根据提取到的特征信息构建实时获取的二维图像与三维点云地图之间的映射关系，根据映射关系定位出成像设备在三维点云地图中的位置。对于无人驾驶车辆来说，若在车辆上配置激光雷达，可扫描到点云数据，将该扫描到的点云与为车辆提供的地图点云进行匹配后，可得到车辆在地图中的位置，实现定位功能。本实施例利用该特性，通过先构建三维点云地图，该三维点云地图不仅包含空间信息，还包含特征信息，实时获取到二维图像后，将二维图像与三维点云地图进行映射，由映射关系定位出成像设备在三维点云地图中的位置，从而结合三维点云地图构建实现视觉定位，降低视觉定位的复杂度，同时利用三维点云地图的信息，有效提高视觉定位的精度以及鲁棒性。上述图像的特征信息具体包括语义特征、几何特征以及色彩特征等的信息，如图2所示，语义特征具体为交通标志牌、车道线、路肩等语义的特征；几何特征具体包括图像中的直线特征、角点特征等，角点特征具体可由orb、sift、surf等角点提取算法获得，角点特征也包括了描述子；色彩特征具体包括色彩、图像块灰度二阶中心距等特征。本实施例通过在图像中提取上述三类视觉特征，使得可以融合语义特征、几何特征、色彩特征三种约束，可以进一步提高定位的鲁棒性。本实施例具体由激光雷达扫描点云数据，构建形成三维点云图像。上述三维点云地图包括多个子地图，每个子地图包括一个或以上的点包本文档来自技高网...

【技术保护点】
1.一种基于地图构建的视觉定位方法，其特征在于，步骤包括：/nS1.地图构建：获取周围环境的图像并提取图像的特征信息，构建具有空间信息以及所述特征信息的三维点云地图；/nS2.视觉定位：由成像设备实时获取二维图像并提取图像的特征信息，根据提取到的特征信息构建实时获取的二维图像与所述三维点云地图之间的映射关系，根据所述映射关系定位出所述成像设备在所述三维点云地图中的位置。/n

【技术特征摘要】
1.一种基于地图构建的视觉定位方法，其特征在于，步骤包括：
S1.地图构建：获取周围环境的图像并提取图像的特征信息，构建具有空间信息以及所述特征信息的三维点云地图；
S2.视觉定位：由成像设备实时获取二维图像并提取图像的特征信息，根据提取到的特征信息构建实时获取的二维图像与所述三维点云地图之间的映射关系，根据所述映射关系定位出所述成像设备在所述三维点云地图中的位置。


2.根据权利要求1所述的基于地图构建的视觉定位方法，其特征在于，所述图像的特征信息包括语义特征、几何特征、色彩特征中一种或多种的组合。


3.根据权利要求1所述的基于地图构建的视觉定位方法，其特征在于：所述三维点云地图包括多个子地图，每个所述子地图包括一个以上的点包，所述点包包括点云的空间信息及点云对应的所述特征信息。


4.根据权利要求1或2或3所述的基于地图构建的视觉定位方法，其特征在于，所述步骤S2中，通过对比所述二维图像的特征信息与所述三维点云地图的特征信息，得到在所述三维点云地图中的初始位姿估计。


5.根据权利要求4所述的基于地图构建的视觉定位方法，其特征在于，所述初始位姿估计中，分别计算实时提取到的特征信息所形成的特征向量与所述三维点云地图中各子地图之间的距离，由最小距离对应的所述子地图确定得到所述初始位置估计。


6.根据权利要求1或2或3所述的基于地图构建的视觉定位方法，其特征在于，所述步骤S2中构建映射关系时，先将所述三维点云地图中各子地图分...

【专利技术属性】
技术研发人员：余辉亮，安向京，胡庭波，
申请(专利权)人：长沙行深智能科技有限公司，
类型：发明
国别省市：湖南;43