一种面向动态泊车环境的同时定位及混合地图构建方法技术

本发明专利技术公开了一种面向动态泊车环境的同时定位及混合地图构建方法，通过引入环境的语义信息进行数据关联，将用于定位的特征点地图中的动态目标进行剔除，同时在定位时引入停车位等静态语义信息，从而提高在动态环境下的定位精度；使用全景立体视觉平台作为系统唯一环境感知来源，结合全景相机及视觉的优点，不经具有环境准确的尺度信息，同时由于视野广，特征点在地图中停留时间长，因此可以提高定位精度；可以将停车位等语义信息与环境中的拓扑路网结构进行融合，可以有效提高路径规划的效率，从而进一步提高自主泊车系统的实时性。

A Simultaneous Location and Hybrid Map Construction Method for Dynamic Parking Environment

The invention discloses a method of simultaneous positioning and Hybrid Map Construction for dynamic parking environment. By introducing the semantic information of the environment for data association, the dynamic targets in the map of feature points used for positioning are eliminated, and static semantic information such as parking spaces are introduced in positioning, so as to improve positioning accuracy in dynamic environment; and a panoramic stereo vision platform is used. As the only source of environmental perception, combined with the advantages of panoramic camera and vision, it can improve the positioning accuracy without having accurate scale information of the environment, and because of the wide field of vision and the long residence time of feature points in the map; it can integrate semantic information such as parking spaces with the topological road network structure in the environment, which can effectively improve the efficiency of path planning and thus improve the positioning accuracy. One step to improve the real-time performance of the autonomous parking system.

【技术实现步骤摘要】
一种面向动态泊车环境的同时定位及混合地图构建方法
本专利技术属于无人驾驶方面的自主泊车领域，涉及地面无人移动平台在动态变化的停车场中通过同时定位与地图构建方法完成准确定位及混合地图构建。
技术介绍
近年来，随着社会的发展和科学技术的进步，全球汽车保有量及汽车产量不断攀升。汽车的普及引发了交通拥堵以及停车困难等问题。此外，由于停车场的空间一般都比较拥挤狭窄，由于人为操作失误导致在泊车过程中发生剐蹭乃至造成伤亡事故的案例也层出不穷。目前智能泊车系统主要分为被动式泊车辅助、半自主式泊车以及全自主泊车。被动式泊车辅助系统通过倒车雷达、摄像头、超声波等低成本传感器为驾驶员提供泊车环境影像等信息。半自主式泊车在此基础上添加了局部路径规划功能，驾驶员只需要负责油门及刹车控制。而全自主泊车需要车辆主动寻找可用车位并完成泊车操作。本专利技术针对全自主泊车系统进行展开。由于泊车环境存在动态变化的特点，现有的环境感知系统并不能满足全自主泊车系统的需求，构建的停车场地图往往由于环境变化无法重复使用，因此车辆必须在每次泊车操作时重新构建环境地图，泊车效率极低。因此，本专利技术提出使用全景立体视觉感知系统对停车场环境进行感知，同时准确高效的实现车辆定位与混合地图构建，具有重要的研究意义和应用前景。
技术实现思路
有鉴于此，本专利技术针对停车场环境动态变化的特点以及自主泊车对环境感知方面的需求，通过车载全景立体视觉全面的对停车场环境进行感知并构建混合地图，同时引入环境语义信息将地图中动态的特征点进行处理，实现车辆在动态环境中的准确定位。此外，本专利技术构建的混合地图具有拓扑结构及丰富的语义信息，可用于无人车定位、导航及路径规划等操作。本专利技术的一种面向动态泊车环境的同时定位与混合地图构建方法，使用全景立体视觉系统获得环境的实时双目全景图像，针对获得的每一帧双目全景图像，采用如下步骤进行处理：步骤S1：针对当前帧的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图的构建；在环境特征点地图中，基于步骤S3利用上一帧双目全景图像获得的图像语义信息对特征点赋予语义信息，并将属于动态语义目标的特征点剔除；最后，使用数据关联后的特征地图进行匹配获得车辆位姿；步骤S2：利用当前帧的双目全景图像通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图；再通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图；最后使用体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环境拓扑路网结构，构建环境的拓扑地图；步骤S3：针对当前帧的双目全景图像，提取停车场环境的语义信息，并结合所述车辆位姿构建语义地图；将三维栅格地图、拓扑地图以及语义地图进行地图融合，构建用于车辆路径规划及导航的拓扑-语义混合地图。较佳的，在步骤S3中构建拓扑-语义混合地图时，将语义地图中的停车位信息作为拓扑地图中的节点，与拓扑地图中的路网结构进行连通，从而构建拓扑-语义混合地图。较佳的，步骤S1中，基于视觉SLAM方法进行相机位姿估计及环境特征点地图构建的具体方法为：对图像进行ORB特征提取、特征匹配、相邻帧间匹配、后端优化以及回环检测。本专利技术具有如下有益效果：1、本专利技术针对自主泊车中环境动态变化影响无人平台定位精度的问题，通过引入环境的语义信息进行数据关联，将用于定位的特征点地图中的动态目标进行剔除，同时在定位时引入停车位等静态语义信息，从而提高在动态环境下的定位精度。2、本专利技术中使用全景立体视觉平台作为系统唯一环境感知来源，结合全景相机及视觉的优点，不经具有环境准确的尺度信息，同时由于视野广，特征点在地图中停留时间长，因此可以提高定位精度。3、本专利技术提出的语义-拓扑混合地图构建方法，可以将停车位等语义信息与环境中的拓扑路网结构进行融合，可以有效提高路径规划的效率，从而进一步提高自主泊车系统的实时性。附图说明图1为本专利技术系统整体框架示意图；图2为本专利技术实施例1中视觉SLAM算法流程图；图3为本专利技术实施例2中的输入图像及视差图；图4为本专利技术实施例2中的三维稠密点云地图；图5为本专利技术实施例2中的三维栅格地图(八叉树地图)；图6为本专利技术实施例3中的语义分割结果；图7为本专利技术实施例3中的拓扑-语义混合地图；图8为本专利技术实施例3中的混合地图。具体实施方式下面结合附图并举实施例，对本专利技术进行详细描述。如图1所示，本专利技术提出一种面向动态泊车环境的同时定位与混合地图构建方法，使用基于全景立体视觉系统获得环境的实时双目全景图像，针对获得的每一帧实时双目全景图像，采用如下步骤进行处理：步骤S1：针对当前帧的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图的构建；在环境特征点地图中，基于步骤S3利用上一帧双目全景图像获得的图像语义信息对特征点进行数据关联，并将属于动态语义目标的特征点剔除，从而在重定位时定位精度不受动态物体干扰；最后，使用数据关联后的特征地图进行匹配获得车辆实时位姿；具体内容如下文实施例1所示。步骤S2：利用当前帧的双目全景图像通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图；再通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图(例如八叉树地图等)；最后使用体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环境拓扑路网结构，构建环境的拓扑地图，具体内容如下文实施例2所示。步骤S3：针对当前帧的双目全景图像，通过语义分割、目标检测等深度学习算法提取停车场环境的语义信息，并构建语义地图，本帧图像获得的语义信息将被用于下一阵图像获取的特征点地图中数据融合及动态目标的剔除；最后将三维栅格地图、拓扑地图以及语义地图进行地图融合，构建可以用于车辆路径规划及导航的拓扑-语义混合地图，具体内容如下文实施例3所示。下面结合附图分别对以上三个实时例进行详细说明。实施例1、面向动态泊车环境的全景立体视觉SLAM方法。图2为目前主流SLAM方法得系统架构，分为数据图像、视觉里程计、后端优化、地图构建以及回环检测模块。在数据输入方面，目前主要使用单目相机、双目相机、RGB-D相机，其中双目相机由于具有准确得尺度信息而在无人驾驶技术中广泛应用；在视觉里程计模块，根据实现方法得不同可以分为两类，一类是基于图像特征提取的特征点法，另一类是基于图像灰度变化的直接法。特征点法会对图像中灰度变化较为明显的角点或斑点进行提取并计算出其对应的描述子，然后使用对极几何或者射影几何对相机位姿和特征点的三维坐标进行计算。该类方法较为著名的工作包括牛津大学的PTAM、西班牙学者Rául等提出的ORB-SLAM等。直接法是一种根据图像中像素灰度的变化来对相机进行定位的方法。基于灰度不变假设，该类算法构造了一个光度误差方程，然后直接使用非线性优化的方法对其进行求解，从而获取相机的六自由度位姿。经典的直接法SLAM系统有：基于稠密直接法的DTAM、基于半稠密直接法的LSD-SLAM以及基于稀疏直接法的DSO等；在后端优化模块分为卡尔曼、扩展卡尔曼、粒子滤波等滤波方法以及光束平差法、图优化等优化方法；在回环检测方面，目前的主流方法是采用BagofWord(BoW)词袋模型进行场景重识别，然后通过光束平差法进行全局优化；在地图构本文档来自技高网...

【技术保护点】
1.一种面向动态泊车环境的同时定位与混合地图构建方法，其特征在于，使用全景立体视觉系统获得环境的实时双目全景图像，针对获得的每一帧双目全景图像，采用如下步骤进行处理：步骤S1：针对当前帧的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图的构建；在环境特征点地图中，基于步骤S3利用上一帧双目全景图像获得的图像语义信息对特征点赋予语义信息，并将属于动态语义目标的特征点剔除；最后，使用数据关联后的特征地图进行匹配获得车辆位姿；步骤S2：利用当前帧的双目全景图像通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图；再通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图；最后使用体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环境拓扑路网结构，构建环境的拓扑地图；步骤S3：针对当前帧的双目全景图像，提取停车场环境的语义信息，并结合所述车辆位姿构建语义地图；将三维栅格地图、拓扑地图以及语义地图进行地图融合，构建用于车辆路径规划及导航的拓扑‑语义混合地图。

【技术特征摘要】
1.一种面向动态泊车环境的同时定位与混合地图构建方法，其特征在于，使用全景立体视觉系统获得环境的实时双目全景图像，针对获得的每一帧双目全景图像，采用如下步骤进行处理：步骤S1：针对当前帧的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图的构建；在环境特征点地图中，基于步骤S3利用上一帧双目全景图像获得的图像语义信息对特征点赋予语义信息，并将属于动态语义目标的特征点剔除；最后，使用数据关联后的特征地图进行匹配获得车辆位姿；步骤S2：利用当前帧的双目全景图像通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图；再通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图；最后使用体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环...

【专利技术属性】
技术研发人员：杨毅，王健行，蒋斯坦，唐笛，付梦印，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11