一种基于全域感知的智慧停车场语义地图构建方法及系统技术方案

本发明专利技术提出了一种基于全域感知的智慧停车场语义地图构建方法及系统，基于部署在停车场场端的激光雷达与相机实现，该方法包括：接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；根据停车位信息和车辆位置信息构建栅格地图；根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。构成动态的停车场语义地图。构成动态的停车场语义地图。

【技术实现步骤摘要】
一种基于全域感知的智慧停车场语义地图构建方法及系统


[0001]本专利技术属于自动驾驶
，尤其涉及一种基于全域感知的智慧停车场语义地图构建方法及系统。

技术介绍

[0002]快速增加的汽车保有量导致对停车场地的需求不断提高。中国当前停车位数量缺口较大，而且存在停车场利用率不高的问题，难以满足智能停车需求。从驾驶员角度出发，在车辆密集的停车场或是光线较暗的地下停车场存在较多的视野盲区，加上大量的泊车与取车人员在停车场内穿行，给停车带来了较大的安全隐患。停车场狭小的车位空间与部分车主停车不规范的情况也给驾驶员泊车带来了不小的困难。因此，众多的停车难题也在日益凸显。而随着计算机技术和传感技术的发展，各大科技型公司、初创型公司与传统整车厂、一级供应商等已经展开自动泊车技术的相关研发与落地布局。
[0003]鉴于现有的停车难，停车不安全以及停车位利用率不高等问题，智慧停车场便应运而生。智慧停车场是为了解决停车难，车位分配不规范等实际问题而提出的。所谓的智慧是指能够对车辆进行实时感知、跟踪及导航，并且能够实时获得停车位占用情况。
[0004]如今停车场建图方法普遍是基于SLAM(同时定位与地图构建)的方法，而SLAM又可以分为激光与视觉两种。常用的激光SLAM的优点是精度高，可用于进一步的路径规划，缺点是没有语义信息。而视觉SLAM具有语义信息，却易受光照影响且难以进行路径规划。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提出了一种基于全域感知的智慧停车场语义地图构建方法及系统。
[0006]为了实现上述目的，本专利技术提出了一种基于全域感知的智慧停车场语义地图构建方法，基于部署在停车场场端的激光雷达与相机实现，所述方法包括：
[0007]步骤s1)接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；
[0008]步骤s2)结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；
[0009]步骤s3)采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；
[0010]步骤s4)根据停车位信息和车辆位置信息构建栅格地图；
[0011]步骤s5)根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
[0012]步骤s6)根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
[0013]作为上述方法的一种改进，所述步骤s2)的停车位先验信息为点云坐标下每个停车位相对于感知设备之间的相对位置。
[0014]作为上述方法的一种改进于，所述步骤s2)包括：
[0015]根据停车位的先验信息以及车位的占用与空闲具有不同空间表示的特征，在白天光照条件满足要求时，根据RGB图像，采用轻量级的二分类网络识别停车位框的占用情况；在夜晚光照条件不满足要求时，基于点云数据的三维目标检测及图像分类结果的融合，识别停车位框的占用情况。
[0016]作为上述方法的一种改进，所述步骤s3)包括：
[0017]对相机和激光雷达进行外参标定，对相机进行内参标定；
[0018]通过标定获得的外参矩阵与内参矩阵，将点云投影为与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中；
[0019]采用基于相机与激光融合的三维目标检测算法，生成停车场内每台车辆及行人的检测框和朝向；每一个检测框由(x,y,z,l,w,h,yaw)构成，其中(x,y,z)表示该检测框的中心，(l,w,h)表示该检测框的长宽高，yaw表示检测框的朝向角度，从而得到停车场范围内的车辆位置信息和行人位置信息。
[0020]作为上述方法的一种改进，所述步骤s4)包括：
[0021]将表征车辆位置信息和行人位置信息的三维检测框转换成二维鸟瞰图，以二维检测框的长宽以及朝向生成栅格地图。
[0022]作为上述方法的一种改进，所述步骤s5)包括：
[0023]对二维检测框的输出信息进行相应的多目标跟踪，通过关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的ID值；
[0024]采用基于特征关联的跟踪算法，根据车辆ID值实时为进场车辆安排空闲车位，一旦车位占用，相应停车位标记为占用状态，根据停车位信息，栅格地图以及车辆位置信息采用混合A*算法进行路径规划。
[0025]作为上述方法的一种改进，所述步骤s6)的停车场语义地图包括：停车场区域的整体空间信息、停车位的位置信息及占用情况、停车场区域的车辆行人实时位置信息和车辆的泊车路径信息。
[0026]作为上述方法的一种改进，所述方法还包括基于ROS话题的订阅发布实现信息传递；具体包括：
[0027]通过基于ROS话题的订阅发布实现RGB图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
[0028]一种基于全域感知的智慧停车场语义地图构建系统，基于部署在停车场场端的激光雷达与相机实现，所述系统包括：数据接收模块、停车位检测模块、车辆行人检测模块、栅格地图构建模块、路径规划模块和语义地图构建模块；其中，
[0029]所述数据接收模块，用于接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；
[0030]所述停车位检测模块，用于结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；
[0031]所述车辆行人检测模块，用于采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；
[0032]所述栅格地图构建模块，用于根据停车位信息和车辆位置信息构建栅格地图；
[0033]所述路径规划模块，用于根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
[0034]所述语义地图构建模块，用于根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
[0035]作为上述系统的一种改进，所述系统基于ROS话题的订阅发布实现信息传递；具体包括：
[0036]通过基于ROS话题的订阅发布实现RGB图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
[0037]与现有技术相比，本专利技术的优势在于：
[0038]1、本专利技术提出一种基于全域的停车场语义地图，能够基于三维目标检测构建栅格地图，跟踪车辆以及路径规划，同时语义地图还能够提供全天时的停车位的检测，相对传统的SLAM建图，耗时较少且精度高；
[0039]2、本专利技术提出的基于全域感知的停车场语义地图构建方法，利用激光雷达与相机融合进行三维目标检测，能够克服单一传感器的不足，提高检测的精确度；
...

【技术保护点】

【技术特征摘要】
1.一种基于全域感知的智慧停车场语义地图构建方法，基于部署在停车场场端的激光雷达与相机实现，所述方法包括：步骤s1)接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；步骤s2)结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；步骤s3)采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；步骤s4)根据停车位信息和车辆位置信息构建栅格地图；步骤s5)根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；步骤s6)根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。2.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s2)的停车位先验信息为点云坐标下每个停车位相对于感知设备之间的相对位置。3.根据权利要求2所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s2)包括：根据停车位的先验信息以及车位的占用与空闲具有不同空间表示的特征，在白天光照条件满足要求时，根据RGB图像，采用轻量级的二分类网络识别停车位框的占用情况；在夜晚光照条件不满足要求时，基于点云数据的三维目标检测及图像分类结果的融合，识别停车位框的占用情况。4.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s3)包括：对相机和激光雷达进行外参标定，对相机进行内参标定；通过标定获得的外参矩阵与内参矩阵，将点云投影为与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中；采用基于相机与激光融合的三维目标检测算法，生成停车场内每台车辆及行人的检测框和朝向；每一个检测框由(x,y,z,l,w,h,yaw)构成，其中(x,y,a)表示该检测框的中心，(l,w,h)表示该检测框的长宽高，yaw表示检测框的朝向角度，从而得到停车场范围内的车辆位置信息和行人位置信息。5.根据权利要求4所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s4)包括：将表征车辆位置信息和行人位置信息的三维检测框转换成二维鸟瞰图，以二维检测框的长宽以及朝向生成栅格地图。6.根据权利要求5所述的基于全域感知的智慧停车场语义地图构建方法，其...

【专利技术属性】
技术研发人员：李骏，张新钰，王力，陈海峰，谢涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：