一种空车位识别方法与系统、计算机可读存储介质技术方案

本发明专利技术涉及一种空车位识别方法与系统、计算机可读存储介质，包括：当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述四路帧图像包括车辆不同方位的车辆环境图像；将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。通过本发明专利技术，能够更好地满足车辆对车位感知的鲁棒性、实时性和准确性的要求。实时性和准确性的要求。实时性和准确性的要求。

【技术实现步骤摘要】
一种空车位识别方法与系统、计算机可读存储介质


[0001]本专利技术涉及车辆泊车过程中的空车位识别
，具体涉及一种空车位识别方法与系统、计算机可读存储介质。

技术介绍

[0002]空车位识别是自动泊车技术中的基础，当前空车位识别算法主要可分为基于超声波雷达、基于地磁传感器、基于环视图像等三种空车位识别方式；
[0003]其中，基于超声波雷达的空车位识别算法中利用超声波雷达对周围环境(车辆、障碍物等)进行感知，但超声波雷达无法对车位线进行检测，只能够规划处可行驶或无障碍区域；
[0004]其中，基于地磁传感器的空车位识别算法需要提前实现对停车区域的整体改造；
[0005]其中，基于环视图像的空车位识别方式为应用最多的一种方式，其通过环视摄像头进行实时图像采集，对图像中的车位进行提取，并结合对周围环境的感知结果确定目标空车位，但其存在以下问题：其一，大多采用拼接后的俯视图像作为算法处理的对象，在从广角鱼眼图像通过畸变矫正、透视变换转换到俯视图图像的过程中，往往图像视野较原始鱼眼图像变小，且图像中的立体信息丢失，若车位内侧存在障碍物时，容易因图像信息的不完整造成空车位的误识别；其二，大多采用矩形框的方式来表征车位角，以识别出的矩形框的中心点位置作为车位边界的临界位置，而自动泊车需要的空车位信息为车位角中心点(构成车位边界四边形的四个角点)的坐标，矩形框的准确度和识别率不能直接代表空车位边界识别结果的精确度，会出现识别车位与真实值之间存在偏差，影响自动泊车过程中车辆的安全，车位角中心点识别结果的偏差同样会造成车位姿态计算的误差；其三，在识别网络设计阶段并未考虑车位角之间的相对位置关系，而同一车位的多个车位角排列具有几何关系，相邻车位的车位角之间同样具有相似的几何关系，算法设计过程中如果能够充分结合多车位角之间的位置关系是能够有效提高算法的鲁棒性和准确性的。
[0006]基于以上内容可知，目前基于超声波雷达、基于地磁传感器、基于环视图像等三种空车位识别方式并不能很好地适应不同车位线划线方式、自然环境变化等因素，不能满足车辆对车位感知的鲁棒性、实时性和准确性的要求。因此，有必要提出一种新的空车位识别方法来取代目前基于超声波雷达、基于地磁传感器、基于环视图像等三种空车位识别方式。

技术实现思路

[0007]本专利技术的目的在于提出一种空车位识别方法与系统、计算机可读存储介质，以更好地满足车辆对车位感知的鲁棒性、实时性和准确性的要求。
[0008]为实现上述目的，本专利技术的实施例提出一种空车位识别方法，包括如下步骤：
[0009]步骤S100、当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
[0010]步骤S200、将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得
图像特征；
[0011]步骤S300、将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；
[0012]步骤S400、根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。
[0013]优选地，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别；
[0014]所述步骤S400包括：
[0015]根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；
[0016]根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息。
[0017]优选地，所述步骤S400包括：
[0018]统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。
[0019]优选地，所述多路帧图像包括车辆前后左右四个方位的车辆环境图像，通过设置于车辆前后左右的四个180度广角鱼眼摄像头分别拍摄得到。
[0020]优选地，所述步骤S200还包括：
[0021]在将所述多路帧图像输入所述CNN模型之前，对所述多路帧图像的上、下边缘以黑色像素进行填充，使得填充后的多路帧图像的图像尺寸均为第一预设尺寸；并将所述填充后的多路帧图像的图像尺寸缩放至满足所述CNN模型的输入要求的第二预设尺寸。
[0022]优选地，所述CNN模型包括依次连接的第一网络模块、第二网络模块和特征处理模块；
[0023]其中，所述第一网络模块包括：依次连接的第一卷积层、第一激活函数层、第一池化层、第二卷积层、第二激活函数层、第二池化层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第三池化层、第六卷积层和第六激活函数层；
[0024]其中，所述第二网络模块包括三个分支网络；所述三个分支网络的结构相同，空洞尺度不同；所述三个分支网络均包括：依次连接的第七卷积层、第七激活函数层、第八卷积层、第八激活函数层、第四池化层、第九卷积层、第九激活函数层、第十卷积层、第十激活函数层、第十一卷积层、第十一激活函数层、第十二卷积层、第十二激活函数层、第十三卷积层、第十三激活函数层和第五池化层；
[0025]其中，所述第一网络模块的输入为CNN模型的输入，所述三个分支网络的输入均为所述第一网络模块的输出；所述特征处理模块用于根据所述三个分支网络的输出生成用于输入所述Transformer模型的多个词向量。
[0026]本专利技术的实施例还提出一种空车位识别系统，该系统与上述的方法对应，该系统包括：
[0027]图像信息获取单元，用于当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；
[0028]第一信息处理单元，用于将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；
[0029]第二信息处理单元，用于将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；以及
[0030]空车位识别单元，用于根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。
[0031]优选地，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空车位识别方法，其特征在于，包括如下步骤：步骤S100、当车辆泊车时，实时获取当前时刻的多路帧图像；其中所述多路帧图像包括车辆不同方位的车辆环境图像；步骤S200、将所述多路帧图像输入预先训练好的CNN模型进行图像特征提取获得图像特征；步骤S300、将所述图像特征输入预先训练好的Transformer模型依次进行编码、解码和感知推理输出当前时刻车辆周围环境的多个目标点的类别信息和坐标信息；其中所述目标点的类别包括无目标点、车位角中心点和空车位入口中心点；步骤S400、根据所述多个目标点的类别信息和坐标信息确定目标空车位及其坐标信息。2.根据权利要求1所述的方法，其特征在于，所述Transformer模型输出的目标点的类别信息包括目标点为无目标点的置信度、目标点为车位角中心点的置信度和目标点为空车位入口中心点的置信度，其中三个置信度中最高的一个即为目标点的类别；所述步骤S400包括：根据所述多个目标点的类别信息确定一个或多个空车位及其置信度，并选择置信度最高的一个空车位作为当前时刻的目标空车位；其中所述空车位的置信度根据空车位的车位角中心点和空车位入口中心点的置信度确定；根据所述当前时刻的目标空车位的车位角中心点和空车位入口中心点的坐标信息确定所述当前时刻的目标空车位的坐标信息。3.根据权利要求2所述的方法，其特征在于，所述步骤S400包括：统计当前时刻以及当前时刻之前的连续多个历史时刻所对应的车辆周围环境的所有目标空车位及其置信度，并从中选择置信度最高的一个时刻的目标空车位作为最优空车位。4.根据权利要求1所述的方法，其特征在于，所述多路帧图像包括车辆前后左右四个方位的车辆环境图像，通过设置于车辆前后左右的四个180度广角鱼眼摄像头分别拍摄得到。5.根据权利要求4所述的方法，其特征在于，所述步骤S200还包括：在将所述多路帧图像输入所述CNN模型之前，对所述多路帧图像的上、下边缘以黑色像素进行填充，使得填充后的多路帧图像的图像尺寸均为第一预设尺寸；并将所述填充后的多路帧图像的图像尺寸缩放至满足所述CNN模型的输入要求的第二预设尺寸。6.根据权利要求1所述的方法，其特征在于，所述CNN模型包括依次连接的第一网络模块、第二网络模块和特征处理模块；其中，所述第一网络模块包括：依次连接的第一卷积层、第一激活函数层、第一池化层、第二卷积层、第二激活函数层、第二池化层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第三池化层、第六卷积层和第六激活函数层；其...

【专利技术属性】
技术研发人员：翁茂楠，王玉龙，熊硕，黄辉，李智，关倩仪，
申请(专利权)人：广州汽车集团股份有限公司，
类型：发明
国别省市：