一种融合环视图像与激光雷达的自动泊车感知方法技术

本发明专利技术涉及一种融合环视图像与激光雷达的自动泊车感知方法，该方法包括以下步骤：步骤1：通过安装在车身上的四个鱼眼摄像头获取原始图像，并对原始图像进行畸变纠正；步骤2：通过选取四个已知地面坐标的标记点，分别对畸变纠正后的原始图像进行投影变换，得到投影到地面的四张俯瞰图；步骤3：基于标记点的空间位置一致性对四张俯瞰图进行拼接，得到环视图像；步骤4：将环视图像输入车位检测模型进行车位检测，得到停车位的像素坐标；步骤5：根据停车位的像素坐标获取停车位的全局坐标，以进行自动泊车路径规划，与现有技术相比，本发明专利技术具有简化了停车位的跟踪算法、提高了路径规划的智能性和鲁棒性以及保障自动泊车过程中的安全等优点。全等优点。全等优点。

【技术实现步骤摘要】
一种融合环视图像与激光雷达的自动泊车感知方法


[0001]本专利技术涉及自动泊车
，尤其是涉及一种融合环视图像与激光雷达的自动泊车感知方法。

技术介绍

[0002]现有的自动泊车方案的感知信息来源大多基于环视图像、环视图像与毫米波雷达融合或者环视图像与超声波传感器融合，环视图像用于检测车位，检测方法包括传统视觉的方法和深度学习方法，通过毫米波雷达、超声波传感器判断目标停车位是否有车，获取障碍物的距离，且现有的自动泊车方案多采用自身车辆的运动学信息进行定位，再用定位去跟踪停车位的坐标。
[0003]只依靠环视图像的泊车方案无法感知障碍物，超声波传感器的感知距离较短，毫米波雷达的感知角度范围具有局限性，存在感知盲区，上述传感器一般用于判断车位是否有车，对于障碍物只能做到停让；另外，只依赖车辆运动状态的定位方法会造成累积误差。因此，对于自动泊车功能，现有方法对环境的感知不够全面，一方面限制了自动泊车的智能程度，另一方面也难以保证自动泊车过程中的安全性，存在较大的隐患。

技术实现思路

[0004]本专利技术的目的就是为了克本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合环视图像与激光雷达的自动泊车感知方法，其特征在于，该方法包括以下步骤：步骤1：通过安装在车身上的四个鱼眼摄像头获取原始图像，并对原始图像进行畸变纠正；步骤2：通过选取四个已知地面坐标的标记点，分别对畸变纠正后的原始图像进行投影变换，得到投影到地面的四张俯瞰图；步骤3：基于标记点的空间位置一致性对四张俯瞰图进行拼接，得到环视图像；步骤4：将环视图像输入车位检测模型进行车位检测，得到停车位的像素坐标；步骤5：根据停车位的像素坐标获取停车位的全局坐标，以进行自动泊车路径规划。2.根据权利要求1所述的一种融合环视图像与激光雷达的自动泊车感知方法，其特征在于，所述的步骤1中，四个鱼眼摄像头分别安装于车身的前方、后方、左侧和右侧，且车身左侧的鱼眼摄像头和车身右侧的鱼眼摄像头分别安装在车顶左右两侧的正中间，以提高投影变换后的环视图像的清晰度。3.根据权利要求1所述的一种融合环视图像与激光雷达的自动泊车感知方法，其特征在于，所述的步骤1中，对原始图像进行畸变纠正的过程具体为：对原始图像进行畸变纠正，即进行去畸变，采用OpenCV的鱼眼摄像头模型对四个鱼眼摄像头分别进行内参标定，得到内参矩阵A和畸变系数组K，由内参矩阵A和畸变系数组K计算出图像的畸变纠正变换，并以映射形式表示畸变纠正变换的结果，根据映射形式的畸变纠正变换的结果对每一帧输入的原始图像进行重映射，得到四个鱼眼摄像头对应的图像：K＝(k1,k2,k3,k4)其中，A为内参矩阵，f
x
和f
y
分别为x方向的焦距参数和y方向的焦距参数，c
x
为x方向的光轴和像素原点的偏移，c
y
为y方向的光轴和像素原点的偏移，K为畸变系数组，k1、k2、k3和k4均为畸变系数。4.根据权利要求1所述的一种融合环视图像与激光雷达的自动泊车感知方法，其特征在于，所述的步骤2中，得到投影到地面的四张俯瞰图的过程具体为：分别在每两个鱼眼摄像头的图像视野重叠处选择两个标记点，总共八个标记点，分别为A1、A2、B1、B2、C1、C2、D1和D2，标记点的地面坐标通过实地测量得到，标记点的像素坐标在原始图像上手动选取得到，每个鱼眼摄像头的图像通过对应的四个标记点进行投影变换。5.根据权利要求1所述的一种融合环视图像与激光雷达的自动泊车感知方法，其特征在于，所述的步骤3中，得到环视图像的过程具体为：由两张相邻俯瞰图的视野重叠处的标记点确定一条直线，以直线作为相邻两张俯瞰图的拼接线，并采用掩膜的方式拼接四张俯视图像，以拼接线为边界把最终的环视图像分为四部分，分别制作四个图像的掩膜，并对掩膜的边缘进行高斯模糊处理，进而使环视图像之间的接缝处过渡自然，对四张图像的色彩进行平衡，消除环境光的影响，拼接完成后得到一张600*600像素的环视图像。
6.根据权利要求1所述的一种融合环视图像与激光雷达的自动泊车感知方法，其特征在于，所述的步骤4中，得到停车位的像素坐标的过程具体包括以下步骤：步骤401：采用基于YOLOv3的车位检测模型进行车位检测，得到环视图像的特征图，并将环视图像的特征图划分多个网格；步骤402：每个网格的特征图回归出对应范围内的停车位角点；步骤403：根据停车位角点的相对位置关系推理出有效的停车位的位置，通过计算和筛选得到有效的停车位完整的四个停车位角点的像素坐标，即一个停车位对应四个停车位角点，检测到两个停车位角点，经过计算和筛选之后，再根据先验信息推理出其余两个停车位角点。7.根据权利要求1所述的一种融合环视图像与激光雷达的自动泊车感知方法，其特征在于，所述的步骤5中，获取停车位的全局坐标的过程具体包括以...

【专利技术属性】
技术研发人员：王亚飞，殷承良，周志松，陈之楷，陈炜邦，郭志豪，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：