基于环视的自动泊车车位识别全景环视图像实时拼接方法技术

本发明专利技术公开基于环视的自动泊车车位识别全景环视图像实时拼接方法，包括如下步骤：1）通过鱼眼相机获取图像数据；2）对图像进行畸变矫正，得到畸变矫正后的鱼眼图像；3）将畸变校正后的图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图；4）对得到的鸟瞰图进行拼接，得到汽车车身周围360度全景环视图像；5）采用融合算法对图像拼接缝进行优化，得到车身周围360度全景环视图像；6）将所得到的汽车车身周围360度全景环视图像输入深度学习目标检测模型，用于自动泊车车位识别和可行驶区域识别。本发明专利技术提供的方法具有计算量小，实时性高，精度高且效果好，易于实现的优点。

Real time mosaic method of panoramic panoramic image for automatic parking space recognition based on look around

【技术实现步骤摘要】
基于环视的自动泊车车位识别全景环视图像实时拼接方法
本专利技术涉及汽车自动泊车
，尤其涉及基于环视的自动泊车车位识别全景环视图像实时拼接方法。
技术介绍
深度学习技术的飞跃发展，产生了更加智能的自动泊车系统。在自动泊车环境感知方面，目前的研究和产品大多利用超声波雷达进行感知，这种基于距离传感器的感知方案所获得的环境信息非常有限，将视觉传感器应用于自动泊车使得360度全景环视技术得到了飞快的发展。该系统利用安装与车身前、后、左、右的4路鱼眼摄像头实时获取车身周边的环境信息，实现了汽车车身周围环境零死角检测，提高了驾驶员对于盲区的监测能力，同时也可与图像处理技术相结合，实现车位识别、障碍物检测以及可行驶区域识别等功能，是自动泊车系统的重要组成部分。在基于环视的自动泊车系统中，现有的360度全景环视图像主要用于为驾驶员提供车身周围全方位的视觉信息，用于辅助泊车。为实现采用深度学习语义分割的方法实现对停车位的检测和可行驶区域识别，需要通过图像拼接技术快速实时地生成汽车车身周围360度全景环视鸟瞰图。图像拼接是将两张或多张拥有相同区域的图像，采用算法找到相邻两张图之间的几何变换关系，再两两拼接成一张图的过程。常见的有基于区域的拼接方法和基于特征的拼接方法。基于区域的拼接方法具有较好的拼接效果，但是计算量大，拼接速度慢。基于特征的拼接方法虽然可以减少处理的特征点数量，但是在寻找特征点时增加了系统的工作量，也不能达到实时性的要求。在现有的拼接方法中，需要改进和完善图像处理算法，使可视范围更广、拼接效果更逼真。在硬件方向，选择经济实用的硬件平台，同时解决系统对实时性的需求。在基于深度学习的自动泊车系统中，采用环视视觉识别停车位和可行驶区域具有高实时性的要求，需要实时的生成汽车车身周围360度全景环视鸟瞰图，以上方法都无法达到实时的要求，都不可以直接应用在基于深度学习的自动泊车系统中。
技术实现思路
本专利技术提供一种基于环视的自动泊车车位识别全景环视图像实时拼接方法，该方法可实时生成汽车车身周围360度全景环视鸟瞰图，用于基于语义分割的自动泊车车位检测和可行驶区域识别，具有拼接速度快，高实时性，且效果好的特点。本专利技术至少通过如下技术方案之一实现。基于环视的自动泊车车位识别全景环视图像实时拼接方法，包括如下步骤：1)通过安装在汽车车身的四路鱼眼相机获取图像数据；2)对获得的四路鱼眼图像进行畸变矫正，得到畸变矫正后的鱼眼图像；3)将畸变校正后的四路鱼眼图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图；4)对得到的四张鸟瞰图进行拼接，得到一张汽车车身周围360度全景环视图像；5)采用融合算法对图像拼接缝进行优化，得到车身周围360度全景环视图像；6)将所得到的汽车车身周围360度全景环视图像输入深度学习目标检测模型YOLOV3，用于基于深度学习的自动泊车车位识别和可行驶区域识别。进一步地，在步骤1)中，四路鱼眼相机的安装位置分别为汽车左、右后视镜最外端、汽车引擎盖和进气格栅交界线中心以及后车牌下边缘中心处，固定好安装位置后，分别对四路鱼眼相机进行标定；采用两阶段标定法，首先采用球面透视投影法进行鱼眼相机标定，得到畸变矫正系数，将畸变矫正之后的鱼眼图像再用张正友标定法进行二次标定，并得到鱼眼相机的内、外参。进一步地，在步骤2)中，采用多项式模型矫正法对四路鱼眼图像进行畸变矫正。进一步地，在步骤3)中，采用基于自动标定点法的算法，求解图像的单应性矩阵，并对畸变矫正后的四路鱼眼相机图像进行逆透视变换，具体包括：在汽车车身前、后、左、右四个方向分别放置一个黑白棋盘格，在前、后、左、右四个方向的棋盘格中，通过基于自动标定点法的算法自动寻找角点，每个方向分别选取4个点，共计16个点，分别测量各个方向的4个点的像素坐标，并测量每个像素点对应的世界坐标；在汽车车身前、后、左、右四个方向上，通过每个方向上的四对坐标点的映射关系，求出每个方向的单应性矩阵；通过每个方向的单应性矩阵分别对前、后、左、右方向的图像进行逆透视变换，得到汽车车身前、后、左、右四个方向的鸟瞰图。进一步地，在步骤4)中，采用基于掩膜裁剪的方法对畸变矫正后的四路鱼眼图像进行拼接，在四路鱼眼的相对位置完全固定的条件下，分别设置前、后、左、右四张鱼眼图的掩膜，对图像进行裁剪，基于统一坐标系，将裁减之后的四幅鸟瞰图进行坐标变换，再进行实时拼接。进一步地，在步骤5)中，采用距离三角函数加权平均融合算法对图像拼接缝进行融合，具体包括采用图像像素点到图像重合区域边界距离的三角函数值作为权重值，对图像重合部分进行加权平均，达到图像融合的效果，算法公式为：I(i,j)＝cos2θI1(i,j)+(1-cos2θ)I2式中，di为像素点到区域I1边界的距离，d为重合区域的距离大小，I1(i,j)为非重叠区域I1中像素点的灰度值，I2(i,j)为菲重叠区域I2中的像素点的灰度值，I(i,j)为融合后的像素点的灰度值。θ为以像素点到重合区域边界距离的三角函数值。进一步地，在步骤6)中，将拼接后的360度全景环视图像实时输入到深度学习目标检测模型，进行自动泊车车位识别以及可行驶区域识别。与现有的技术相比，本专利技术的有益效果为：本专利技术的拼接效果良好，无明显的拼接缝；拼接速度为30ms，实时性高；对计算力要求小，可部署于任意的嵌入式设备。附图说明图1为本实施例基于环视的自动泊车车位识别全景环视图像实时拼接方法流程图；图2为本实施例的逆透视变换坐标系统及标定点选取示意图；图3为本实施例的掩膜裁剪示意图；图4为本实施例的图像融合示意图；图5为本实施例的最终拼接融合效果图。具体实施方式下面结合附图和具体实施例对本专利技术做进一步说明。如图1所示的基于环视的自动泊车车位识别全景环视图像实时拼接方法，包括如下步骤：1)通过安装在汽车车身前、后、左、右的四路鱼眼相机获取图像数据；四路鱼眼相机的安装位置分别为汽车左、右后视镜最外端、汽车引擎盖和进气格栅交界线中心以及后车牌下边缘中心处，固定好安装位置后，分别对四路鱼眼相机进行标定；采用的相机为四个190度广角鱼眼相机，配有四路图像采集卡，一台装有Ubuntu16.04系统的笔记本，采用多线程实时采集图像数据。采用两次标定，具体为先采用球面透视投影标定法对四路鱼眼相机分别进行标定，分别得到四路鱼眼相机的畸变系数，再分别对四路鱼眼图像进行畸变矫正，然后采用现有的张正友标定法对畸变矫正后的图像进行标定，分别得到四路鱼眼相机的内、外参数。2)对获得的四路鱼眼图像进行畸变矫正，得到畸变矫正后的鱼眼图像；具体是采用四路语言相机标定得出的畸变系数，基于由Kannala在等距投影模型的基础上提出的鱼眼相机多项式近似投影模型，分别对采集的四路鱼眼图像数据进行畸变矫正，并输出畸变矫正图。3)将畸变校正后的四路鱼眼图本文档来自技高网...

【技术保护点】
1.基于环视的自动泊车车位识别全景环视图像实时拼接方法，其特征在于，包括如下步骤：/n1)通过安装在汽车车身的四路鱼眼相机获取图像数据；/n2)对获得的四路鱼眼图像进行畸变矫正，得到畸变矫正后的鱼眼图像；/n3)将畸变校正后的四路鱼眼图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图；/n4)对得到的四张鸟瞰图进行拼接，得到一张汽车车身周围360度全景环视图像；/n5)采用融合算法对图像拼接缝进行优化，得到车身周围360度全景环视图像；/n6)将所得到的汽车车身周围360度全景环视图像输入深度学习目标检测模型YOLOV3，用于基于深度学习的自动泊车车位识别和可行驶区域识别。/n

【技术特征摘要】
1.基于环视的自动泊车车位识别全景环视图像实时拼接方法，其特征在于，包括如下步骤：
1)通过安装在汽车车身的四路鱼眼相机获取图像数据；
2)对获得的四路鱼眼图像进行畸变矫正，得到畸变矫正后的鱼眼图像；
3)将畸变校正后的四路鱼眼图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图；
4)对得到的四张鸟瞰图进行拼接，得到一张汽车车身周围360度全景环视图像；
5)采用融合算法对图像拼接缝进行优化，得到车身周围360度全景环视图像；
6)将所得到的汽车车身周围360度全景环视图像输入深度学习目标检测模型YOLOV3，用于基于深度学习的自动泊车车位识别和可行驶区域识别。


2.根据权利要求1所述的拼接方法，其特征在于，在步骤1)中，四路鱼眼相机的安装位置分别为汽车左、右后视镜最外端、汽车引擎盖和进气格栅交界线中心以及后车牌下边缘中心处，固定好安装位置后，分别对四路鱼眼相机进行标定；采用两阶段标定法，首先采用球面透视投影法进行鱼眼相机标定，得到畸变矫正系数，将畸变矫正之后的鱼眼图像再用张正友标定法进行二次标定，并得到鱼眼相机的内、外参。


3.根据权利要求1所述的拼接方法，其特征在于，在步骤2)中，采用多项式模型矫正法对四路鱼眼图像进行畸变矫正。


4.根据权利要求1所述的拼接方法，其特征在于，在步骤3)中，采用基于自动标定点法的算法，求解图像的单应性矩阵，并对畸变矫正后的四路鱼眼相机图像进行逆透视变换，具体包括：
在汽车车身前、后、左、右四个方向分别放置一个黑白棋盘格，在前、后、左、右四个方向的棋盘格中，通过基于自动标定点法的算法...

【专利技术属性】
技术研发人员：徐聪聪，胡习之，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44