一种基于自适应目标检测网络与车牌检测的单目测距方法技术

本发明专利技术涉及一种基于自适应目标检测网络与车牌检测的单目测距方法及系统，其方法包括：S1：利用相机获取车辆的前视交通图像，使用车牌检测算法识别前视交通图像中的车牌形状，通过透视变换原理得到相机的俯视角γ；S2：将前视交通图像输入目标检测网络，得到预测目标检测框的下沿中心点P，利用γ和P，预测得到目标距离；S3：利用目标距离和真实距离构建损失函数，用于训练目标检测网络。本发明专利技术提供的方法，可直接对采集到的图像进行检测，并对目标进行距离的测量，避免图像融合等步骤，降低了造价。造价。造价。

【技术实现步骤摘要】
一种基于自适应目标检测网络与车牌检测的单目测距方法


[0001]本专利技术涉及自动驾驶领域，具体涉及一种基于自适应目标检测网络与车牌检测的单目测距方法及系统。

技术介绍

[0002]随着自动驾驶技术的不断进步，越来越多的技术被投入使用中，各种各样的的自动驾驶汽车被投入市场。距离测量是自动驾驶技术中十分重要的一个部分。精准测量障碍物的距离，对于自动驾驶的路径规划以及预警系统等重要功能都有着重大的意义，甚至可以说是基石。
[0003]在测距方法上主要分为主动测量与被动测量，主动测量是目前众多研究员的主要研究方向。主动测量是通过超声波传感器、激光雷达、摄像机等车载设备进行测距。超声波传感器成本较低，但是精度并不好，尤其在高速行驶时误差较大，适用场景较为有限。激光雷达精度最高，但是成本造价昂贵。且这些方法不易与摄像机采集到的图像进行目标的融合。单目相机可直接对采集到的图像进行检测，之后对目标进行距离的测量，避免图像融合等步骤，还降低了造价，有利于其在智能车上得到推广应用。
[0004]单目视觉测距一般采用对应点标定法来获取图像的深度信息，对应点标定法是指通过不同坐标系中对应点的对应坐标求解坐标系的转换关系，但对应点标定法，在标定过程中，由于受器材限制，仍无法做到十分精确地记录一个点在世界坐标系和图像坐标系中的对应坐标如果其坐标不够精确，那么得到的转换矩阵的精确度也会受到制约，坐标转换结果的精度也会因此而波动，由于对应点标定法对于摄像机的标定是在摄像机的各个角度及高度已经确定的情况下进行的，当摄像机的任何一个参数发生变化时，都要重新进行标定，以得到在该种具体情况下的转换矩阵，所以该方法仅适用于位置固定的摄像机的情况，而对于应用在移动载体上的摄像机来说，由于摄像机载体在运动过程中会使摄像机的参数发生变化，所以适用性受到了限制。因此，如何在移动过程中进行测距成为一个亟待解决的问题。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种基于自适应目标检测网络与车牌检测的单目测距方法及系统。
[0006]本专利技术技术解决方案为：一种基于自适应目标检测网络与车牌检测的单目测距方法，包括：
[0007]步骤S1：利用相机获取车辆的前视交通图像，使用车牌检测算法识别所述前视交通图像中的车牌形状，通过透视变换原理得到所述相机的俯视角γ；
[0008]步骤S2：将所述前视交通图像输入目标检测网络，得到预测目标检测框的下沿中心点P，利用γ和P，预测得到目标距离；
[0009]步骤S3：利用所述目标距离和真实距离构建损失函数，用于训练所述目标检测网
络。
[0010]本专利技术与现有技术相比，具有以下优点：
[0011]1、本专利技术公开了一种基于自适应目标检测网络与车牌检测的单目测距方法，使用单目相机可直接对采集到的图像进行检测，之后对目标进行距离的测量，避免图像融合等步骤，还降低了造价，有利于其在智能车上得到推广应用。
[0012]2、本专利技术利用通过车牌检测网络将车牌的形状检测出来，再通过透视变换的原理估计相机的角度，从而获得更加精确的相机俯视角度。
[0013]3、本专利技术在对目标检测网络在训练时，通过将实时测量的测距结果作为约束，使其进一步满足几何测距原理成像点的要求，增加测距结果的精确度。
附图说明
[0014]图1为本专利技术实施例中一种基于自适应目标检测网络与车牌检测的单目测距方法的流程图；
[0015]图2为本专利技术实施例中相机成像几何关系示意图；
[0016]图3为本专利技术实施例中计算出目标距离后可视化示意图；
[0017]图4为本专利技术实施例中一种基于自适应目标检测网络与车牌检测的单目测距系统的结构框图。
具体实施方式
[0018]本专利技术提供了一种基于自适应目标检测网络与车牌检测的单目测距方法，可直接对采集到的图像进行检测，并对目标进行距离的测量，避免图像融合等步骤，降低了造价。
[0019]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0020]实施例一
[0021]如图1所示，本专利技术实施例提供的一种基于自适应目标检测网络与车牌检测的单目测距方法，包括下述步骤：
[0022]步骤S1：利用相机获取车辆的前视交通图像，使用车牌检测算法识别前视交通图像中的车牌形状，通过透视变换原理得到相机的俯视角γ；
[0023]步骤S2：将前视交通图像输入目标检测网络，得到预测目标检测框的下沿中心点P，利用γ和P，预测得到目标距离；
[0024]步骤S3：利用目标距离和真实距离构建损失函数，用于训练目标检测网络。
[0025]在一个实施例中，上述步骤S1：利用相机获取车辆的前视交通图像，使用车牌检测算法识别前视交通图像中的车牌形状；通过透视变换原理得到相机的俯视角γ，具体包括：
[0026]步骤S11：使用车牌检测网络对前视交通图像中车牌进行识别并获得车牌形状；
[0027]使用已经训练好的车牌检测网络，输入车载相机所获取的前视交通图像，识别得到前视交通图像中车辆的车牌形状；
[0028]步骤S12：根据车牌形状的四个角的四组点计算透视变换矩阵H，根据H获取相机的俯视角γ。
[0029]根据车牌形状从而取四组点算出透视变换矩阵H，如图2所示，图中A是车牌所在的
平面，而B是与相机相平面平行的平面，车牌检测网络的作用就是检测出车牌在相机中的像素坐标，通常是梯形。
[0030]从图上可知，该梯形底边与矩形的车牌长边长度相等，由于车牌的长宽比是已知的，可以通过该比例求出矩形车牌在B平面上的矩形像素坐标。通过该方法收集到四对对应点，并通过四点对应法计算出B平面在A平面像素坐标下的透视变换矩阵H。获得A与B平面之间的透视变换矩阵H后，设现实空间中同一个点在A与B上的像点分别为x
A
与x
B
，如公式(1)所示：
[0031][0032]其中，K
B
与K
A
分别是两个平面相机对应的内参矩阵；
[0033]由于两个内参矩阵K
B
与K
A
，以及透视变换矩阵H都是已知参数，可以计算出正交矩阵R，R的第三行就是B平面对应的相机在世界坐标系(也就是A平面对应的相机的坐标系)中指向正前方的主轴的单位向量。由此可获得A与B平面的夹角。根据几何关系，A与B的夹角即是相机与水平面的俯视角γ。
[0034]在一个实施例中，上述步骤S2：将前视交通图像输入目标检测网络，得到预测目标检测框的下沿中心点P，利用γ和P，预测得到目标距离，具体包括：
[0035]将前视交通图像输入预训练好权重的目标检测网络YOLOv4，用对前视交通图进行检测，输出预测目标检测框，令预测目标检测框下沿的中心点为P，根据公式(2)，预测得到相机与P的目标距离O3P：
[0036][0037]其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应目标检测网络与车牌检测的单目测距方法，其特征在于，包括：步骤S1：利用相机获取车辆的前视交通图像，使用车牌检测算法识别所述前视交通图像中的车牌形状，通过透视变换原理得到所述相机的俯视角γ；步骤S2：将所述前视交通图像输入目标检测网络，得到预测目标检测框的下沿中心点P，利用γ和P，预测得到目标距离；步骤S3：利用所述目标距离和真实距离构建损失函数，用于训练所述目标检测网络。2.根据权利要求1所述的基于自适应目标检测网络与车牌检测的单目测距方法，其特征在于，所述步骤S1：利用相机获取车辆的前视交通图像，使用车牌检测算法识别所述前视交通图像中的车牌形状；通过透视变换原理得到所述相机的俯视角γ，具体包括：步骤S11：使用车牌检测网络对所述前视交通图像中车牌进行识别并获得车牌形状；步骤S12：根据所述车牌形状的四个角的四组点计算透视变换矩阵H，根据H获取相机的俯视角γ。3.根据权利要求1所述的基于自适应目标检测网络与车牌检测的单目测距方法，其特征在于，所述步骤S2：将所述前视交通图像输入目标检测网络，得到预测目标检测框的下沿中心点P，利用γ和P，预测得到目标距离，具体包括：将所述前视交通图像输入目标检测网络，输出预测目标检测框，令所述预测目标检测框的下沿中心点为P，根据公式(2)，预测得到所述相机与P的目标距离O3P：其中，γ是相机与地面的俯视角,Heigh...

【专利技术属性】
技术研发人员：凌强，查易鑫，李峰，许永华，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：