一种基于路端单目相机的交通流要素感知与定位方法及其应用技术

本发明专利技术公开了一种基于路端单目相机的交通流要素感知与定位方法及其应用，属于自动驾驶交通环境感知技术领域。该方法及其应用中，均充分利用道路单目相机的位姿固定的优势，在道路局部坐标系中确定一个透视变换转换矩阵，然后根据透视变换转换矩阵计算出交通流要素局部坐标定位。整个处理过程仅依靠纯图像处理技术完成。与现有的利用在智能车端部署多目相机或相机融合激光雷达的感知方式相比，本发明专利技术仅依靠路端单目相机与交通流要素的几何信息便可完成对交通流要素的轨迹和姿态等信息感知，具有成本低、实时性强等优点。实时性强等优点。实时性强等优点。

【技术实现步骤摘要】
一种基于路端单目相机的交通流要素感知与定位方法及其应用


[0001]本专利技术涉及自动驾驶交通环境感知
，具体涉及一种基于路端单目相机的交通流要素感知与定位方法及其应用。

技术介绍

[0002]交通环境感知作为自动驾驶发展的关键技术之一，是未来保障智能网联汽车安全高效通行的重要支撑。目前常采用的交通环境感知方式主要是智能车通过激光雷达数据与视觉数据融合处理来完成对交通流目标的精准定位。但激光雷达成本高、实时性相对单独相机感知而言更差，对于道路场景交通流要素的感知范围受限，导致智能网联汽车不能及时获取道路实时全要素交通流数据，难以保障实时路径规划和安全通行需求。因此，利用图像处理实现一种高精度、高效率的交通流要素目标位姿感知技术对于智能网联汽车安全通行的现实需求至关重要。

技术实现思路

[0003]本专利技术的目的在于提供一种基于路端单目相机的交通流要素感知与定位方法，在满足精度需求的前提下，克服了激光雷达与视觉融合实现定位带来的成本高、实时性差等问题。
[0004]为实现上述目的，本专利技术采用如下技术方案：
[0005]一种基于路端单目相机的交通流要素感知与定位方法，包括以下步骤：
[0006]步骤1、建立当前道路局部坐标系：以道路长度方向为Y轴、宽度方向为X轴，建立道路局部坐标系，利用高精定位记录该坐标系原点的经纬度坐标；
[0007]步骤2、确定透视变换转换矩阵：在当前道路范围内，确定出一个四边形的定位范围，并将该范围作为识别跟踪和定位的目标区域，然后采集目标区域各角点的像素坐标及其对应的物理坐标，求取像素坐标到物理坐标变换的透视变换矩阵；
[0008]提取交通流要素像素信息：对目标进行识别，根据实际范围对目标识别结果进行掩模处理，并将处理的结果作为多目标跟踪的输入，完成道路范围内多目标跟踪，以得到目标跟踪框底部中间点像素信息；
[0009]步骤3、基于透视变换的交通流要素局部坐标定位：根据步骤2得到的目标跟踪框底部中间点像素信息和透视变换矩阵，计算出交通流要素的局部物理坐标；根据步骤1的原点经纬度坐标，计算出当前局部物理坐标对应的交通流要素对应的经纬度坐标。
[0010]进一步的，为获得最优精确度，所述四边形为矩形，角点为矩形的四个顶点。
[0011]一种基于路端单目相机的交通流要素感知与定位方法，其在车辆跟踪定位中的应用过程如下：
[0012]步骤S1、车辆长度、宽度关系建模：选取多种常见的小型车辆长度和宽度，建模为车辆长度和宽度的函数；
[0013]步骤S2、目标车辆长度和宽度估计：利用图像坐标与物理坐标的对应关系，根据上述基于路端单目相机的交通流要素感知与定位方法，分别计算出目标车辆跟踪框底部A点、B点局部物理坐标；根据A、B点的局部物理坐标完成目标车辆的宽度估计，利用步骤S1得到的车辆长度和宽度的函数估算出目标车辆长度；
[0014]步骤S3、目标车辆高度估计：根据相机光轴与道路面平行关系，确定出相机与目标车辆的几何位置关系；将目标车辆模型近似处理为长方体，结合步骤S2计算所得到的目标车辆长度，以及相机与目标车辆的几何位置关系，根据相机成像原理计算出目标车辆实际的成像物体高度，通过相似三角形计算出目标车辆实际高度；
[0015]步骤S4、目标车辆偏航角信息估计：基于车辆成像整体宽度与车辆偏航角的对应关系利用步骤S2计算得到的A点、B点的局部物理坐标，对车辆整体成像宽度进行估计，反推得到偏航角信息；
[0016]步骤S5、基于步骤S4得到的偏航角信息对目标车辆中心位置进行定位修正，即可得到精确的目标车辆定位信息。
[0017]进一步的，所述步骤S5还可以根据目标车辆与道路之间的几何位置关系实现目标车辆定位估计修正；具体为：
[0018]步骤S5.1、从提取的车辆信息中找出目标车辆跟踪框的十字中心点，利用目标车辆跟踪框的十字中心点像素对应透视变换后的局部物理坐标估计目标车辆的实际位置；
[0019]步骤S5.2根据目标车辆跟踪框十字中心点对应的局部物理坐标和目标车辆实际的中心点坐标之间的几何关系完成对车辆的定位估计修正。
[0020]本专利技术提供的一种基于路端单目相机的交通流要素感知与定位方法，充分利用道路单目相机的位姿固定的优势，在道路局部坐标系中根据像素位置和局部坐标的对应关系确定一个透视变换转换矩阵，然后根据透视变换转换矩阵计算出交通流要素局部坐标定位，整个处理过程仅依靠纯图像处理技术完成。与现有的利用在智能车端部署多目相机或相机融合激光雷达的感知方式相比，本专利技术仅依靠路端单目相机与交通流要素的几何信息便可完成对交通流要素的轨迹和姿态等信息感知，具有成本低、实时性强等优点。
附图说明
[0021]图1为路侧定位区域选取；
[0022]图2为本专利技术基于路端单目相机的交通流要素感知与定位方法的框图；
[0023]图3为实施例车辆长宽关系建模；
[0024]图4为实施例车辆宽度估计示意图；
[0025]图5为实施例相机与车辆之间几何关系图；
[0026]图6为实施例车辆整体宽度估计；
[0027]图7为实施例实际成像宽度与车辆的偏航角关系；
[0028]图8为实施例基于宽度的定位修正方法示意图；
[0029]图9为实施例基于高度修正的方法示意图。
具体实施方式
[0030]下面结合附图和实施例对本专利技术作进一步说明。
[0031]如图2所示，本专利技术提供的一种基于路端单目相机的交通流要素感知与定位方法，包括以下步骤：
[0032]步骤1、建立当前道路局部坐标系：以道路长度方向为Y轴，宽度方向为X轴建立道路局部坐标系，利用高精定位记录该坐标系原点的经纬度坐标。
[0033]步骤2、确定透视变换转换矩阵：如图所示，在当前道路范围内，先确定出一个四边形的定位范围，并将该范围作为识别跟踪和定位的目标区域，然后采集目标区域各角点的像素坐标以及其对应的物理坐标，求取像素坐标到物理坐标变换的透视变换矩阵。
[0034]同时，通过深度学习Yolov5图像识别技术对道路交通流要素进行分类提取，然后根据道路实际范围对目标识别结果进行掩模处理，并将处理的结果作为DeepSort多目标跟踪的输入，完成道路范围内多目标跟踪，以得到该区域内目标跟踪框底部中间点像素信息。
[0035]步骤3、基于透视变换的交通流要素局部坐标定位：根据步骤2得到的目标跟踪框底部中间点像素信息和透视变换矩阵计算出交通流要素的局部物理坐标；再根据步骤1的原点经纬度坐标计算出当前局部物理坐标对应的交通流要素对应的经纬度坐标。
[0036]从上述描述中不难发现，本实施基于路端单目相机的交通流要素感知与定位方法充分利用了单目相机的位姿固定的优势，仅依靠纯图像处理技术就能完成交通流要素的感知与定位，具有成本低、实时性强等优势。
[0037]针对上述方法，本实施还提供了其在车辆跟踪定位中的应用，具体应用过程如下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于路端单目相机的交通流要素感知与定位方法，其特征在于：包括以下步骤：步骤1、建立当前道路局部坐标系：以道路长度方向为Y轴、宽度方向为X轴，建立道路局部坐标系，利用高精定位记录该坐标系原点的经纬度坐标；步骤2、确定透视变换转换矩阵：在当前道路范围内，确定出一个四边形的定位范围，并将该范围作为识别跟踪和定位的目标区域，然后采集目标区域各角点的像素坐标及其对应的物理坐标，求取像素坐标到物理坐标变换的透视变换矩阵；提取交通流要素像素信息：对目标进行识别，根据实际范围对目标识别结果进行掩模处理，并将处理的结果作为多目标跟踪的输入，完成道路范围内多目标跟踪，以得到目标跟踪框底部中间点像素信息；步骤3、基于透视变换的交通流要素局部坐标定位：根据步骤2得到的目标跟踪框底部中间点像素信息和透视变换矩阵，计算出交通流要素的局部物理坐标；根据步骤1的原点经纬度坐标，计算出当前局部物理坐标对应的交通流要素对应的经纬度坐标。2.根据权利要求1所述的一种基于路端单目相机的交通流要素感知与定位方法，其特征在于：为获得最优精确度，所述四边形为矩形，角点为矩形的四个顶点。3.根据权利要求1所述的基于路端单目相机的交通流要素感知与定位方法的应用，其特征在于：步骤S1、车辆长度、宽度关系建模：选取多种常见的小型车辆长度和宽度，建模为车辆长度和宽度的函数；步骤S2、目标车辆长度和宽度估计：利用...

【专利技术属性】
技术研发人员：李曙光，罗钟林，赵洋，胡杰瑞，孔召权，程洪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：