一种基于单目深度估计的车辆周围障碍物预警方法技术

本发明专利技术公开了一种基于单目深度估计的车辆周围障碍物预警方法，包括：(1)获取图像数据，在图像数据中生成训练所需的像素标签、深度图标签以及3D目标标签，构成训练数据集；(2)建立基于单目深度估计的3D目标检测模型；(3)利用训练数据集对3D目标检测模型进行训练；(4)在进行障碍物预警过程中，使用训练优化得到的3D目标检测模型来检测连续帧的障碍物；(5)构建追踪模型，使用匈牙利最大匹配算法来追踪连续帧中相互对应的障碍物；(6)建立障碍物空间位置和速度相关的卡尔曼滤波模型，通过滤波算法，最终得到追踪障碍物的空间位置信息并判断是否有碰撞危险。利用本发明专利技术，能够在节约成本的前提下提高车辆障碍物预警的精度。约成本的前提下提高车辆障碍物预警的精度。约成本的前提下提高车辆障碍物预警的精度。

【技术实现步骤摘要】
一种基于单目深度估计的车辆周围障碍物预警方法


[0001]本专利技术属于计算机视觉中的3D目标检测领域，尤其是涉及一种基于单目深度估计的车辆周围障碍物预警方法。

技术介绍

[0002]车辆智能化使得辅助驾驶功能成为中高端车型必不可少的功能。为保障行车安全，车辆周围障碍物检测并预警驾驶员成为辅助驾驶功能的核心功能之一。障碍物预警系统通过计算障碍物与本车的相对距离和速度关系来判断是否会发生安全事故并及时提醒驾驶员规避危险。
[0003]为获取车前障碍物的状态信息，Kunsoo Hu等在1999年的American control conference上的文章《An experimental investigation of a CW/CA system for automobiles using hardware
‑
in
‑
the
‑
loop simulations》利用采样离散化方法获得离散的毫米波雷达测量系统方程,并使用二阶卡尔曼滤波器对包括目标车辆距离和相对速度在内的系统状态进行最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目深度估计的车辆周围障碍物预警方法，其特征在于，包括以下步骤：(1)获取图像数据，所述图像数据中包含相机标定参数以及与图像同帧的点云数据；在图像数据中生成训练所需的像素标签、深度图标签以及3D目标标签，构成训练数据集；(2)建立基于单目深度估计的3D目标检测模型；(3)利用训练数据集对3D目标检测模型进行训练和测试，最终得到训练优化后的3D目标检测模型；(4)在进行障碍物预警过程中，使用训练优化得到的3D目标检测模型来检测连续帧的障碍物；(5)构建追踪模型，使用匈牙利最大匹配算法来追踪连续帧中相互对应的障碍物；(6)建立障碍物空间位置和速度相关的卡尔曼滤波模型，通过滤波算法，最终得到追踪障碍物的空间位置信息并以此为距离基准来判断是否有碰撞危险。2.根据权利要求1所述的基于单目深度估计的车辆周围障碍物预警方法，其特征在于，步骤(1)中，使用相机标定参数以及与图像同帧的点云数据计算出在相机坐标系下的点云数据对应像素点的深度z值，将该z值作为像素深度真值；其中，对于未匹配到点云的像素点深度值默认设置为0，以此得到单目图像的深度图标签。3.根据权利要求1所述的基于单目深度估计的车辆周围障碍物预警方法，其特征在于，步骤(2)中，所述的3D目标检测模型中，使用DenseNet121作为图像特征提取的Backbone，使用BTS深度估计模型在提取到的图像特征的基础上预测每个像素点的深度值；与此同时，在提取到的图像特征的基础上用一个感兴趣像素提案模块来生成感兴趣像素集；最后使用简化后的单阶段3D检测头，以感兴趣像素生成的伪激光点为输入，输出回归得到的障碍物的3D空间位置、大小及类别。4.根据权利要求1所述的基于单目深度估计的车辆周围障碍物预警方法，其特征在于，步骤(3)中，利用训练数据集对3D目标检测模型进行训练的过程如下：(3
‑
1)对训练数据集进行随机打乱，然后对图像、像素标签、3D标签和深度图标签同时按以50％的随机水平翻转做数据增强；(3
‑
2)将训练数据集以预先设定好的BatchSize大小的图片数目输入3D目标检测网络，通过与BTS深度估计模型对应的网络深度回归头预测每个像素点的深度值，通过与感兴趣像素提案模块对应的感兴趣区域模块生成那些最可能是障碍物的感兴趣像素点；(3
‑
3)将上述感兴趣像素点及其深度值作为输入，通过相机标定参数转化为其对应的空间坐标点；将生成得到的空间坐标点输入到与3D目标检测头对应的3D回归头中回归障碍物的空间位置和大小并预测其类别，在训练3D目标检测头的过程中，尽可能缩小有深度真值的像素点与预测深度之间的欧式距离及像素感兴趣类别及其预测值之间的欧式距离，与此同时尽可能减少障碍物空间位置、大小及类别与预测值之间的欧式距离；(3
‑
4)重复步骤(3

【专利技术属性】
技术研发人员：辛海同，蔡登，
申请(专利权)人：浙江大学，
类型：发明
国别省市：