一种基于图像输入的近场车辆加塞行为预测方法技术

本发明专利技术涉及一种基于图像输入的近场车辆加塞行为预测方法，该方法包括：(1)采集真实的结构化道路场景中基于前向全景图像的图像序列信息，通过人工方法标注图像序列中车辆目标的位置以及行为信息；(2)构建适用于结构化道路中近场车辆检测与跟踪的近场车辆检测与跟踪模型；(3)构建适用于结构化道路中车道线检测的车道线检测网络及相应的损失函数；(4)基于步骤(2)建立的近场车辆检测与跟踪模型获得的车辆ID与对应目标的边界框位置数据、以及步骤(3)建立的车道线检测网络获得的车道线，获得目标与车道线的相对位置偏差，根据先验规则的制定，得到近场车辆的加塞行为预测结果。与现有技术相比，本发明专利技术预测准确度高，效率高。效率高。效率高。

A near-field vehicle congestion prediction method based on image input

【技术实现步骤摘要】
一种基于图像输入的近场车辆加塞行为预测方法


[0001]本专利技术涉及智能驾驶
，尤其是涉及一种基于图像输入的近场车辆加塞行为预测方法。

技术介绍

[0002]行为预测属于基于行为识别的进一步发展，而作为计算机视觉领域的基本任务之一，近些年随着深度学习技术的火热发展，行为预测算法也存在制定先验规则的算法以及基于深度神经网络的端到端预测技术。行为识别与预测的方法从最初的基于物理运动特征的方法发展到基于视觉视频输入的SlowFast网络、基于双模态输入动作识别网络TSN以及基于膨胀三维卷积(I3D)的3D卷积神经网络，涌现出许多好的算法技术，这些算法在开放的人类行为识别数据集上的检测效果和性能都很出色，但是针对近场车辆加塞行为预测任务，在实际应用中存在以下缺点：
[0003]其一，现有的公开数据集中，缺少针对近场车辆加塞行为预测的自车辆(Ego Vehicle)视角数据集，与目标检测数据集相比，在数据的采集、标注中存在很多困难，限制了该技术的进一步发展；
[0004]其二，双模态输入技术中，光流属于手工制作特征，与RGB输入分别训练，不能实现端到端的训练，系统的准确率也有待提高，同时复杂的算法降低系统运行的实时性；
[0005]其三，基于LiDAR的方法硬件成本和使用维护成本较高，同时目前缺少以前向全景图像视频为输入的自车辆(Ego Vehicle)视角行为预测方法。
[0006]其四，基于深度学习的端到端的方法，存在训练模型的泛化性不好、具体原理不清晰、以及对于移动端的硬件要求较高等问题，较难在实际场景中快速落地。

技术实现思路

[0007]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图像输入的近场车辆加塞行为预测方法，其能够以一段时间内车载高清相机提供的前向全景图像视频数据作为输入，利用基于图像输入的目标检测跟踪算法得到自车辆(Ego Vehicle)视角下的前向目标车辆感兴趣区域的感知和跟踪，再对感兴趣区域基于制定先验规则的算法进行行为预测，在保证推理速度的前提下，大大降低了实际部署的软硬件成本，最终得到对临近车辆加塞行为较为准确的预测，为智能驾驶系统规避风险提供了充足的时间，提升了智能驾驶系统整体的安全性。
[0008]本专利技术的目的可以通过以下技术方案来实现：
[0009]一种基于图像输入的近场车辆加塞行为预测方法，该方法包括：
[0010](1)采集真实的结构化道路场景中基于前向全景图像的图像序列信息，通过人工方法标注图像序列中车辆目标的位置以及行为信息；
[0011](2)构建适用于结构化道路中近场车辆检测与跟踪的近场车辆检测与跟踪模型；
[0012](3)构建适用于结构化道路中车道线检测的车道线检测网络及相应的损失函数；
[0013](4)基于步骤(2)建立的近场车辆检测与跟踪模型获得的车辆ID与对应目标的边界框位置数据、以及步骤(3)建立的车道线检测网络获得的车道线，获得目标与车道线的相对位置偏差，根据先验规则的制定，得到近场车辆的加塞行为预测结果。
[0014]优选地，步骤(1)具体包括：
[0015](11)对摄像头的内外参进行标定，其中外参包括旋转矩阵R和平移向量T，内参包括内参矩阵K，以及相机畸变系数；
[0016](12)利用装有摄像头的数据采集车在真实道路场景中采集视频数据，并记录采集时图像内车辆目标的类别；
[0017](13)利用标注工具对采集到的视频数据进行标注，标注方式包含车辆目标跟踪ID标注、车辆目标类别标注、目标物体边界框标注、车辆加塞开始、车辆越过车道线中点以及车辆完成加塞行为的关键帧标注、车辆加塞行为类别标注，标注内容至少需要包含近场车辆的位置、关键帧以及加塞行为类别信息。
[0018]优选地，步骤(2)具体包括：
[0019](21)构建基于改进的Yolov5的近场车辆目标检测网络，将输入的视频切片作为图像时间序列输入至近场车辆目标检测网络，经过多层卷积与下采样操作，对输入的图像信息进行特征提取与特征编码，得到将图片划分好的多维特征张量；
[0020](22)构建分类网络，采用非极大抑制操作，最终得到各个目标的位置信息与分类置信度信息，包括对象的分类概率和定位概率；
[0021](23)构建基于改进的Deep
‑
SORT的近场车辆目标跟踪网络，将目标检测得到的目标物体边界框信息以及分类信息作为输入，对视频中多个对象同时定位与追踪并记录ID和轨迹信息，尤其是在有遮挡的条件下减少对象ID的变换，输出目标车辆的跟踪ID、目标类别以及目标物体边界框信息。
[0022]优选地，步骤(3)具体包括：
[0023](31)构建基于卷积神经网络的车道线特征提取骨干网络，基于浅层残差连接网络输出特征，通过使用较大的感受野，在保证检测效果的同时提高模型的推理速度；
[0024](32)构建车道线语义分割网络，在网络训练时将多尺度特征上采样到同一尺度，并经过转置卷积，计算语义分割损失，增强骨干网络的视觉特征抽取能力，最终得到增强的基于残差连接的车道线检测骨干网络；
[0025](33)将骨干网络抽取的特征，根据先验指定的图片纵向候选锚框，在全局范围内通过分类器计算候选点，最终得到自车辆所在车道的车道线位置节点；
[0026](34)构建车道线检测网络的损失函数，包括多分类损失、分割损失以及车道结构化损失。
[0027]优选地，所述的车道线检测网络的损失函数表示为L
total
：
[0028]L
total
＝L
cls
+L
seg
+ηL
lane
[0029]L
cls
为多分类损失、L
seg
为分割损失，L
lane
为车道结构化损失，η为超参数。
[0030]优选地，所述的多分类损失L
cls
表示为：
[0031][0032]其中，L
CE
(
·
)表示交叉熵损失函数，P
i，j，：
表示针对第i个车道线、第j个横向锚框的所有(w+1)个车道线单元预测结果，T
i，j，：
表示针对第i个车道线、第j个横向锚框的所有(w+1)个车道线单元真实分布，c
i，j，：
表示P
i，j，：
与T
i，j，：
的相似度，C与h分别代表车道线类数与车道纵向锚点数，γ与α为超参数。
[0033]优选地，所述的车道结构化损失L
lane
表示为：
[0034]L
lane
＝L
sim
+λ
Lshp
[0035][0036][0037]其中，L
sim
为相似度损失，L
shp
为形状损失，λ为表示损失权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，该方法包括：(1)采集真实的结构化道路场景中基于前向全景图像的图像序列信息，通过人工方法标注图像序列中车辆目标的位置以及行为信息；(2)构建适用于结构化道路中近场车辆检测与跟踪的近场车辆检测与跟踪模型；(3)构建适用于结构化道路中车道线检测的车道线检测网络及相应的损失函数；(4)基于步骤(2)建立的近场车辆检测与跟踪模型获得的车辆ID与对应目标的边界框位置数据、以及步骤(3)建立的车道线检测网络获得的车道线，获得目标与车道线的相对位置偏差，根据先验规则的制定，得到近场车辆的加塞行为预测结果。2.根据权利要求1所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，步骤(1)具体包括：(11)对摄像头的内外参进行标定，其中外参包括旋转矩阵R和平移向量T，内参包括内参矩阵K，以及相机畸变系数；(12)利用装有摄像头的数据采集车在真实道路场景中采集视频数据，并记录采集时图像内车辆目标的类别；(13)利用标注工具对采集到的视频数据进行标注，标注方式包含车辆目标跟踪ID标注、车辆目标类别标注、目标物体边界框标注、车辆加塞开始、车辆越过车道线中点以及车辆完成加塞行为的关键帧标注、车辆加塞行为类别标注，标注内容至少需要包含近场车辆的位置、关键帧以及加塞行为类别信息。3.根据权利要求1所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，步骤(2)具体包括：(21)构建基于改进的Yolov5的近场车辆目标检测网络，将输入的视频切片作为图像时间序列输入至近场车辆目标检测网络，经过多层卷积与下采样操作，对输入的图像信息进行特征提取与特征编码，得到将图片划分好的多维特征张量；(22)构建分类网络，采用非极大抑制操作，最终得到各个目标的位置信息与分类置信度信息，包括对象的分类概率和定位概率；(23)构建基于改进的Deep
‑
SORT的近场车辆目标跟踪网络，将目标检测得到的目标物体边界框信息以及分类信息作为输入，对视频中多个对象同时定位与追踪并记录ID和轨迹信息，尤其是在有遮挡的条件下减少对象ID的变换，输出目标车辆的跟踪ID、目标类别以及目标物体边界框信息。4.根据权利要求1所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，步骤(3)具体包括：(31)构建基于卷积神经网络的车道线特征提取骨干网络，基于浅层残差连接网络输出特征，通过使用较大的感受野，在保证检测效果的同时提高模型的推理速度；(32)构建车道线语义分割网络，在网络训练时将多尺度特征上采样到同一尺度，并经过转置卷积，计算语义分割损失，增强骨干网络的视觉特征抽取能力，最终得到增强的基于残差连接的车道线检测骨干网络；(33)将骨干网络抽取的特征，根据先验指定的图片纵向候选锚框，在全局范围内通过分类器计算候选点，最终得到自车辆所在车道的车道线位置节点；(34)构建车道线检测网络的损失函数，包括多分类损失、分割损失以及车道结构化损
失。5.根据权利要求4所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，所述的车道线检测网络的损失函数表示为L

【专利技术属性】
技术研发人员：陈广，边疆，瞿三清，钟志华，
申请(专利权)人：同济大学，
类型：发明
国别省市：