一种基于深度学习的多车辆目标跟踪方法技术

本发明专利技术公开了一种基于深度学习的多车辆目标跟踪方法，考虑了目标跟踪中车辆被遮挡的情况，提出单目标追踪器与多目标跟踪器结合的跟踪框架，利用深度学习实现多车辆的目标跟踪，保证目标跟踪的实时性和准确性，解决了对前方多车辆连续跟踪时相似车辆因部分遮挡难以区分造成身份跳变及重置、目标丢失的问题，实现了车辆受遮挡和无遮挡两种情况下的多车辆目标跟踪，减少了车辆跟踪过程中的失误，保证了车辆跟踪可靠性，提升了车辆跟踪的准确率。率。率。

【技术实现步骤摘要】
一种基于深度学习的多车辆目标跟踪方法


[0001]本专利技术涉及智能汽车自动驾驶环境感知
，尤其涉及一种基于深度学习的多车辆目标跟踪方法。

技术介绍

[0002]近年来，随着人工智能技术的兴起，自动驾驶技术进入大众的视线，逐渐取得了一定的成果，成为当下汽车工程领域的前沿热点之一。
[0003]自动驾驶系统主要由三个模块组成，分别是环境感知、路径规划、决策执行。其中环境感知是首要任务，其作为自动驾驶的基础，对自动驾驶的安全性和准确性有着重要影响。环境感知是指对车辆所处道路环境进行准确感知，确定时空尺度下目标的种类、位置和运动轨迹，具体分为目标检测、目标跟踪和轨迹预测等，能够为接下来的路径规划和决策执行提供信息基础。
[0004]多车辆目标跟踪是环境感知模块中的重要组成部分，多车辆目标跟踪能够提供多个目标的多个时空点和位置的数据信息，得到各个目标的运动轨迹，同时为目标场景理解提供重要的数据信息，如行为特征分析、行为特征预测等。然而，由于高峰时段和路段交通流密集以及天气状态多样，目前道路环境复杂，多车辆目标跟踪技术是十分具有挑战性的。
[0005]在多车辆目标跟踪任务中，解决目标遮挡问题是一项重要挑战。在行驶过程中，道路周围的车辆、行人、树木都可能对目标车辆产生遮挡，尤其是高峰路段，车辆之间甚至会产生完全遮挡，发生目标消失现象。当目标受到遮挡时，跟踪框会发生漂移，跟踪失败，后续任务也会受到影响。因此，需要一种多车辆目标跟踪方法，来保障目标遮挡情况下车辆跟踪任务的稳定性和可靠性。
专利技术内容
[0006]本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的缺陷，提供一种基于深度学习的多车辆目标跟踪方法。
[0007]本专利技术为解决上述技术问题采用以下技术方案：
[0008]一种基于深度学习的多车辆目标跟踪方法，包含以下步骤：
[0009]步骤1)，获取前方M个目标车辆的检测数据，利用卷积神经网络提取M个目标车辆的外观特征；
[0010]步骤2)，根据获取的M个目标车辆的检测数据，计算出各个目标车辆的平均峰值响应APR，并采用卡尔曼滤波算法对各个目标车辆的运动状态进行预测和更新；
[0011]步骤3)，对于每一个目标车辆，将平均峰值响应APR作为置信度指标检测其受遮挡程度；
[0012]步骤4)，当目标车辆未受遮挡时，根据目标车辆的外观特征和运动状态进行跟踪；
[0013]步骤5)，当目标车辆受到遮挡时，利用孪生网络对该目标车辆进行实时单目标跟踪。
[0014]作为本专利技术一种基于深度学习的多车辆目标跟踪方法进一步的优化方案，所述步骤1)中利用卷积神经网络提取被检测车辆的外观特征的具体步骤如下：
[0015]所述卷积神经网络模型包含卷积模块、分类模块和正交模块；卷积模块包含若干条卷积支路，每条卷积支路均包含卷积层、池化层和压平层；分类模块包含拼接层和分类输出层；正交模块包含正交层和正交输出层；
[0016]步骤1.1)，确定分类损失函数；
[0017]分类模块中，神经网络中各类别的预测概率由输出层各神经元输出值的比值映射而成，即：式中，P
n,m
是分类模块中第m个神经元输出值相对于所有n个神经元输出值的比值；H
m
是分类输出层中第m个神经元的输出值；n是分类输出层的神经元总数；
[0018]分类损失函数反映各类别的预测概率与真实概率之间的偏差程度，其函数值式中，P
m
是神经网络分类输出层中第m个神经元的真实概率；
[0019]步骤1.2)，确定正交损失函数；
[0020]在卷积神经网络中，卷积层提取特征向量式中，I是输入样本；a和b分别是I的高和宽；c和d分别是卷积核的高和宽；e和r分别是卷积核在横向和纵向移动的步数；K
q
是第q层的卷积核；u
q
是第q层卷积层的偏置项；σ是激活函数；
[0021]正交层的输出为式中，O是正交层的输出值；R是任意大于1的常数；L是卷积支路的总数；
[0022]正交输出层的正交损失函数表达式为：
[0023][0024]式中，G2是正交输出层的正交损失函数值；
[0025]步骤1.3)，确定综合损失函数；
[0026]卷积神经网络模型的综合损失函数为：
[0027]G＝αG1+βG2[0028]式中，G是是神经网络模型的综合损失函数值；α和β分别是分类损失函数和正交损失函数的系数；
[0029]步骤1.4)，输入前方目标车辆的检测数据，卷积神经网络模型训练综合损失函数，由多条卷积支路提取正交性特征向量，即目标车辆的外观特征。
[0030]作为本专利技术一种基于深度学习的多车辆目标跟踪方法进一步的优化方案，所述步骤2)中的卡尔曼滤波算法具体步骤如下：
[0031]步骤2.1)，预测运动状态，估计目标跟踪框的两个状态参数，即均值和协方差；
[0032]目标跟踪框的均值x＝[cx,cy,h,k,vx,vy,vk,vh]，式中，cx和cy分别是目标跟踪框的中心点坐标；h是目标跟踪框的高；k是目标跟踪框的宽与高的比值；vx是目标跟踪框中
心点横坐标的速度变化值；vy是目标跟踪框中心点纵坐标的速度变化值；vk是目标跟踪框宽与高比值的速度变化值；vh是目标跟踪框高度的速度变化值；
[0033]对均值进行估计：x
t
＝Fx
t
‑1，式中，x
t
和x
t
‑1分别是t时刻和t
‑
1时刻目标跟踪框的均值；F为状态转移矩阵；
[0034]对协方差进行估计：Y
t
＝FY
t
‑1F
T
+M，式中，Y
t
和Y
t
‑1分别是t时刻和t
‑
1时刻目标跟踪框的协方差；M为系统噪声矩阵；
[0035]步骤2.2)，更新运动状态，更新过程如下：
[0036]Δ＝z
‑
Qx
t
‑1[0037]S＝QY
t
‑1Q
T
+N
[0038]λ＝Y
t
‑1Q
T
S
‑1[0039]x
t
＝x
t
‑1+λΔ
[0040]Y
t
＝(I
‑
λQ)Y
t
‑1[0041]式中，Δ是目标检测框与目标预测框的均值误差；z是目标检测框的均值向量；Q是测量矩阵；S是状态转移矩阵；N是检测器的噪声矩阵；λ是卡尔曼增益；I是单位矩阵。
[0042]作为本专利技术一种基于深度学习的多车辆目标跟踪方法进一步的优化方案，所述步骤3)中置信度指标APR的计算公式为：
[0043][0044]式中，J
max
、J...

【技术保护点】

【技术特征摘要】
式中，G是是神经网络模型的综合损失函数值；α和β分别是分类损失函数和正交损失函数的系数；步骤1.4)，输入前方目标车辆的检测数据，卷积神经网络模型训练综合损失函数，由多条卷积支路提取正交性特征向量，即目标车辆的外观特征。3.根据权利要求2所述的基于深度学习的多车辆目标跟踪方法，其特征在于，所述步骤2)中的卡尔曼滤波算法具体步骤如下：步骤2.1)，预测运动状态，估计目标跟踪框的两个状态参数，即均值和协方差；目标跟踪框的均值x＝[cx,cy,h,k,vx,vy,vk,vh]，式中，cx和cy分别是目标跟踪框的中心点坐标；h是目标跟踪框的高；k是目标跟踪框的宽与高的比值；vx是目标跟踪框中心点横坐标的速度变化值；vy是目标跟踪框中心点纵坐标的速度变化值；vk是目标跟踪框宽与高比值的速度变化值；vh是目标跟踪框高度的速度变化值；对均值进行估计：x
t
＝Fx
t
‑1，式中，x
t
和x
t
‑1分别是t时刻和t
‑
1时刻目标跟踪框的均值；F为状态转移矩阵；对协方差进行估计：Y
t
＝FY
t
‑1F
T
+M，式中，Y
t
和Y
t
‑1分别是t时刻和t
‑
1时刻目标跟踪框的协方差；M为系统噪声矩阵；步骤2.2)，更新运动状态，更新过程如下：Δ＝z
‑
Qx
t
‑1S＝QY
t
‑1Q
T
+Nλ＝Y
t
‑1Q
T
S
‑1x
t
＝x
t
‑1+λΔY
t
＝(I
‑
λQ)Y
t
‑1式中，Δ是目标检测框与目标预测框的均值误差；z是目标检测框的均值向量；Q是测量矩阵；S是状态转移矩阵；N是检测器的噪声矩阵；λ是卡尔曼增益；I是单位矩阵。4.根据权利要求3所述的基于深度学习的多车辆目标跟踪方法，其特征在于，所述步骤3)中置信度指标APR的计算公式为：式中，J
max
、J
min
、J
w,h
分别是目标车辆检测中大小为W
×
H的相关响应矩阵的最大值、最小值、w行h列元素；当APR波动剧烈时，目标车辆受到遮挡。5.根据权利要求4所述的基于深度学习的多车辆目标跟踪方法，其特征在于，所述步骤4)中根据目标车辆的外观特征和运动状态进行跟踪的具体步骤如下：步骤4.1)，计算目标车辆外观特征的匹配度，计算公式为式中，f
i,j
是目标车辆外观特征的匹配度；γ
j
是第j个目标检测框提取的正交性特征向量，且||γ
j
||＝1；γ
k
是任意正交性特征向量；步骤4.2)，计算目标车辆运动状态的匹配度，计算公式为g
i,j
＝(x
j
‑
x
i
)
T
Y
i
‑1(x
j
‑
x
i
)，式中，g
i,j
是目标车辆运动状态的匹配度；x
i
和x
j
分别是第i个和第j个目标检测框的均值；Y
i
是第i个目标检测框的协方差；步骤4.3)，将目标车辆外观特征和运动状态进行加权，将该目标车辆和上一周期的所
有车辆进行匹配，其表达如下：c
i,j
＝ξf
i,j
+(1
‑
ξ)g
i,j
式中，c
i,j
是目标车辆的最终匹配度；ξ是外观特征的影响因子，通过控制ξ调整外观特征和运动状态对数据关联的影响程度；步骤4.4)，当匹配度量值c
i,j
在外观特征与运动状态匹配度阈值交集内，则将目标检测框D...

【专利技术属性】
技术研发人员：曹铭纯，王春燕，赵万忠，张自宇，孟琦康，朱耀鎏，于博洋，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：