基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法技术

本发明专利技术公开了基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法，该方法将视频序列分为模糊视频序列和非模糊视频序列，针对模糊视频序列使用“去模糊算法”进行去模糊，在获得清晰的视频序列图像后，使用检测器、数据关联、跟踪器实现多目标的跟踪。本发明专利技术针对因车体抖动等导致相机采集到的图像模糊的情况，实现了无人驾驶车辆采集的模糊视频序列的处理和多目标跟踪，其实现方法简便，手段灵活，能有效解决抖动导致的多目标跟踪效果变差的问题，提高多目标跟踪的准确率。提高多目标跟踪的准确率。提高多目标跟踪的准确率。

【技术实现步骤摘要】
基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法


[0001]本专利技术涉及计算机网络
，尤其涉及一种基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法。

技术介绍

[0002]无人驾驶车辆在运动过程中的跟踪问题是一大难题。优秀的跟踪算法需要对前方的障碍物，尤其是行人和车辆有较好的检测和跟踪效果，准确判断其行为意图，从而进行合理的路径规划。多目标跟踪通过在视频序列中检测运动目标，并在不同帧中将这些目标一一对应，给出不同目标的运动轨迹，预测其短期运动趋势，并判断其行为意图。这些目标可以是任意的，行人、车辆或动物等。多目标跟踪的结果则可用于无人驾驶车辆进行避障策略的制定和动态路径的规划。
[0003]目前的多目标跟踪算法几乎都未考虑采集到的图像是否清晰无模糊。而现实中如果行驶路面不平使得车体抖动，会导致相机采集到的图片产生运动模糊。模糊的图像会使得跟踪算法的性能大幅降低，导致某些危险目标未能及时被发现，也无法对已检测到的目标实现较好的跟踪。这对无人驾驶车辆的稳定性和安全性而言是非常致命的。因而如何处理因为运动导致的图像模糊，是无人驾驶车辆多目标跟踪中一个亟待解决的问题。

技术实现思路

[0004]本专利技术的目的在于针对现有的无人驾驶车辆多目标跟踪中的图像模糊问题，提供了一种基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种基于生成对抗网络的抗模糊的无人驾驶车辆多目标跟踪方法，包括以下步骤：
[0006]步骤一：使用无人驾驶车辆车载摄像设备采集路况视频序列。
[0007]步骤二：使用模糊图片检测方法检测步骤一采集视频序列中的图像是否是模糊图像，如果是清晰图像直接进行步骤四，如果是模糊图像进行步骤三。
[0008]步骤三：对步骤二中模糊图像使用去模糊生成对抗方法去除模糊图像的模糊，使模糊图像变清晰。
[0009]步骤四：对步骤二和步骤三得到的清晰图像使用YOLO(you only look once，基于单个神经网络的目标检测算法)检测每帧图像中出现的目标，确定多目标跟踪算法所需跟踪的主要目标。
[0010]步骤五：针对步骤四中跟踪的主要目标，使用重识别模型和匈牙利算法实现数据关联。将当前检测到的目标和历史的目标轨迹进行关联，得到完整的目标轨迹。
[0011]步骤六：使用卡尔曼滤波器作为跟踪器，估计当前目标在下一帧的位置，作为目标跟踪的先验信息，并将预测位置和检测器检测位置融合作为输出，用于平滑轨迹，实现目标跟踪任务。
[0012]进一步地，所述步骤二通过以下子步骤实现：
[0013](2.1)灰度化及拉普拉斯算子滤波：将RGB彩色图像转为灰度图像，并利用拉普拉斯算子进行滤波，实现图像的预处理。
[0014](2.2)方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差大于阈值200时，即判断图像为非模糊图像。
[0015](2.3)结合上帧图像防止误判：若上一帧图像是模糊的，则当当前帧图像和上一帧图像的方差比值大于阈值5时，即判断图像为非模糊图像；若上一图像是非模糊的，则当前帧图像和上一帧图像的方差比值大于阈值0.3时，即判断图像为非模糊图像。其他情况均为模糊图像。
[0016]进一步地，所述步骤三通过以下子步骤实现：
[0017](3.1)构建去模糊生成对抗网络。构建生成器网络：构建去模糊生成对抗网络。构建生成器网络：基于超分辨率重建深度网络进行网络结构的设计，通过卷积操作模拟迭代拟合残差的步骤，对清晰图像进行逼近，改进后的神经网络由2个卷积层和9个块组成，每个块由2个串联的3
×
3卷积层、归一化层、线性整流函数组成。构建鉴别器网络：使用基于条件生成对抗网络的图像翻译算法中区域生成对抗网络实现鉴别器网络的设计，区域生成对抗网络将生成对抗网络鉴别器换成了全卷积网络，将输入映射为N
×
N的矩阵X，X
ij
的值代表每个矩阵为真样本的概率，求平均值即为鉴别器最终输出。
[0018](3.2)确定去模糊生成对抗网络损失函数，对抗损失函数L
all
包括四部分，分别是条件生成对抗网络损失函数L
cGAN
、误差平方和损失函数L2、结构相似度损失函数L
ssim
、感知损失函数L
perceptual
，k
n
(n＝1,2,3)是相应的超参。
[0019]L
all
＝L
cGAN
+(k1)L2+(k2)L
ssim
+(k3)L
perceptual
[0020]条件生成对抗网络损失函数：
[0021][0022]其中G代表生成器，D代表鉴别器，E(*)代表分布函数的期望值，x代表模糊图像，y代表清晰图像，z代表噪声，P
data
(*)代表样本的分布，使用交叉熵损失函数作为条件生成对抗网络损失函数。
[0023]结构相似度损失函数SSIM(x,y)：
[0024][0025]SSIM(x,y)可以看做两个方面的乘积，图像照明度相似度L(x,y)、图像对比度相似度c(x,y)。
[0026][0027][0028]其中μ
x
和σ
x
代表去模糊后图像的均值和方差，μ
y
和σ
y
代表原始清晰图的均值和方差,，σ
xy
为两者协方差，C1和C2是用来稳定的常数。对于三通道的RGB图，先对其每个通道的值取平均，然后再计算局部的均值和方差。相应的结构损失L
ssim
为：
[0029]L
ssim
＝1-SSIM(x,y)
[0030]感知损失函数L
perceptual
：
[0031][0032]C
j
、W
j
和H
j
是网络第j个特征图的通道数、宽度和高度。φ
j
是网络对应第j个卷积层的输出。G(I
B
)是生成器由输入的模糊图得到的输出，I
S
是对应的清晰图，I
B
是对应的模糊图。
[0033](3.3)训练去模糊生成对抗网络。训练时网络卷积核取3
×
3，batch取8，生成器和判别器的初始学习率均为0.01，使用ADAM优化，在两块GTX1080Ti显卡上进行训练。网络训练流程如下：
[0034]初始化：初始化学习率ρ
G
,ρ
D
为0.01及损失函数权重k
n
(n＝1,2,3)
[0035]更新生成器G：从训练集中采样N个样本，(x,y)＝(x1,y1),
…
，(x
N
,y
N
)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法，其特征在于，包括以下步骤：步骤一：使用无人驾驶车辆车载摄像设备采集路况视频序列。步骤二：使用模糊图片检测方法检测步骤一采集的路况视频序列中的图像是模糊图像还是模糊图像，如果是清晰图像直接进行步骤四，如果是模糊图像进行步骤三。步骤三：对步骤二中模糊图像使用去模糊生成对抗方法去除模糊图像的模糊，使模糊图像变清晰。步骤四：对步骤二和步骤三得到的清晰图像使用基于单个神经网络的目标检测算法检测每帧图像中出现的目标，确定多目标跟踪所需跟踪的主要目标。步骤五：针对步骤四中跟踪的主要目标，使用重识别模型和匈牙利算法实现数据关联。将当前检测到的目标和历史的目标轨迹进行关联，得到完整的目标轨迹。步骤六：使用卡尔曼滤波器作为跟踪器，估计当前目标在下一帧的位置，作为目标跟踪的先验信息，并将预测位置和检测器检测位置融合作为输出，用于平滑轨迹，实现目标跟踪任务。2.根据权利要求1所述的抗模糊无人驾驶车辆多目标跟踪方法，其特征在于，所述步骤二通过以下子步骤来实现：(2.1)灰度化及拉普拉斯算子滤波：将RGB彩色图像转为灰度图像，并利用拉普拉斯算子进行滤波，实现图像的预处理。(2.2)方差计算：图像模糊程度越严重图像方差越低，清晰图像方差较高，当方差大于阈值200时，即判断图像为非模糊图像。(2.3)结合上帧图像防止误判：若上一帧图像是模糊的，则当当前帧图像和上一帧图像的方差比值大于阈值5时，即判断图像为非模糊图像；若上一图像是非模糊的，则当前帧图像和上一帧图像的方差比值大于阈值0.3时，即判断图像为非模糊图像。其他情况均为模糊图像。3.根据权利要求1所述的抗模糊无人驾驶车辆目标跟踪方法，其特征在于，所述步骤三通过以下子步骤来实现：(3.1)构建去模糊生成对抗网络。构建生成器网络：基于超分辨率重建深度网络进行网络结构的设计，通过卷积操作模拟迭代拟合残差的步骤，对清晰图像进行逼近，改进后的神经网络由2个卷积层和9个块组成，每个块由2个串联的3
×
3卷积层、归一化层、线性整流函数组成。构建鉴别器网络：使用基于条件生成对抗网络的图像翻译算法中区域生成对抗网络实现鉴别器网络的设计，区域生成对抗网络将生成对抗网络鉴别器换成了全卷积网络，将输入映射为N
×
N的矩阵X，X
ij
的值代表每个矩阵为真样本的概率，求平均值即为鉴别器最终输出。(3.2)确定去模糊生成对抗网络损失函数，对抗损失函数L
all
包括四部分，分别是条件生成对抗网络损失函数L
cGAN
、误差平方和损失函数L2、结构相似度损失函数L
ssim
、感知损失函数L
perceptual
，k
n
(n＝1，2，3)是相应的超参。L
all
＝L
cGAN
+(k1)L2+(k2)L
ssim
+(k3)L
perceptual...

【专利技术属性】
技术研发人员：梁军，马皓月，刘创，张婳，张智源，
申请(专利权)人：浙江大学，
类型：发明
国别省市：