一种多目标跟踪方法技术

本发明专利技术提供了一种多目标跟踪方法，属于计算机视觉技术领域。具体步骤是：建立数据集，对数据集中的样本进行数据增强；建立多目标跟踪网络模型，该多目标跟踪网络模型的输入为当前帧图像，前一帧图像及前一帧的热力图，输出为视频中所要跟踪对象的两种热力图、待跟踪目标的帧间偏移预测、特征向量以及目标框的宽高，测试时根据预测对象在热力图中的位置输出对应区域的特征向量。本发明专利技术利用一个网络有效提取出跟踪对象的特征，同时使用轨迹预测跟踪目标的位置，从而有效的保持了对目标的识别能力，保证跟踪的准确率，同时提升了网络计算的并行度，大大简化了训练过程。大大简化了训练过程。大大简化了训练过程。

【技术实现步骤摘要】
一种多目标跟踪方法


[0001]本专利技术属于计算机视觉
，具体涉及一种多目标跟踪方法。

技术介绍

[0002]多目标跟踪是计算机视觉技术中十分重要的一部分，其目标是在一段视频中正确跟踪所需跟踪的多个目标(例如人、车等等)。
[0003]目前多目标跟踪算法大体框架相似，采用先检测，后计算亲密度，最后进行数据关联的方法，而一个高性能的多目标跟踪算法通常需要选取适当的目标外观特征和设计一个鲁棒的视觉外观模型以得到较好的检测效果，再采取一种合理的更新机制使得跟踪器在跟踪过程中适应目标和背景的变化。
[0004]目前多目标跟踪算法可以大致分为在线跟踪方法和离线跟踪方法。在线跟踪方法的思路是按照图像序列一步步进行处理，根据当前给出的信息进行轨迹跟踪而不会用到未来的信息。离线跟踪方法则利用一组帧来处理数据，所有帧的观测目标需要提前获取，经过分析计算得到最后的输出。在线跟踪方法与离线跟踪方法最大的不同在于没有使用未来帧的信息，所以普遍来说虽然离线跟踪方法的性能要优于在线跟踪方法，但是在线跟踪的实用性更强，相对价值更高，而在线跟踪方法最新的发展就是基于深度学习和滤波等算法结合的方法。但是在线跟踪算法在跟踪目标被遮挡时都会出现将遮挡后的目标重新当作一个新目标进行跟踪，这很显然会对跟踪的精度有所影响。

技术实现思路

[0005]为解决现有技术中的缺陷，本专利技术公开一种精度更高、且能实现长期记忆的的多目标跟踪方法。
[0006]一种多目标跟踪网络模型的训练方法，包括：
[0007]获取数据集，所述数据集包括至少一段视频，视频按帧数分为多张图片，将每张图片作为训练样本，每张图片的所需识别目标均有标签，并对训练样本进行预处理；
[0008]将作为训练样本的预处理后的图片输入预先建立好的多目标跟踪网络模型进行训练，直到模型损失函数对应的损失函数值达到设定要求时停止训练，得到训练好的多目标跟踪网络模型。
[0009]进一步的，所述数据集包括训练集和测试集，训练集包括PD和KITTI联合数据集，测试集包括KITTI数据集。
[0010]进一步的，所述对训练样本进行预处理的方法包括：将作为训练样本的图片进行翻转，对图片进行翻转的同时对图片内所需跟踪目标的坐标进行翻转处理。
[0011]进一步的，将作为训练样本的预处理后的图片输入预先建立好的多目标跟踪网络模型进行训练，包括：
[0012]将训练样本输入预先建立好的多目标跟踪网络模型，所述训练样本包括一端视频中像素为1280
×
384
×
3的当前帧图片、上一帧有遮挡热力图片以及上一帧图片；
[0013]训练样本分别经过不同的16组7
×
7的卷积核，并进行对应位置相加操作，得到第一特征图；
[0014]将第一特征图输入特征提取网络块，进行采样，输出像素为320
×
96
×
64的第二特征图；
[0015]对第二特征图进行多分支特征提取，输出跟踪目标的多种特征图。
[0016]进一步的，所述将第一特征图输入特征提取网络块，进行采样，包括将第一特征图经过stride为2的卷积模块共4次，进行16倍下采样，再通过反卷积进行升采样2次，进行4倍的上采样，输出像素为320
×
96
×
64的第二特征图。
[0017]进一步的，所述对第二特征图进行多分支特征提取，包括：
[0018]提取特征向量，对第二特征图中的每一个像素点生成一个对应的特征向量，生成320
×
96个128维的特征向量，形成特征向量池；
[0019]和/或，提取跟踪目标的有遮挡热力图；
[0020]和/或，提取跟踪目标的无遮挡热力图；
[0021]和/或，提取跟踪目标当前帧相对于上一帧的偏移量，用于预测目标相邻两帧之间的位移，并与热力图相互配合从而实现遮挡轨迹的预测；
[0022]和/或，提取跟踪目标边界框的大小，用于最后显示时方便人眼观看。
[0023]进一步的，训练时，根据当前帧输入图片和前一帧输入图片的处理结果提取特征向量，利用softmax方式进行计算得分；
[0024]根据有遮挡热力图提取指定的特征向量并与特征向量池中各个特征向量进行对比，结合轨迹预测对此帧目标位置进行评分，获得最高得分；
[0025]对两个得分进行相加操作，得到特征向量与特征向量池中的匹配值，并通过匈牙利算法实现匹配。
[0026]进一步的，所述损失函数的函数值计算方法包括：
[0027]L＝L
iv
+L
v
+θ
off
L
off
+θ
id
L
id
+θ
t
L
t
[0028]其中，L
iv
是有遮挡热力图的损失函数值，L
v
是无遮挡热力图的损失函数值，两者损失函数的计算方法相同；L
off
为边界框的偏移损失函数，L
id
为特征向量损失函数；L
t
为帧间距离预测损失函数；θ
off
、θ
id
和θ
t
分别为L
off
、L
id
和L
t
的权重；
[0029]其中L
v
的计算方法包括：
[0030][0031][0032]式中，(C
x
，C
y
)为目标框的中心点，H
xy
为热力图上点(x，y)的响应，α和β都是可设置的参数；
[0033]计算偏移损失函数：
[0034][0035]式中，wh＝(w，h)为边界框的gt长宽，off＝(w％4，h％4)，为采样中丢失的部分偏移；whp是网络预测的wh结果，offp是网络预测的off结果；
[0036]计算特征向量损失函数：
[0037][0038]式中，通过one
‑
hot方式进行编码，GTID为编码出的特征向量，PID为根据热力图选出的向量；
[0039]计算帧间距离预测损失函数：
[0040][0041]式中，t为视频中图片的帧数；P
t
为帧间距离预测的第t帧的偏移向量；G
t
为第t帧的同一个对象的位置；G
t
‑1为第t
‑
1帧的同一个对象的位置。
[0042]本专利技术第二个目的是提供一种多目标跟踪方法，包括：
[0043]获取待跟踪目标的视频，视频按帧数分为多张图片，将每张图片作为训练样本，每张图片的所需识别目标均有标签，并对其进行预处理；
[0044]将预处理后的图片输入经权利要求1
‑
7任一所述基于长期记忆的多目标跟踪网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪网络模型的训练方法，其特征在于，包括：获取数据集，所述数据集包括至少一段视频，视频按帧数分为多张图片，将每张图片作为训练样本，每张图片的所需识别目标均有标签，并对训练样本进行预处理；将作为训练样本的预处理后的图片输入预先建立好的多目标跟踪网络模型进行训练，直到模型损失函数对应的损失函数值达到设定要求时停止训练，通过挑选训练轮次中效果较好的模型得到训练好的多目标跟踪网络模型。2.根据权利要求1所述的多目标跟踪网络模型的训练方法，其特征在于，所述数据集包括训练集和测试集，训练集包括PD和KITTI联合数据集，测试集包括KITTI数据集。3.根据权利要求1所述的多目标跟踪网络模型的训练方法，其特征在于，所述对训练样本进行预处理的方法包括：将作为训练样本的图片进行翻转，对图片进行翻转的同时对图片内所需跟踪目标的坐标进行翻转处理。4.根据权利要求1所述的多目标跟踪网络模型的训练方法，其特征在于，将作为训练样本的预处理后的图片输入预先建立好的多目标跟踪网络模型进行训练，包括：将训练样本输入预先建立好的多目标跟踪网络模型，所述训练样本包括一端视频中像素为1280
×
384
×
3的当前帧图片、上一帧有遮挡热力图片以及上一帧图片；训练样本分别经过不同的16组7
×
7的卷积核，并进行对应位置相加操作，得到第一特征图；将第一特征图输入特征提取网络块，进行采样，输出像素为320
×
96
×
64的第二特征图；对第二特征图进行多分支特征提取，输出跟踪目标的多种特征图。5.根据权利要求4所述的多目标跟踪网络模型的训练方法，其特征在于，所述将第一特征图输入特征提取网络块，进行采样，包括将第一特征图经过stride为2的卷积模块共4次，进行16倍下采样，再通过反卷积进行升采样2次，进行4倍的上采样，输出像素为320
×
96
×
64的第二特征图。6.根据权利要求4所述的多目标跟踪网络模型的训练方法，其特征在于，所述对第二特征图进行多分支特征提取，包括：提取特征向量，对第二特征图中的每一个像素点生成一个对应的特征向量，生成320
×
96个128维的特征向量，形成特征向量池；和/或，提取跟踪目标的有遮挡热力图；和/或，提取跟踪目标的无遮挡热力图；和/或，提取跟踪目标当前帧相对于上一帧的偏移量，用于预测目标相邻两帧之间的位移，并与热力图相互配合从而实现遮挡轨迹的预测；和/或，提取跟踪目标边界框的大小，用于最后显示时方便人眼观看。7.根据权利要求6所述的多目标跟踪网络模型的训练方法，其特征在于，训练时，根据当前帧输入图片和前一帧输入图片的处理结果提取特征向量，利用sof...

【专利技术属性】
技术研发人员：陈昊文，梁天柱，
申请(专利权)人：昆山市工业技术研究院有限责任公司，
类型：发明
国别省市：