一种基于深度神经网络的多目标追踪算法制造技术

本发明专利技术公开了一种基于深度神经网络的多目标追踪算法，首先设计一个基于孪生网络实现的单目标追踪器，通过该网络对已确定的目标在此帧图像中进行相似性度量，得到上一帧图像上的各个目标在此帧上的位置预测；接着利用深度卷积神经网络在此帧图像上进行目标检测；最后，将得到的追踪预测图像和检测得到的行人图像进行关联匹配，可以利用余弦相似度和面积重叠的方式，来提高追踪的准确率。本发明专利技术首先介绍基于全卷积孪生网络设计的单目标追踪器，主要利用孪生网络相似性度量的思想，在待追踪区域中为各个目标搜索最相似的目标。再利用匹配算法对各个检测目标和各个追踪候选目标进行匹配。最后实验表明该理论具有可行性并展示了实验结果。

【技术实现步骤摘要】
一种基于深度神经网络的多目标追踪算法
本专利技术具体涉及一种基于深度神经网络的多目标追踪算法。
技术介绍
为了更好地进行行人识别，需要提取完整的行人特征，因此加入追踪模块获取行人的视频序列。随着计算机视觉领域的不断发展，多目标追踪算法被应用到越来越多的场景中。多目标追踪主要可以分为在线方式的追踪和离线方式的追踪。在线追踪是按顺序逐帧追踪，而离线追踪是对每个目标的状态进行估计，然后考虑整体状态的合理性约束。离线追踪可以简化为：获得每帧图像的检测结果，把检测结果和已有的追踪轨迹进行关联，获得多目标追踪的轨迹结果。追踪问题是在视频的第一帧中确定一个目标，然后在后续的帧中进行追踪。由于目标是随机选择的，所以无法训练一个特定的目标追踪器进行追踪。一般的目标追踪器都是以在线的形式学习一个目标的表观模型。例如TLD，Struck，KCF，MIL和MOSSE。常见的追踪算法一般不考虑目标的检测。针对上述问题，本专利技术中提出训练一种基于全卷积孪生网络的单目标追踪器和基于深度卷积神经网络的目标检测器，将得到的检测目标和追踪预测的候选目标利用余弦相本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的多目标追踪算法，其特征在于：包括如下操作：首先设计一个基于孪生网络的单目标追踪器，通过该网络对已确定的目标在下一帧图像中进行相似性度量，得到上一帧图像上的各个目标在此帧图像上的位置预测；接着利用深度卷积神经网络在此帧图像上进行目标检测；最后，将得到的追踪预测图像和检测得到的行人图像进行关联匹配，可以利用余弦相似度和面积重叠的方式，来提高追踪的准确率。/n

【技术特征摘要】
1.一种基于深度神经网络的多目标追踪算法，其特征在于：包括如下操作：首先设计一个基于孪生网络的单目标追踪器，通过该网络对已确定的目标在下一帧图像中进行相似性度量，得到上一帧图像上的各个目标在此帧图像上的位置预测；接着利用深度卷积神经网络在此帧图像上进行目标检测；最后，将得到的追踪预测图像和检测得到的行人图像进行关联匹配，可以利用余弦相似度和面积重叠的方式，来提高追踪的准确率。


2.根据权利要求1所述的基于深度神经网络的多目标追踪算法，其特征在于：依据前一帧图像上追踪的目标，使用孪生网络在此帧图像上预测各个追踪目标的问题，并通过和此帧图像上目标检测的多个结果进行比对，为每个目标找到最相似的目标，实现多目标的追踪。


3.根据权利要求1所述的基于深度神经网络的多目标追踪算法，其特征在于：孪生网络就是“连体神经网络”，神经网络的“连体”通过共享权值来实现，孪生网络就是衡量两个输入的相似度；孪生神经网络分别将两个输入映射到新的空间，得到输入在新的空间中的表示，通过损失计算，评价两个输入的相似度；
基于孪生网络的单目标追踪是在模板图像z和此帧图像x的搜索区域A、B(这些搜索区域在上一帧图像中的目标附近)间找到最相似的区域；模板图像和搜索区域通过映射到特征空间，是使用神经网络实现的一个特征映射；输入目标图像经过映射后的特征大小为6×6×128，同理，孪生网络下支路得到的特征大小为22×22×128；为了得到搜索区域的特征位置，将得到的孪生网络上支路的6×6×128的特征作为下支路的卷积核，对下支路的22×22×128的特征进行特征卷积；最后得到大小为17×17×1的scoremap分数图，该图代表各个位置与模板之间的相似度分数；算法是用来比较搜索区域与目标之间的相似度，这种方法类似于相关性滤波思想，孪生网络利用特征充当卷积，并在卷积结果中找到最大相似位置；
全卷积网络与候选图像的大小无关，它将计算所有的搜索窗口x与z的相似性，算法使用卷积嵌入函数和互相关组合得到结果，公式如下：



式(1)中，b表示在每个位置的取值；
将输入的图像大小转化为127×127的大小，将候选图像转化为255×255的大小，变动区间为p，比例因子s使面积保持不变，通过公式不断调...

【专利技术属性】
技术研发人员：邵叶秦，吕昌，唐宇亮，蒋雯，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32