结合模板更新与轨迹预测的孪生网络目标跟踪方法技术

本发明专利技术公开了结合模板更新与轨迹预测的孪生网络目标跟踪方法，包括：通过预处理后的数据集离线训练得到目标跟踪模型，当前帧通过目标跟踪模型提取图像特征，将其与模板图像进行比对，从而确定下一帧待跟踪目标在图像中的位置信息，在整个目标跟踪过程中，对于模板图像进行在线更新，持续迭代更新模板图像特征，同时根据历史帧中目标运动位置变化信息，利用卡尔曼滤波方法进行轨迹预测，实现对于单目标的稳定跟踪。的稳定跟踪。的稳定跟踪。

【技术实现步骤摘要】
结合模板更新与轨迹预测的孪生网络目标跟踪方法


[0001]本专利技术属于目标跟踪方法
，涉及结合模板更新与轨迹预测的孪生网络目标跟踪方法。

技术介绍

[0002]目标跟踪作为计算机视觉领域的一个重要分支，在自动驾驶、人机交互、智能交通等方面获得了越来越广泛的应用。目标跟踪技术旨在通过跟踪过程获得目标的实时位置、运动轨迹、运动速度以及加速度等相关参数，并以此为基础进行高级视觉任务分析，从而实现对目标行为的理解。现有的目标跟踪方法根据观察模型的不同可以分为生成式方法和判别式方法。生成式方法只关注目标本身，而判别式方法则将目标周围的背景区域也作为关注对象进行针对性训练，因此判别式方法可以更好的处理目标周围环境较为复杂的场景。近年来深度学习的发展，使得基于深度学习的判别式目标跟踪算法取得了显著成就。以孪生网络结构为基础的目标跟踪算法是典型的基于深度学习的判别式目标跟踪方法，孪生网络指基于两个人工神经网络建立的耦合构架，Bertinetto等人提出的全卷积孪生网络(Fully
‑
Convolutional Siamese Networks，SiamFC)是使用双支路孪生网络结构处理目标跟踪问题的开山之作，其通过利用两个结构完全相同的全卷积网络来提取目标区域和搜索区域的特征，并计算两者之间的相似度，其中相似度最高的位置作为预测的目标位置，后续大批优秀的框架都以该结构为基础进行优化和改进。Valmadre等人提出非对称孪生网络，将神经网络与相关滤波相结合。Guo等人提出动态孪生网络，在线学习跟踪目标的外观变化并进行背景抑制。Choi等人提出注意力相关滤波网络，将注意力机制引入了跟踪框架。Yuan等人提出抗遮挡跟踪算法，从残差神经网络(Residual Neural Network，ResNet)的不同层中提取目标特征以生成响应图，并引入遮挡检测策略来避免模型漂移。
[0003]但以上目标跟踪算法仍存在以下缺点，限制了算法的性能：1)孪生网络往往使用离线训练的方式，没有充分利用在线跟踪信息，并且这些方法始终以第一帧选取的目标作为模板图像，在后续目标发生形变、颜色或光照发生变化时，不能很好地识别目标，缺乏对模板图像的更新迭代。2)孪生网络是通过模板图像和搜索图像互相关进行目标的定位，没有利用跟踪过程中的目标轨迹信息，对于快速运动或者被遮挡的目标不能较好地进行稳定跟踪。

技术实现思路

[0004]本专利技术的目的是提供一种结合模板更新与轨迹预测的孪生网络目标跟踪方法，解决了现有技术中存在的目标跟踪稳定性差问题。
[0005]本专利技术所采用的技术方案是，结合模板更新与轨迹预测的孪生网络目标跟踪方法，包括：
[0006]步骤1、建立目标跟踪模型，目标跟踪模型包括特征提取分支、正负样本分类分支及位置信息回归分支；
[0007]步骤2、框选初始帧图像x0目标边界框，在初始帧图像x0目标边界框的中心位置裁剪得到模板图像，并进行模板图像的特征提取，得到模板图像特征；
[0008]步骤3、初始化卡尔曼滤波器，将初始帧图像x0目标边界框的中心位置输入卡尔曼滤波器，预测得到下一帧图像x
t,t＝1
…
n
目标中心位置；
[0009]步骤4、获取下一帧图像x
t
，根据前一帧图像x
t
‑1目标边界框的中心位置和当前帧图像x
t
目标中心位置融合出当前帧图像x
t
的目标搜索中心位置，在目标搜索中心位置裁剪得到搜索图像，对搜索图像进行特征提取，得到搜索图像特征；
[0010]步骤5、将模板图像特征与搜索图像特征进行互相关操作，得到响应图；将响应图分输入目标跟踪模型中得到当前帧图像x
t
的分类图和回归图，利用余弦窗和尺度变化惩罚平滑目标运动，然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息，得到当前帧图像x
t
预测的目标边界框；
[0011]步骤6、根据响应图判断是否需要进行模板图像更新；若需要，则在当前帧图像x
t
预测的目标边界框的中心位置裁剪得到模板图像，并提取模板图像特征，更新模板图像特征；否则不进行更新；
[0012]步骤7、获取当前帧图像x
t
预测的目标边界框信息，将其转化为图像的位置和尺度信息，输入卡尔曼滤波器，预测得到下一帧图像x
t+1
中目标的轨迹位置，并确定下一帧图像x
t+1
目标中心位置；若跟踪完成，结束跟踪；否则进行下一步；
[0013]步骤8、令t＝t+1，重复步骤4
‑
7，直至跟踪完成。
[0014]本专利技术的特点还在于：
[0015]步骤1中建立目标跟踪模型过程包括：
[0016]获取训练数据集，对训练数据集进行预处理，将预处理后的训练数据集输入目标跟模型中，分别进行正负样本的分类训练、位置信息的回归训练，目标跟踪模型的损失函数为L＝L
cls
+L
reg
；
[0017]其中，分类损失函数
[0018]上式中，N为样本总数量，y
i
为样本i的标签，正样本为1，负样本为0，p
i
为样本i预测为正样本的概率；
[0019]回归损失函数定义为L
reg
＝1
‑
IoU；
[0020]上式中，|A∩B|表示预测目标边界框与实际目标边界框的交集，|A∪B|表示预测目标边界框与实际目标边界框的并集。
[0021]预处理方法为：将训练数据集中的图片进行裁剪，同时进行数据增强处理。
[0022]步骤6中通过APCE对响应图进行判断：
[0023][0024]上式中，F
max
、F
min
及F
w,h
分别代表响应图中的最大值、最小值及位于(w,h)坐标处的值。
[0025]步骤6中更新模板图像特征的公式为：
[0026][0027]上式中，η为模板图像的更新步长，β1和β2分别为判断APCE和F
max
是否进行更新的比例阈值，APCE
avg
、分别为历史平均APCE值、历史平均F
max
值。
[0028]本专利技术的有益效果是：本专利技术的结合模板更新与轨迹预测的孪生网络目标跟踪方法，通过对跟踪过程中的模板图像进行实时在线更新迭代，时刻关注目标的形状和外观的变化，持续维持模板图像的有效性，提高了现有基于孪生网络的目标跟踪方法对于目标发生形变、颜色或者光照发生变化时的目标跟踪性能；在目标跟踪过程中引入卡尔曼轨迹预测方法，收集跟踪过程中目标位置信息并进行轨迹预测，通过预测目标中心点，从而确定待搜索区域，有效地利用了跟踪过程中目标的轨迹信息，进一步解决了目标被遮挡或者快速移动的问题，提高了目标跟踪准确率和精确率。
附图说明
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.结合模板更新与轨迹预测的孪生网络目标跟踪方法，其特征在于，包括以下步骤：步骤1、建立目标跟踪模型，所述目标跟踪模型包括特征提取分支、正负样本分类分支及位置信息回归分支；步骤2、框选初始帧图像x0目标边界框，在所述初始帧图像x0目标边界框的中心位置裁剪得到模板图像，并进行模板图像的特征提取，得到模板图像特征；步骤3、初始化卡尔曼滤波器，将所述初始帧图像x0目标边界框的中心位置输入卡尔曼滤波器，预测得到下一帧图像x
t,t＝1
…
n
目标中心位置；步骤4、获取下一帧图像x
t
，根据前一帧图像x
t
‑1目标边界框的中心位置和当前帧图像x
t
目标中心位置融合出当前帧图像x
t
的目标搜索中心位置，在所述目标搜索中心位置裁剪得到搜索图像，对所述搜索图像进行特征提取，得到搜索图像特征；步骤5、将所述模板图像特征与搜索图像特征进行互相关操作，得到响应图；将所述响应图分输入目标跟踪模型中得到当前帧图像x
t
的分类图和回归图，利用余弦窗和尺度变化惩罚平滑目标运动，然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息，预测得到当前帧图像x
t
目标边界框；步骤6、根据所述响应图判断是否需要进行模板图像更新；若需要，则在当前帧图像x
t
目标边界框的中心位置裁剪得到模板图像，并提取模板图像特征，更新模板图像特征；否则不进行更新；步骤7、获取所述当前帧图像x
t
目标边界框信息，将其转化为图像的位置和尺度信息，输入卡尔曼滤波器，预测得到下一帧图像x
t+1
中目标的轨迹位置，并确定下一帧图像x
t+1
目标中心位置；若跟踪完成，结束跟踪；否则进行下...

【专利技术属性】
技术研发人员：贺王鹏，胡德顺，周悦，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：