基于非局部特征融合和在线更新的目标跟踪方法及系统技术方案

本发明专利技术公开了基于非局部特征融合和在线更新的目标跟踪方法及系统，该方法包括如下步骤：获取视频序列，将视频第一帧作为模板图像，当前帧作为待搜索图像；将模板图像和待搜索图像输入至离线训练好的Siamese网络中，分别提取模板图像和待搜索图像的高层次特征和低层次特征；通过非特征金字塔模块融合低层次特征和高层次特征提取目标模板特征和目标待搜索区域特征；将目标待搜索区域特征和目标模板特征进行匹配，得到初始目标跟踪结果；根据初始目标跟踪结果的平均峰值相关能量和最大响应变化判断是否满足阈值条件，若不满足则对目标模板特征模板进行更新，得到目标跟踪结果。得到目标跟踪结果。得到目标跟踪结果。

【技术实现步骤摘要】
基于非局部特征融合和在线更新的目标跟踪方法及系统


[0001]本专利技术属于计算机视觉和图像处理
，尤其涉及基于非局部特征融合和在线更新的目标跟踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]目标跟踪的基本流程是获取视频第一帧中目标的位置信息，在后续帧中对目标持续进行定位，跟踪器在跟踪目标期间，可能会遇到各种问题，比如目标出现形变、遮挡和消失等，还有一些外界变化对跟踪的目标也产生极大的影响，如光照变化、背景杂乱等，这对跟踪器的稳定性有着极大的挑战。
[0004]传统的目标跟踪算法通常采用判别式和生成式模型对目标进行建模，经典的算法包括KCF，SCM等。自2012年AlexNet在图像分类领域取得了令人瞩目的成绩后，深度学习也得到了广泛的关注。在此之后，深度学习被广泛的应用到了目标检测和目标跟踪领域，在此之后基于分类网络和孪生网络的目标跟踪方法被不断提出。
[0005]由于孪生网络简单高效的特性在目标跟踪领域受到了广泛的关注。Bertinet本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于非局部特征融合和在线更新的目标跟踪方法，其特征在于，包括如下步骤：获取视频序列，将视频第一帧作为模板图像，当前帧作为待搜索图像；将模板图像和待搜索图像输入至离线训练好的Siamese网络中，分别提取模板图像和待搜索图像的高层次特征和低层次特征；通过非特征金字塔模块融合低层次特征和高层次特征提取目标模板特征和目标待搜索区域特征；将目标待搜索区域特征和目标模板特征进行匹配，得到初始目标跟踪结果；根据初始目标跟踪结果的平均峰值相关能量和最大响应变化判断是否满足阈值条件，若不满足则对目标模板特征模板进行更新，得到目标跟踪结果。2.如权利要求1所述的基于非局部特征融合和在线更新的目标跟踪方法，其特征在于，所述通过非特征金字塔模块融合低层次特征和高层次特征包括：所述Siamese网络的后两层输出高层次特征和低层次特征；其中，倒数第二层输出低层次特征，倒数第一层输出高层次特征，将高层次特征和低层次特征输入到非局部特征金字塔模块，将非特征金字塔模块输出的特征与最后一层的高特征进行矩阵拼接。3.如权利要求1所述的基于非局部特征融合和在线更新的目标跟踪方法，其特征在于，所述Siamese网络离线训练时采用的损失函数为：L＝log(1+e
‑
λf
)其中，λ∈{
‑
1,+1}表示ground
‑
truth标签，f表示一对模板匹配的实际得分。4.如权利要求1所述的基于非局部特征融合和在线更新的目标跟踪方法，其特征在于，目标模板特征获取之前，采用包围盒将模板图像上目标等比例缩小映射到特征图的对应位置。5.如权利要求2所述的基于非局部特征融合和在线更新的目标跟踪方法，其特征在于，在初始目标跟踪结果输出后，使用相似性函数计算模板图像和待搜索图像的特征图的相似度得分，具体为：其中，F(
·
)为预测的置信度得分，Ratio()为将包围盒等比例缩小映射到特征图中，表示实际误差，表示每个网络的卷积特征嵌入，z表示模板图...

【专利技术属性】
技术研发人员：李爱民，刘腾，刘笑含，周福珍，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：