基于孪生网络的单目标跟踪方法技术

本发明专利技术公开了基于孪生网络的单目标跟踪方法，涉及计算机视觉技术领域，包括S1获取训练样本，S2建立跟踪孪生网络和三个模板增强模块，S3训练样本导入跟踪孪生网络，S4对三个模板增强模块进行优化训练，S5优化后的三个模板增强模块分别加入到跟踪孪生网络的模板分支，S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪；进行模板更新的方法，在跟踪中可对模板进行加强，模板更能描绘目标的全貌，因此在数据集中极大的提升了效果；其次，在训练的过程中，采用序列训练对模板增强模块进行训练中，不同层的模板的变化信息得到了更好的融合，也就是本发明专利技术相较与其他基于ResNet50的算法相比，本发明专利技术利用了不同层的层次信息使得模块更能捕捉目标变化的信息。能捕捉目标变化的信息。能捕捉目标变化的信息。

【技术实现步骤摘要】
基于孪生网络的单目标跟踪方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于孪生网络的单目标跟踪方法。

技术介绍

[0002]目标跟踪是具有多种应用的计算机视觉领域的一项基本且热门的研究任务。目标跟踪任务是指给定第一帧目标位置，在后续视频帧中找到目标位置。
[0003]目标跟踪具有非常广泛的应用涉及各种领域。例如安全军工，无人驾驶，人机交互等领域。在智能交通方面，目标跟踪发挥了很大的作用，由于经济发展，如今道路众多，车辆的数量更是巨大，单靠人力来实现交通的监控与管理会有些吃力，因而智能交通系统应运而生，通过在主要道路架设摄像头，结合车辆检测和车辆的目标跟踪技术，智能交通系统可以监测和分析判断车辆行为，并输出语义信息，进而提高效率。在体育转播方面，目标跟踪计算可以帮助导播人员定位球员位置，在无人驾驶方面，无人车需要感知当前道路环境，目标跟踪技术可以帮助无人车了解周边环境，预测以后时刻目标的位置，以达到安全驾驶的目地。在人机交互方面目标跟踪可以通过跟踪手势更好地进行人机交互。目标跟踪不仅应用广泛，单目标跟踪还为其他计算机视觉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于孪生网络的单目标跟踪方法，其特征在于，包括：S1、获取训练样本；S2、基于resnet
‑
50网络建立跟踪孪生网络和三个模板增强模块，三个模板增强模板均为权重共享网络，跟踪孪生网络包括模板分支和搜索分支，模板分支和搜索分支为两个完全相同的resnet
‑
50网络，三个模板增强模块分别用于加强模板分支的第三层、第四层和第五层提取到的特征；S3、训练样本导入跟踪孪生网络获得第三层、第四层和第五层的模板，模板包括初始模板、累计模板和当前帧模板；S4、根据第三层、第四层和第五层的模板对三个模板增强模块进行优化训练；S5、优化后的三个模板增强模块分别加入到模板分支的第三层、第四层和第五层之后获得目标跟踪模型；S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪。2.根据权利要求1所述的基于孪生网络的单目标跟踪方法，其特征在于，在S3中，对初始模板和上一帧的模板进行线性加权拟合获得累积模板积模板其中φ
i
(z0)代表初始模板，φ
i
(z
t
‑1)代表上一帧的模板，z是输入图片以目标中心为中心截取的一块区域，φ
i
代表孪生网络中提取特征的网络结构，γ设置为0.0102，训练数据集中的真实值用下一帧的数据来拟合，模板增强模块是一个三输入的残差结构，模板增强模块的公式为的公式为其中是跟踪孪生网络生成的用来检测的模板，是t
‑
1时刻生成的模板，φ
i
(z
t
)是当前帧的模板也是代表当前跟踪孪生网络的生成步骤，是模块的网络结构。3.根据权利要求2所述的基于孪生网络的单目标跟踪方法，其特征在于，在S4中通过集成训练、并行训练和序列训练中任一种训练方式对三个模板增强模块进行优化训练；并行训练具体包括：第三层、第四层和第五层的模板分别对三个模板增强模块进行训练，计算每个模板增强模块的损失值，并更新每个模板增强模块的权重，计算损失值L为其中是每一层模板训练的输出，GT是跟踪孪生网络所生成的真实值，α是模板增强模块的权重，α的初始值设置为1；集成训练具体包括：第三层、第四层和第五层的模板并行一起对模板增强模块进行训练，计算模板增强模块的损失值，并更新模板增强模块的权重，计算损失值L为序列训练具体包括：第三层的模板对第一个模板增强模块进行训练，计算第一个模板增强模块的损失值，并更新第一个模板增强模块的权重，计算损失值L为其中GT是跟踪孪生网络所生成的真实值，α1是模板增强模块的权
重，α1的初始值设置为1；更新后的第一个模板增强模块作为第二个模板增强模块，第四层...

【专利技术属性】
技术研发人员：张轶，周雨馨，
申请(专利权)人：四川大学，
类型：发明
国别省市：