孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法技术

本发明专利技术公开了一种孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法，属于视频跟踪技术领域，其包括确定视频序列中图像的总帧数，根据初始帧图像确定被跟踪目标,将视频序列分为前后两部分，分别采用不同的模板更新方法，都考虑了初始模板和当前模板，对于帧数较少的前部分还考虑了初始模板和当前模板之间的其余模板构成的累计模板，充分利用了以前帧图像的历史信息，而对于帧数较多的后部分则选用了峰距率大的可信模板，摒弃了累计模板中的噪音信息，增强了更新模板的可信度，提高目标跟踪的准确度。目标跟踪的准确度。目标跟踪的准确度。

【技术实现步骤摘要】
孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法


[0001]本专利技术属于视频跟踪
，具体涉及一种孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法。

技术介绍

[0002]目标跟踪是计算机视觉的前沿课题，在自动驾驶、监控、行人检测和无人机等领域被广泛应用。近期，基于孪生网络的跟踪方法取得了巨大的进步，其核心思想是把目标跟踪任务转化为相似度匹配任务：以视频初始帧中的目标作为模板，以视频后续帧作为搜索帧，对模板特征和搜索特征进行互相关计算，得到响应图，从响应图的峰值信息中便可以得出目标的位置信息。
[0003]现有的孪生网络跟踪方法，仅以第一帧的目标作为模板，难以应对目标在复杂场景下的外观变化，从而丢失目标的位置。为了使跟踪器适应目标变化，提高跟踪的准确性，Zhang,L.等人提出了一种基于孪生网络具有自适应更新模板功能的视觉跟踪方法UpdateNet。UpdateNet通过学习模板更新函数实现对模板的自适应更新，极大的提高了跟踪性能。虽然上述跟踪方法考虑了每一帧的真值模板，提供了可靠的历史信息，但当遇到相似目标干扰、尺度变换等挑战时，仍会导致模型漂移，使目标跟踪失去鲁棒性和准确性。
[0004]因此，如何提高目标跟踪的准确性，仍是本领域技术人员需要努力攻克的技术难题。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法，将目标模板更新分为两部分，既充分利用图像的历史信息，又摒弃噪音信息，提高视频跟踪的准确度。
[0006]为解决上述技术问题，本专利技术的技术方案是：设计一种孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法，其特征在于：包括以下步骤：
[0007](1)读取待跟踪的视频序列，确定视频序列中图像的总帧数K；
[0008](2)获取步骤(1)视频序列中的初始帧图像，根据初始帧图像确定被跟踪目标,获得跟踪目标在初始帧图像中的目标框，以目标框中心为中心放大w倍，作为下一帧图像的搜索框；
[0009](3)通过卷积神经网络分别提取步骤(1)视频序列中各帧图像的图像特征，构成各自图像的特征图，各帧图像的特征图构成各自图像的模板，由各帧图像的特征图对应生成各自的响应图，由响应图计算峰距率；其中，初始帧图像的特征图作为初始模板，并作为下一帧图像的目标模板；
[0010](4)读取第t帧图像，t为大于1的自然数，根据第t帧的目标模板确定目标在本帧搜索框中的位置，得到目标在第t帧图像中目标框，完成第t帧图像的目标跟踪；第t帧图像的
模板为当前模板，以目标框中心为中心放大w倍，作为下一帧图像的搜索框；
[0011](5)判断步骤(4)中t是否大于m，m为设定的自然数，
[0012]t≤m时，将初始模板、累积模板与和当前模板输入深度学习模型进行模板更新,将更新的模板作为第t+1帧图像的目标模板；累积模板为初始模板与当前模板之间的模板；
[0013]t＞m时，将m帧图像按峰距率由大到小排列，m帧图像的帧数所在区间为[t
‑
m
‑
1，t
‑
1]，选择前n帧图像对应的各自模板为局部最优模板，n为小于m的自然数，局部最优模板根据各自的自适应权重进行融合，得到自适应融合模板，将自适应融合模板与当前模板输入深度学习模型进行模板更新，将更新的模板作为第t+1帧图像的目标模板；
[0014](6)步骤(5)后，计算t＝t+1，判断t是否小于K，小于则重复步骤(4)，否则完成目标跟踪。
[0015]进一步的，步骤(3)中，由特征图生成响应图的具体方法为：
[0016][0017]R
t
为第t帧图像的响应图，b1为神经网络模型的随机量，＊为卷积运算互相关操作，为初始帧图像的特征图，为第t帧图像的特征图。
[0018]进一步的，步骤(3)中，由响应图计算峰距率的方法为：
[0019][0020]PRR
t
为第t帧图像的峰距率，R
t
为第t帧的响应图，max(R
t
)表示R
t
的最大值，min(R
t
)表示R
t
的最小值。
[0021]进一步的，步骤(5)中，自适应权重的确定方法为：
[0022][0023][0024]ω
t
为当前模板的自适应权重，ω
j
为局部最优模板的自适应权重，为局部可信模板中第j个模板对应的峰距率。
[0025]进一步的，步骤(5)中，自适应融合模板的获得方法为：
[0026][0027]表示自适应融合模板，T
t
为当前模板。
[0028]进一步的，步骤(5)中，
[0029]t≤m时，深度学习更新方法为：
[0030][0031]t＞m时，深度学习更新方法为：
[0032][0033]T
t+1
为深度学习后得到的模板，模板φ为深度学习函数，为初始模板。
[0034]进一步的，步骤(2)中，根据groundtruth确定初始帧图像中的被跟踪目标。
[0035]进一步的，步骤(5)中，0.2K≤m≤0.6K。
[0036]进一步的，步骤(5)中，0.4m≤n≤0.8m。
[0037]进一步的，步骤(2)中，1.5≤w≤5。
[0038]与现有技术相比，本专利技术的有益效果是：
[0039]1、本专利技术通过将视频序列的追踪模板更新方法分为前后两部分，两部分都考虑了初始模板和当前模板，对于帧数较少的前部分还考虑了初始模板和当前模板之间的其余模板构成的累计模板，充分利用了以前帧图像的历史信息，而对于帧数较多的后部分则选用了峰距率大的可信模板，摒弃了累计模板中的噪音信息，增强了更新模板的可信度，提高目标跟踪的准确度。
[0040]2、使用峰距率判断模板的置信度，从而选出置信度高的局部可信模板，拥有较强历史信息的同时，摒弃了其余模板的干扰信息，当目标发生遮挡、尺度变换、较大移动时，仍能进行准确有效的目标跟踪。当跟踪出现严重遮挡时，峰距率比峰值旁瓣比更能判断模板置信度。
[0041]3、本专利技术中目标模板的更新方式克服了现有技术中更新单一或不更新的弊端，从而增强目标跟踪的精准度和成功率。
[0042]4、本专利技术构思巧妙，将目标模板更新方法划分为前后两部分，对于模板数量较少的前部分，则充分利用模板的历史信息，对于模板数量较多的后部分则选用置信度高的模板，减少更新模板中的噪音信息，共同提高目标追踪的准确度，便于在行业内推广应用。
附图说明
[0043]图1是本专利技术的视频跟踪流程图；
[0044]图2是UpdateNet算法针对S0304第158帧的跟踪结果；
[0045]图3是本专利技术方法针对S0304第158帧的跟踪结果；
[0046]图4是U本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法，其特征在于：包括以下步骤：(1)读取待跟踪的视频序列，确定视频序列中图像的总帧数K；(2)获取步骤(1)视频序列中的初始帧图像，根据初始帧图像确定被跟踪目标,获得跟踪目标在初始帧图像中的目标框，以目标框中心为中心放大w倍，作为下一帧图像的搜索框；(3)通过卷积神经网络分别提取步骤(1)视频序列中各帧图像的图像特征，构成各自图像的特征图，各帧图像的特征图作为各自图像的模板，由各帧图像的特征图对应生成各自的响应图，由响应图计算峰距率；其中，初始帧图像的特征图作为初始模板，并作为下一帧图像的目标模板；(4)读取第t帧图像，t为大于1的自然数，根据第t帧的目标模板确定目标在本帧搜索框中的位置，得到目标在第t帧图像中目标框，完成第t帧图像的目标跟踪；第t帧图像的模板为当前模板，以目标框中心为中心放大w倍，作为下一帧图像的搜索框；(5)判断步骤(4)中t是否大于m，m为设定的自然数，t≤m时，将初始模板、累积模板与和当前模板输入深度学习模型进行模板更新,将更新的模板作为第t+1帧图像的目标模板；累积模板为初始模板与当前模板之间的模板；t＞m时，将m帧图像按峰距率由大到小排列，m帧图像的帧数所在区间为[t
‑
m
‑
1，t
‑
1]，选择前n帧图像对应的各自模板为局部最优模板，n为小于m的自然数，局部最优模板根据各自的自适应权重进行融合，得到自适应融合模板，将自适应融合模板与当前模板输入深度学习模型进行模板更新，将更新的模板作为第t+1帧图像的目标模板；(6)步骤(5)后，计算t＝t+1，判断t是否小于K，小于则重复步骤(4)，否则完成目标跟踪。2.按照权利要求1所述的孪生网络基于局部可信模板进行目标模板更新的视频跟踪方法，其特征在于：步骤(3)中，由特征图生成响应图的具体方法为：R
t
为第t帧图像的响应图，b1为神经网络模型的随机量，
★
为卷积运算互相关操作，为初始帧图像的特征图，为第t帧图像的特征图。3.按照...

【专利技术属性】
技术研发人员：张斌，陈耿，杨焕海，谢青松，安志勇，宋英杰，
申请(专利权)人：山东工商学院，
类型：发明
国别省市：