基于孪生网络的多模板视觉目标跟踪方法技术

本发明专利技术公开了一种基于孪生网络的视觉目标跟踪方法，包括选择一个现有的孪生网络跟踪器；获取当前的模板池；计算各个模板的可靠性分数并从模板池中筛选出可靠模块集合；计算可靠模块集合中各个模板的匹配性分数并筛选出处理当前帧的最佳模板；采用最佳模板进行视觉目标跟踪。本发明专利技术提供的这种基于孪生网络的视觉目标跟踪方法，不需要重新训练网络，只需要进行额外的模板选择即可实现视觉目标跟踪，同时本发明专利技术还更新模板来提高跟踪精度；因此本发明专利技术方法不仅能够实现更好的跟踪性能，而且易于实施，可靠性高，有效性好。有效性好。有效性好。

【技术实现步骤摘要】
基于孪生网络的多模板视觉目标跟踪方法


[0001]本专利技术属于机器视觉领域，具体涉及一种基于孪生网络的视觉目标跟踪方法。

技术介绍

[0002]随着经济技术的发展和人们生活水平的提高，摄像设备已经随处可见，同时机器视觉技术也已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。
[0003]视觉目标跟踪是机器视觉领域的基础技术，旨在提取视频中感兴趣目标的位置和尺度信息。近期，基于孪生网络的跟踪方法在该领域取得巨大的进步。此类方法的核心思想是把目标跟踪任务转化为相似度匹配任务：以视频初始帧中的目标作为模板，以视频后续帧作为搜索帧，分别用全卷积神经网络提取特征，最后对模板特征和搜索特征进行互相关计算，得到响应图，从响应图的峰值信息中便可以得出目标的位置信息。
[0004]然而，现有的孪生网络跟踪方法，仅以第一帧的目标作为模板，难以应对目标在复杂场景下的外观变化，从而丢失目标的位置，造成视觉目标跟踪的失败。

技术实现思路

[0005]本专利技术的目的在于提供一种可靠性高、有效性好且易于实施的基于孪生网络的视觉目标跟踪方法。
[0006]本专利技术提供的这种基于孪生网络的视觉目标跟踪方法，包括如下步骤：
[0007]S1.选择一个现有的孪生网络跟踪器；
[0008]S2.获取当前的模板池；
[0009]S3.根据步骤S2获取的模板池，计算各个模板的可靠性分数，并从模板池中筛选出可靠模板集合；
[0010]S4.计算步骤S3得到的可靠模块集合中各个模板的匹配性分数，并从可靠模块集合中筛选出处理当前帧的最佳模板；
[0011]S5.采用步骤S4得到的最佳模板进行视觉目标跟踪。
[0012]所述的基于孪生网络的视觉目标跟踪方法，还包括如下步骤：
[0013]S6.计算当前帧最终跟踪结果的联合IOU，并判定是否为新的模式；
[0014]S7.计算模板池中各个模板的当前跟踪损失以及累计跟踪损失；
[0015]S8.根据步骤S6的计算结果和步骤S7的计算结果，跟新模板池。
[0016]步骤S1所述的现有的孪生网络跟踪器，具体包括Siamese-FC、Siamese-RPN、SiamMask和Siamfc++。
[0017]步骤S2所述的模板池，具体为模板池为一个集合S，其中每一项都包含若干与模板相关的信息；集合S表示为S＝{(z
i
,l
i
,x
i
)|1≤i≤K}，其中K为模板的数目，z
i
为模板图像，l
i
为模板的跟踪损失，x
i
为模板图像z
i
所在的搜索帧图像；同时，视频初始帧中的模板始终保存在模板池S中的第一个位置。
[0018]步骤S3所述的计算各个模板的可靠性分数，并从模板池中筛选出可靠模块集合，具体为采用如下步骤得到各个模板的可靠性分数并得到可靠模板集合：
[0019]A.采用孪生网络的基准网络提取模板图像的深度特征f
i
为模板图像z
i
对应的深度特征，为基准网络，θ为网络的权重；
[0020]B.采用如下算式计算模板池S中各个模板的可靠性分数s
i
：
[0021]s
i
＝f1*f
i
[0022]式中f1为模板图像z1对应的深度特征，*为互相关操作；
[0023]C.采用如下规则选取模板，从而得到可靠模板集合G
[0024][0025]式中s1为第一个模板的可靠性分数；τ为设定的阈值。
[0026]步骤S4所述的计算步骤S3得到的可靠模块集合中各个模板的匹配性分数，并从可靠模块集合中筛选出处理当前帧的最佳模板，具体为采用如下步骤计算匹配性分数并获取最佳模板：
[0027]a.计算可靠模板集合中各个模板的分类分数m
i
＝SiamX(z
i
)，并将各个模板的分类分数作为各个模板的匹配性分数；SiamX()为选中的孪生网络；
[0028]b.选取步骤a中匹配性分数最大的模板，即id＝argmax
i∈G
(m
i
)，作为最终的最佳模板，即z
id
。
[0029]步骤S6所述的计算当前帧最终跟踪结果的联合IOU，并判定是否为新的模式，具体为采用如下步骤计算联合IOU并判定新的模式：
[0030](1)采用如下算式计算模板图像z
c
和z
id
在各自搜索区域上跟踪结果的IOU：
[0031][0032]式中，I1为模板图像z
c
和z
id
在x
id
上的跟踪结果的IOU；I2为模板图像z
c
和z
id
在x
c
上的跟踪结果的IOU；(z
c
,l
c
,x
c
)为从当前帧得到的模版信息；(z
id
,l
id
,x
id
)为步骤S4中得到的最佳模板信息；R(z,x)为使用模板z在搜索帧x上进行跟踪计算得到的结果；
[0033](2)采用如下算式计算联合IOU：
[0034][0035]式中I
c
为联合IOU；
[0036](3)采用如下规则判断新的模式：
[0037]若I
c
的值大于或等于设定值α，则判定为不是新的模式；
[0038]若I
c
的值小于设定值α，则判定为新的模式。
[0039]步骤S7所述的计算模板池中各个模板的当前跟踪损失以及累计跟踪损失，具体为采用如下步骤计算当前跟踪损失和累计跟踪损失：
[0040]1)采用如下算式计算模板池中的模板在当前帧的跟踪损失：
[0041][0042]式中为模板池中的第i个模板在当前帧的跟踪损失；(z
c
,l
c
,x
c
)为从当前帧得到的模版信息；(z
id
,l
id
,x
id
)为步骤S4中得到的最佳模板信息；
[0043]2)采用如下算式计算累计跟踪损失：
[0044][0045]式中为模板池中的第i个模板更新后的累计跟踪损失；为模板池中的第i个模板更新前的累计跟踪损失；为模板池中的第i个模板在当前帧的跟踪损失；ψ为超参数。
[0046]步骤S8所述的根据步骤S6的计算结果和步骤S7的计算结果，跟新模板池，具体为用模板z
c
替换当前的累计跟踪损失最大的模板。
[0047]本专利技术提供的这种基于孪生网络的视觉目标跟踪方法，不需要重新训练网络，只需要进行额外的模板选择和模板更新计算即可实现视觉目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生网络的视觉目标跟踪方法，包括如下步骤：S1.选择一个现有的孪生网络跟踪器；S2.获取当前的模板池；S3.根据步骤S2获取的模板池，计算各个模板的可靠性分数，并从模板池中筛选出可靠模块集合；S4.计算步骤S3得到的可靠模块集合中各个模板的匹配性分数，并从可靠模块集合中筛选出处理当前帧的最佳模板；S5.采用步骤S4得到的最佳模板进行视觉目标跟踪。2.根据权利要求1所述的基于孪生网络的视觉目标跟踪方法，其特征在于所述的基于孪生网络的视觉目标跟踪方法，还包括如下步骤：S6.计算当前帧最终跟踪结果的联合IOU，并判定是否为新的模式；S7.计算模板池中各个模板的当前跟踪损失以及累计跟踪损失；S8.根据步骤S6的计算结果和步骤S7的计算结果，跟新模板池。3.根据权利要求2所述的基于孪生网络的视觉目标跟踪方法，其特征在于步骤S1所述的现有的孪生网络跟踪器，具体包括Siamese-FC、Siamese-RPN、SiamMask和Siamfc++。4.根据权利要求3所述的基于孪生网络的视觉目标跟踪方法，其特征在于步骤S2所述的模板池，具体为模板池为一个集合S，其中每一项都包含若干与模板相关的信息；集合S表示为S＝{(z
i
,l
i
,x
i
)|1≤i≤K}，其中K为模板的数目，z
i
为模板图像，l
i
为模板的跟踪损失，x
i
为模板图像z
i
所在的搜索帧图像；同时，视频初始帧中的模板始终保存在模板池S中的第一个位置。5.根据权利要求4所述的基于孪生网络的视觉目标跟踪方法，其特征在于步骤S3所述的计算各个模板的可靠性分数，并从模板池中筛选出可靠模块集合，具体为采用如下步骤得到各个模板的可靠性分数并得到可靠模板集合：A.采用孪生网络的基准网络提取模板图像的深度特征f
i
为模板图像z
i
对应的深度特征，为基准网络，θ为网络的权重；B.采用如下算式计算模板池S中各个模板的可靠性分数s
i
：s
i
＝f1*f
i
式中f1为模板图像z1对应的深度特征，*为互相关操作；C.采用如下规则选取模板，从而得到可靠模板集合G式中s1为第一个模板的可靠性分数；τ为设定的阈值。6.根据权利要求5所述的基于孪生网络的视觉目标跟踪方法，其特征在于步骤S4所述的计算步骤S3得到的可靠模块集合中各个模板的匹配性分数，并从可靠模块集合中筛选出处理当前帧的最佳模板，具体为采用如下步骤计算匹配性分数并获取最佳模板：a.计算可靠模板集合中各个模板的分类分数m
i

【专利技术属性】
技术研发人员：李智勇，胡晨明，
申请(专利权)人：湖南大学，
类型：发明
国别省市：