一种目标跟踪方法、终端设备及存储介质技术

本发明专利技术涉及一种目标跟踪方法、终端设备及存储介质，该方法中包括：当接收到新一帧的图片时，提取特征并估计空间注意力掩码矩阵；获取当前帧样本各通道响应，并更新相关滤波器中各通道的实际注意力权重，计算当前帧各样本的相关滤波响应，并提取其中响应最大的样本作为当前帧的候选样本；提取候选样本的特征，并将其与历史多模态目标模板池内各目标模板的特征进行相似度计算，当计算的最大相似度超过相似度阈值时，判定该候选样本可靠，将候选样本对应的图片添加至历史多模态目标模板池内，更新当前帧训练样本、滤波器、模板池、目标和背景颜色直方图；否则，不更新。本发明专利技术可以实现遮挡场景下鲁棒跟踪的目的，提升了目标跟踪的准确性。性。性。

【技术实现步骤摘要】
一种目标跟踪方法、终端设备及存储介质


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种目标跟踪方法、终端设备及存储介质。

技术介绍

[0002]目标跟踪技术是计算机视觉领域的重要研究方向，其主要功能是在各帧样本中将感兴趣区域的目标始终紧凑地框定，该任务本质是模拟人眼与人脑的观察和决策行为。目标跟踪技术被广泛应用于相机跟踪聚焦、人脸识别系统、无人机追踪等领域。
[0003]目标跟踪有基于生成式和判别式的方法。生成式模型中，跟踪算法以上一帧目标框的几何状态为参考产生大量随机样本，再将与目标模板最相似的样本作为跟踪结果，而判别式模型是通过训练分类器以区分目标和背景，将响应值最高的样本作为跟踪结果。
[0004]判别相关滤波器在短期跟踪中表现出优异和高效的性能，但判别式相关滤波方法未对目标特征通道与空间特征的可信度加以评估，且未对每帧响应最大的样本进行置信度评估，导致遮挡场景下跟踪算法失败。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一种目标跟踪方法、终端设备及存储介质。
[0006]具体方案如下：
[0007]一种目标跟踪方法，包括以下步骤：
[0008]S1：当接收到新一帧的图片时，提取新一帧图片中各样本的特征，并根据前一帧样本对应的目标颜色直方图和背景颜色直方图，估计当前帧样本对应的空间注意力掩码矩阵；
[0009]S2：根据前一帧实际的相关滤波器获取当前帧样本各通道响应，并更新相关滤波器中各通道的实际注意力权重，进而计算当前帧各样本的相关滤波响应，并提取其中相关滤波响应最大的样本作为当前帧的候选样本；
[0010]S3：提取候选样本的特征，并将其与历史多模态目标模板池内各目标模板的特征进行相似度计算，当计算的最大相似度超过相似度阈值时，判定该候选样本可靠，基于该候选样本进行目标跟踪，将候选样本对应的图片添加至历史多模态目标模板池内，更新当前帧训练样本、滤波器、历史多模态目标模板池、目标和背景颜色直方图；否则，判定该候选样本不可靠，不对该帧进行目标跟踪，不更新当前帧训练样本、滤波器、历史多模态目标模板池、目标和背景颜色直方图。
[0011]进一步的，空间注意力掩码矩阵M的计算公式为：
[0012][0013][0014][0015]其中，r和c分别表示行和列的序号；others表示其他；表示像素x是目标中像素点的概率；m表示样本的序号；表示当前帧训练样本；x表示当前帧训练样本中像素所在位置；p表示概率；K表示正比例系数；表示目标空间移动的空间先验概率；σ表示高斯窗的标准差；表示x的L2范数的平方；表示颜色似然概率，由颜色直方图c＝{c
o
,c
b
}反向投影到空间像素点获得，c
o
表示目标颜色直方图，c
b
表示背景颜色直方图；ψ[x]表示独热编码的向量；β表示颜色直方图的回归滤波器；上标T表示矩阵的转置；α表示概率阈值。
[0016]进一步的，颜色直方图的回归滤波器β的求解方法为：
[0017]在目标和背景区域上对每个像素的颜色特征进行线性回归，设定其目标函数为：
[0018][0019]对上式进行求解，可得：
[0020][0021]其中，J表示目标函数，N
J
表示颜色特征类别的总数，j表示颜色特征类别的序号，β
j
表示颜色直方图中第j种颜色对应的回归滤波器，表示第j种颜色对应的目标颜色直方图，表示第j种颜色对应的背景颜色直方图。
[0022]进一步的，相关滤波器中各通道的实际注意力权重的更新过程包括：
[0023]S201：根据前一帧样本图像，计算各通道的学习注意力权重：
[0024][0025]其中，表示第d个通道的学习注意力权重，ζ表示归一化标量，F
d
表示第d个通道的特征，表示H
c,d
的反折信号，H
c,d
表示空间约束滤波器的第d个通道滤波器，*表示卷积算子；
[0026]S202：以前一帧样本图像的中心点为中心生成包含M个尺度因子的尺度池，通过双线性插值法将各尺度样本变为初始样本的大小；根据前一帧实际的相关滤波器获取各尺度样本的响应，利用基于响应图中次峰ρ
max2
与主峰ρ
max1
之间的比率计算各通道的检测注意力权重：
[0027][0028]其中，表示第d个通道的检测注意力权重，δ表示次主峰比率；
[0029]S203：根据各通道的学习注意力权重和检测注意力权重计算各通道的理论通道注意力权重：
[0030][0031]其中，表示第d个通道的理论通道注意力权重；
[0032]S204：更新当前帧各通道的实际通道注意力权重：
[0033][0034]其中，表示当前帧第d个通道的实际通道注意力权重，表示前一帧第d个通道的实际通道注意力权重η表示学习率。
[0035]进一步的，历史多模态目标模板池中存储的数据格式为：将目标模板图片进行灰度变换为矩阵形式后，在将矩阵形式转换为列向量。
[0036]进一步的，历史多模态目标模板池的构建方法为：设定历史多模态目标模板池的大小为N；针对第一帧，将历史多模态目标模板池的N个位置全部填充第一帧目标图片；从第二帧开始，当新一帧的候选样本可靠时，使用新一帧的候选样本替换历史多模态目标模板池第2到第N个模板中与候选样本的相似度最低的模板；当新一帧的候选样本不可靠时，该帧不更新历史多模态目标模板池。
[0037]进一步的，当前帧实际的相关滤波器的更新公式为：
[0038][0039]其中，表示当前帧实际的相关滤波器，表示前一帧实际的相关滤波器，表示当前帧理论的相关滤波器，η表示学习率。
[0040]进一步的，根据前一帧的相关滤波器得到的当前帧理论的相关滤波器的计算方法为：
[0041]S301：通过前一帧实际的相关滤波器初始化第0次迭代时空间约束滤波器的第d个通道滤波器
[0042]S302：初始化第0次迭代时的的拉格朗日系数为0，迭代次数i＝0和最大迭代次数Max
i
；
[0043]S303：根据前一帧样本图片的目标颜色直方图和背景颜色直方图，估计当前帧样本图片中目标的空间注意力掩码矩阵M；
[0044]S304：根据下式更新第i+1次迭代时空间约束滤波器的第d个通道滤波器
[0045][0046]H
m,d
＝M
⊙
H
d
[0047]其中，H
c,d
表示空间约束滤波器的第d个通道滤波器；
⊙
表示点乘算子；H
m,d
表示对通道滤波器H
d
施加空间注意力约束后的滤波器；L
d
表示拉格朗日乘子；F
d
表示第d个通道的特征，d表示通道，N
d
表示通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括以下步骤：S1：当接收到新一帧的图片时，提取新一帧图片中各样本的特征，并根据前一帧样本对应的目标颜色直方图和背景颜色直方图，估计当前帧样本对应的空间注意力掩码矩阵；S2：根据前一帧实际的相关滤波器获取当前帧样本各通道响应，并更新相关滤波器中各通道的实际注意力权重，进而计算当前帧各样本的相关滤波响应，并提取其中相关滤波响应最大的样本作为当前帧的候选样本；S3：提取候选样本的特征，并将其与历史多模态目标模板池内各目标模板的特征进行相似度计算，当计算的最大相似度超过相似度阈值时，判定该候选样本可靠，基于该候选样本进行目标跟踪，将候选样本对应的图片添加至历史多模态目标模板池内，更新当前帧训练样本、滤波器、历史多模态目标模板池、目标和背景颜色直方图；否则，判定该候选样本不可靠，不对该帧进行目标跟踪，不更新当前帧训练样本、滤波器、历史多模态目标模板池、目标和背景颜色直方图。2.根据权利要求1所述的目标跟踪方法，其特征在于：空间注意力掩码矩阵M的计算公式为：式为：式为：其中，r和c分别表示行和列的序号；others表示其他；表示像素x是目标中像素点的概率；m表示样本的序号；表示当前帧训练样本；x表示当前帧训练样本中像素所在位置；p表示概率；K表示正比例系数；表示目标空间移动的空间先验概率；σ表示高斯窗的标准差；表示x的L2范数的平方；表示颜色似然概率，由颜色直方图c＝{c
o
,c
b
}反向投影到空间像素点获得，c
o
表示目标颜色直方图，c
b
表示背景颜色直方图；ψ[x]表示独热编码的向量；β表示颜色直方图的回归滤波器；上标T表示矩阵的转置；α表示概率阈值。3.根据权利要求2所述的目标跟踪方法，其特征在于：颜色直方图的回归滤波器β的求解方法为：在目标和背景区域上对每个像素的颜色特征进行线性回归，设定其目标函数为：对上式进行求解，可得：其中，J表示目标函数，N
j
表示颜色特征类别的总数，j表示颜色特征类别的序号，β
j
表示颜色直方图中第j种颜色对应的回归滤波器，表示第j种颜色对应的目标颜色直方图，
表示第j种颜色对应的背景颜色直方图。4.根据权利要求1所述的目标跟踪方法，其特征在于：相关滤波器中各通道的实际注意力权重的更新过程包括：S201：根据前一帧样本图像，计算各通道的学习注意力权重：其中，表示第d个通道的学习注意力权重，ζ表示归一化标量，F
d
表示第d个通道的特征，表示H
c,d
的反折信号，H
c,d
表示空间约束滤波器的第d个通道滤波器，*表示卷积算子；S202：以前一帧样本图像的中心点为中心生成包含M个尺度因子的尺度池，通过双线性插值法将各尺度样本变为初始样本的大小；根据前一帧实际的相关滤波器获取各尺度样本的响应，利用基于响应图中次峰ρ
max2
与主峰ρ
max1
之间的比率计算各通道的检测注意力权重：其中，表示第d个通道的检测注意力权重，δ表示次主峰比率；S203：根据各通道的学习注意力权重和检测注意力权重计算各通道的理论通道注意力权重：其中，表示第d个通道的理论通道注意力权重；S204：更新当前帧各通道的实际通道注意力权重：其中，表示当前帧第d个通道的实际通道注意力权重，表示前一帧第d个通道的实际通道注意力权重η表示学习率。5.根据权利要求1所述的目标跟踪方法，其特征在于：历史多模态目标模板池中存储的数据格式为：将目标模板图片进行...

【专利技术属性】
技术研发人员：张华林，胡强，林晨，陈颖频，严嘉怡，李凯特，李一凡，乔嘉琪，何耀驰，张月轩，杨博文，张夏杰，蔡宇晴，陈振雕，陈育群，陈海英，
申请(专利权)人：闽南师范大学，
类型：发明
国别省市：