基于自适应权值模板更新的空间-语义感知注意跟踪方法技术

本发明专利技术公开了一种基于自适应权值模板更新的空间

【技术实现步骤摘要】
基于自适应权值模板更新的空间
‑
语义感知注意跟踪方法


[0001]本专利技术涉及目标跟踪
，特别是指一种基于自适应权值模板更新的空间
‑
语义感知注意跟踪方法。

技术介绍

[0002]视觉跟踪在计算机视觉领域获得了广泛的应用，如智慧城市、自动驾驶、视频监控等。近年来，从基于人工特征的跟踪器到基于深度学习的跟踪器，视觉跟踪的性能得到了进一步的提高。然而，由于外形变化、背景复杂、相似目标干扰等因素的影响，设计一种鲁棒跟踪算法在实际应用中仍然是一个挑战。
[0003]近年来，基于孪生网络的跟踪器兼顾了准确性和效率而受到广泛关注。然而由于它们无法适应目标持续外观变化而导致跟踪精度下降。为了解决这一问题。有人通过在孪生网络之后增加区域建议网络来提高跟踪性能，该方法对预设的边界盒进行分类和回归，可以更好的预测多尺度目标。还有人将无锚机制引入到跟踪领域，解决了基于锚的方法中参数调整复杂的问题，提高了跟踪效率。这些算法在一定程度上改善了跟踪效果，许多工作致力于优化特征提取网络或回归函数，以提高效率和准确性。但在实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应权值模板更新的空间
‑
语义感知注意跟踪方法，其特征在于，包括以下步骤：步骤一、根据初始帧图像中的目标位置信息裁剪出模板图像，利用预训练的ResNet
‑
50网络获取模板图像的Covn3、Covn4和Covn5三层特征；步骤二、利用空间感知注意模块强化模板Covn3层特征图中目标信息量最大的区域，同时降低无关区域的重要性，得到新的空间感知注意特征；利用语义感知注意模块增强Covn4和Covn5层特征中含有丰富目标语义信息的通道权重，得到语义感知注意特征；步骤三、读取下一帧，并根据上一帧的目标位置确定搜索区域，利用预训练的ResNet
‑
50网络获取搜索区域的Covn3、Covn4和Covn5三层特征；步骤四、将得到的搜索区域特征和步骤二获取的感知注意特征的对应层分别进行互相关，最后加权得到一份分类输出进行前景背景分类；将搜索区域特征和步骤一获取的模板图像特征的对应层分别进行互相关，然后加权得到一份回归输出进行预测框预测；步骤五、分类输出结合回归输出确定目标位置；步骤六、根据目标位置裁剪出跟踪结果图像，并利用预训练的ResNet
‑
50提取网络提取跟踪结果图像的Covn3、Covn4和Covn5三层特征；步骤七、分别计算模板图像和跟踪结果对应层特征之间的欧式距离，并和历史均值作比较，当满足更新条件时，执行步骤八，否则返回步骤三；步骤八、模板图像特征和跟踪结果特征进行互相关并与模板图像特征的自相关进行比值生成更新权值，根据更新权值融合历史模板和跟踪结果生成新的目标模板用于下一帧的跟踪，同时返回步骤三，直至视频结束。2.根据权利要求1所述的基于自适应权值模板更新的空间
‑
语义感知注意跟踪方法，其特征在于，在所述步骤二中，所述空间感知注意特征和语义感知注意特征的获取过程如下：对所述模板Covn3层特征采用全局最大池化和平均池化，使用一个卷积滤波器将双池特征通道数下采样到1个，得到单通道特征图，通过sigmoid运算广播单通道卷积特征图之后，与之前的Covn3层特征计算乘积得到空间注意特征图：征计算乘积得到空间注意特征图：其中表示空间注意特征图,φ
s
(
·
)
H
×
W
×1为空间注意权重，表示局部矩阵乘法，表示模板Covn3层特征，GP
max
(
·
)表示全局最大池化操作，GP
avg
(
·
)表示全局平均池化操作,δ(
·
)表示sigmoid函数，为3
×
3的卷积运算；对所述模板Covn4、Covn5层特征分别采用全局平均池化，将池化特征进行两级全连接(激励过程)，得到的特征权重分别与之前的C...

【专利技术属性】
技术研发人员：张焕龙，赵彦春，王攀云，丁亮，高淼，杨光露，李福生，朱林威，齐锐，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：