一种基于自掩码变换神经网络的目标跟踪方法及装置制造方法及图纸

本申请提供一种基于自掩码变换神经网络的目标跟踪方法及装置，涉及目标跟踪技术领域，包括：获取目标视频和目标视频对应的跟踪模板；针对目标视频中除第一帧外的任一视频帧，获取跟踪目标在视频帧的上一视频帧中的历史定位信息；根据历史定位信息和视频帧，生成视频帧对应的目标搜索图像；将跟踪模板和目标搜索图像，输入到预先训练好的自掩码变换神经网络中，得到跟踪目标的导向性特征信息；将导向性特征信息，输入到预先训练好的跟踪目标中心点预测模型中，得到跟踪目标在视频帧中的定位信息。本申请有效降低了目标跟踪的误检率，可实现了多场景、多目标的目标跟踪，且提高了跟踪成功率、精确度以及稳定性。

【技术实现步骤摘要】

本申请涉及目标跟踪，具体而言，涉及一种基于自掩码变换神经网络的目标跟踪方法及装置。

技术介绍

1、视觉目标跟踪是计算机视觉领域的一项基本任务，其目标是基于初始人工标注来估计任意感兴趣目标的未来状态。因此，视觉目标跟踪已被广泛应用于自动驾驶、人机交互系统和智能监控。随着视觉变换神经网络的普及，视觉目标跟踪的跟踪性能得到了进一步的提高，但仍有许多挑战尚未克服，如剧烈变形、部分遮挡、复杂背景和尺度变化。

2、虽然自注意力模块对模版与搜索区域联合每个令牌(tokens)分别做了自我建模和交叉建模，有利于通过双向信息流将模块-搜索图像对连接起来，生成目标导向型的特征；然而，由于视觉跟踪的搜索区域通常是裁切过的一个比目标大4-5倍的区域，这就意味着搜索区域的大部分令牌(tokens)都不是必要的(也就是背景，或者外观类似于目标的干扰物)，而现有的单流跟踪器关系建模都是搜索区域所有令牌(tokens)与模版关系建模。这会导致在特征提取早期判别能力不够强的时候，模版token自然地与非目标token进行不被期望的关系建模。一方面，模版令牌(tokens)随着网本文档来自技高网...

【技术保护点】

1.一种基于自掩码变换神经网络的目标跟踪方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述跟踪模板的获取方法，包括：

3.如权利要求1所述的方法，其特征在于，所述历史定位信息包括历史定位边界坐标；

4.如权利要求1所述的方法，其特征在于，所述自掩码变换神经网络包括：融合层、自掩码变换神经网络编码器和自掩码变换神经网络解码器；

5.如权利要求4所述的方法，其特征在于，所述自掩码变换神经网络编码器具体用于：

6.如权利要求5所述的方法，其特征在于，所述注意力编码特征包括：第二跟踪模板特征和第二目标搜索图像...

【技术特征摘要】

1.一种基于自掩码变换神经网络的目标跟踪方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述跟踪模板的获取方法，包括：

3.如权利要求1所述的方法，其特征在于，所述历史定位信息包括历史定位边界坐标；

4.如权利要求1所述的方法，其特征在于，所述自掩码变换神经网络包括：融合层、自掩码变换神经网络编码器和自掩码变换神经网络解码器；

5.如权利要求4所述的方法，其特征在于，所述自掩码变换神经网络编码器具体用于：

6.如权利要求5所述的方法，其特征在于，所述注意力编码特征包括：第二跟踪模板特征和第二目标...

【专利技术属性】
技术研发人员：崔优凯，吴畏，李晓春，郭斌，产思贤，蒋扬，修树斌，
申请(专利权)人：浙江数智交院科技股份有限公司，
类型：发明
国别省市：