一种基于对象级变换神经网络的跟踪方法技术

一种基于对象级变换神经网络的跟踪方法，包括：1)根据给定的视频序列和第一帧的标注信息Box1，获取待跟踪视频序列的跟踪模板Z和动态局部模板Z

【技术实现步骤摘要】
一种基于对象级变换神经网络的跟踪方法


[0001]本申请属于图像处理
，尤其涉及一种基于对象级变换神经网络的跟踪方法。

技术介绍

[0002]视觉目标跟踪是计算机视觉领域的一项基本任务，其目标是基于初始人工标注来估计任意感兴趣目标的未来状态。因此，视觉目标跟踪已被广泛应用于自动驾驶、人机交互系统和智能监控。随着视觉变换神经网络的普及，视觉目标跟踪的跟踪性能得到了进一步的提高，但仍有许多挑战尚未克服，如剧烈变形、部分遮挡、复杂背景和尺度变化。
[0003]大多数基于孪生网络的跟踪器采用相关性方法计算模板和搜索区域之间的亲和力。这种计算过程容易受到局部最优问题的影响。最近，基于变换神经网络的跟踪器通过引入变换神经网络的自注意模块或交叉注意模块来提高视觉跟踪的性能。MixFormer和SBT进一步描述了单流单阶段的框架，它产生了更紧凑和整洁的跟踪范式。然而，这些范式的全局视角忽略了前景和背景之间的区别。大量的背景标记不可避免地导致注意力模块对对象的判别信息失去关注。OSTrack提出了早期消除模块，该模块通过早期获得的相似度评分的先验值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对象级变换神经网络的跟踪方法，通过构建的对象级变换神经网络进行目标跟踪，其特征在于：包括以下步骤：1)根据给定的视频序列和第一帧的标注信息Box1，获取待跟踪视频序列的跟踪模板Z和动态局部模板Z
dl
；其中动态局部模板Z
dl
由跟踪模板Z处理后获得，包含9个局部模板；2)根据上一帧的标注信息，获取待跟踪视频序列的搜索图片S
i
；3)基于步骤1)和步骤2)将跟踪模板Z、动态局部模板Z
dl
和搜索图片S
i
作为对象级变换神经网络的输入，获取特征编码后的搜索图片特征X；4)基于步骤3)将编码后的搜索图片特征X作为角点预测网络的输入，获得当前帧中目标定位信息Box
i
；5)通过动态局部模板更新策略更新局部模板；根据步骤4)预测的Box
i
，使用与步骤1)一样的方式获取当前动态局部模板Z
dli
；同时，根据Box
i
通过PrRoIPooling获取对应Z
dli
中9个局部模板的特征向量，并输入到质量评估网络获取可靠性评分；根据得到的可靠性评分和动态局部模板Z
dli
，对历史动态局部模板Z
dl
中评分低的部分进行替换。2.根据权利要求1所述的基于对象级变换神经网络的跟踪方法，其特征在于：步骤1)所述的获取待跟踪视频序列的跟踪模板Z和动态局部模板Z
dl
，包括以下子步骤：(11)将人为标注的跟踪目标包围框信息放大预设第一倍数，从待根据视频序列第一帧图片中裁剪出跟踪模板Z；(12)复制一份跟踪模板Z，以滑动窗口的方式分割出九块局部模板Z
dl
；其中滑动窗口宽高为跟踪模板大小的二分之一，步长为跟踪模板大小的四分之一。3.根据权利要求1所述的基于对象级变换神经网络的跟踪方法，其特征在于：步骤2)所述的获取待跟踪视频序列的搜索图片S
i
，具体方法为：将上一帧的跟踪结果信息Box
i
‑1放大预设第二倍数，从当前待处理的帧中裁剪出搜索图片。4.根据权利要求1所述的基于对象级变换神经网络的跟踪方法，其特征在于：步骤3)所述的获取对象级变换神经网络，包括以下子步骤：(31)跟踪模板动态局部模板与搜索特征拼接在一起作为对象变换神经网络的输入拼接在一起作为对象变换神经网络的输入(32)将输入X进行拆分和变形后通过全卷积嵌入层进行下采样；(33)将下采样后的特征进行特征编码；(34)对象...

【专利技术属性】
技术研发人员：产思贤，陶健，白琮，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：