一种使用图注意力网络融合目标跟踪特征的方法技术

本发明专利技术提供一种使用图注意力网络融合目标跟踪特征的方法，属于计算机视觉技术领域。该使用图注意力网络融合目标跟踪特征的方法包括如下步骤：S1：对当前帧图像进行裁剪获取搜索区域、对前一帧图像进行裁剪获取模板图像；S2：将搜索区域输入数据增强模块中获取多组第一训练样本，将模板图像输入数据增强模块中获取多组第二训练样本；S3：将一组第一训练样本输入特征提取模块中提取搜索区域特征，将一组第二训练样本输入特征提取模块中提取模板特征；S4：将搜索区特征和模板特征输入图注意力模块中获取融合特征；S5：将融合特征输入回归模块中获取最终预测的bounding box坐标。本发明专利技术在性能和模型复杂度方面具有优越性。本发明专利技术在性能和模型复杂度方面具有优越性。本发明专利技术在性能和模型复杂度方面具有优越性。

【技术实现步骤摘要】
一种使用图注意力网络融合目标跟踪特征的方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种使用图注意力网络融合目 标跟踪特征的方法。

技术介绍

[0002]视觉目标跟踪(Visual Object Tracking)是指对图像序列中的运动目标进行 检测、提取、识别和跟踪，获得运动目标位置，从而进行下一步的处理与分 析。它在现实世界中有着广泛的应用，如智能视频监控、人机交互、机器人视 觉导航、虚拟现实、医学诊断等等。由于在图像序列中目标会发生较大的外观 变化，如形变、遮挡、光照变化等，目标跟踪是一个具有挑战性的视觉问题。
[0003]近年来，由于利用卷积神经网络可以学习有效的目标特征表示，深度学习 方法在目标跟踪任务中得到了成功的应用。王乃岩等人首次提出了使用卷积神 经网络(CNN)的目标跟踪模型，即SO
‑
DLT，它使用了类似AlexNet的网络 结构来提取目标特征。自此以后，出现了各种基于CNN的方法，显著提高了 目标跟踪的性能，并且有一种趋势，即设计一个更深的网络来追求更好的性 能。
[0004]SiamFC提出一种新的全卷积孪生网络，利用孪生结构使用卷积网络计算 两个输入之间的相似性，但随着目标外观不断变化以及背景越来越复杂，模型 只进行单一尺度的预测，无法适应目标的尺度变化。SiamRPN将目标检测中 的RPN模块应用到跟踪任务中来，即分类和回归分支，由于回归分支的存在 使得该算法可以去掉原始的特征金字塔，同时可以解决响应图分数不可靠的问 题，因此该算法在提升精度的同时还提高了速度，将原始的相似性计算问题转 化为回归和分类问题，虽然在引入RPN之后，模型可以较好地回归boundingbox，但是在目标丢失或者有干扰物的情况下，分类分支产生的响应图分数仍 然不可靠，这是由于正负样本不均衡产生的问题。DaSiamRPN引入了检测数据 集以增广训练集来提高模型的泛化能力，同时增加同类别和不同类别的困难负 样本提高模型判别能力，但上述跟踪器都是在类似于AlexNet的架构上构建网 络，并且也曾尝试训练具有更加复杂架构的跟踪器，例如使用ResNet，但是性 能却没有任何提升。SiamRPN++对现有的跟踪器进行分析，发现当前提出的跟 踪网络需要满足严格的平移不变性，而深层网络中的填充会破坏这种性质。当 前的目标跟踪方法，不能同时保证跟踪性能和高效性，无法平衡性能与速度之 间的关系。
[0005]中国专利CN111161311A、公告日2020
‑
05
‑
15公开了一种基于深度学习的 视觉多目标跟踪方法及装置，该方法包括：通过目标检测网络模型依次获取跟 踪目标在当前视频帧的候选检测框，并记录坐标位置信息，并获取对应的模板 图像；获取除第1帧外的视频中每一帧图像作为待搜索区域图像；将每个模板 图像和待搜索区域图像输入到由孪生卷积神经网络构建的目标跟踪网络模型， 从而获取跟踪目标的跟踪结果。该现有技术实施例提供的基于深度学习的视觉 多目标跟踪方法及装置，通过分别将利用目标检测网络模型获取的各个跟踪目 标对应的模板图像和待搜索区域图像输入到由孪生卷积神经网络构建的
目标跟 踪网络模型，进而获取模板图像对应的跟踪目标的跟踪结果，计算量低，实现 了多目标实时、准确跟踪。上述专利中的目标跟踪方法，无法适应目标的尺度 变化，不能同时保证跟踪性能和高效性，无法平衡性能与速度之间的关系。

技术实现思路

[0006]本专利技术的目的在于，针对上述现有技术的不足，提出一种使用图注意力网 络融合目标跟踪特征的方法。
[0007]本专利技术提出一种使用图注意力网络融合目标跟踪特征的方法，包括如下步 骤：
[0008]S1：获取当前帧图像和前一帧图像，根据前一帧图像预测的bounding box 的大小及位置对当前帧图像进行裁剪获取搜索区域、对前一帧图像进行裁剪获 取模板图像；
[0009]S2：将搜索区域输入数据增强模块中获取多组第一训练样本，将模板图 像输入数据增强模块中获取多组第二训练样本；
[0010]S3：将一组第一训练样本输入特征提取模块中提取搜索区域特征，将一组 第二训练样本输入特征提取模块中提取模板特征；
[0011]S4：将搜索区特征和模板特征输入图注意力模块中获取融合特征；
[0012]S5：将融合特征输入回归模块中获取最终预测的bounding box坐标。
[0013]进一步地，步骤S1中包括：F
′
t
＝C(F
t
′
)，F
′
t
＝C(F
t
)，其中F
t
为当前帧 图像，F
t
‑1为前一帧图像，C(
·
)为裁剪操作，如果前一帧图像预测的bounding box以为中心，宽和高分别为W
t
‑1、H
t
‑1，则将当前帧图像以及前 一帧图像以为中心，2W
t
‑1、2H
t
‑1为宽高进行裁剪。
[0014]进一步地，步骤S2中包括：步骤S2中包括：其中Aug(
·
)为数据增强模块的数据增强操作，在 Aug(
·
)中对于每一时刻的当前帧图像均通过拉普拉斯分布进行采样并进行裁 剪。
[0015]进一步地，步骤S3中包括：f
s
＝ResNet(F
′
t
)，f
t
＝ResNet(F
′
i
‑1)，其中f
s
为搜索区域特征，f
t
为模板特征，所述特征提取模块中包括用以提取搜索区域 特征和模板特征的特征提取网络，所述特征提取网络选择ResNet18，所述特征 提取网络不经过最后的平均池化层和softmax层。
[0016]进一步地，步骤S4中包括：其中为融合特征，F0(
·
)为 图注意力模块GAM的融合操作。
[0017]进一步地，步骤S5中包括： [left，bottom，right，top]＝F4(f)，其中F
i
(
·
)为第i组全连接层，每一组全连接 层均设有ReLU激活函数和Dropout操作，F4(
·
)为输出层， [left，bottom，right，top]为左下角和右上角的横纵坐标值。
[0018]进一步地，在数据增强操作中，拉普拉斯分布的参数设置为b
c
＝1/5，b
s
＝1/5，b
c
、b
t
分别为bounding box的中心以及大小的变化尺度。
[0019]进一步地，在数据增强操作中，bounding box的宽高比变化尺度 α
w
，α
h
∈(0.6，1.4)以防止bounding box过度拉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用图注意力网络融合目标跟踪特征的方法，其特征在于，包括如下步骤：S1：获取当前帧图像和前一帧图像，根据前一帧图像预测的bounding box的大小及位置对当前帧图像进行裁剪获取搜索区域、对前一帧图像进行裁剪获取模板图像；S2：将搜索区域输入数据增强模块中获取多组第一训练样本，将模板图像输入数据增强模块中获取多组第二训练样本；S3：将一组第一训练样本输入特征提取模块中提取搜索区域特征，将一组第二训练样本输入特征提取模块中提取模板特征；S4：将搜索区特征和模板特征输入图注意力模块中获取融合特征；S5：将融合特征输入回归模块中获取最终预测的bounding box坐标。2.如权利要求1所述的一种使用图注意力网络融合目标跟踪特征的方法，其特征在于，步骤S1中包括：F
′
t
＝C(F
t
)，F
′
t
＝C(F
t
)，其中F
t
为当前帧图像，F
t
‑1为前一帧图像，C(
·
)为裁剪操作，如果前一帧图像预测的bounding box以为中心，宽和高分别为W
t
‑1、H
t
‑1，则将当前帧图像以及前一帧图像以为中心，2W
t
‑1、2H
t
‑1为宽高进行裁剪。3.如权利要求2所述的一种使用图注意力网络融合目标跟踪特征的方法，其特征在于，步骤S2中包括：步骤S2中包括：其中Aug(
·
)为数据增强模块的数据增强操作，在Aug(
·
)中对于每一时刻的当前帧图像均通过拉普拉斯分布进行采样并进行裁剪。4.如权利要求3所述的一种使用图注意力网络融合目标跟踪特征的方法，其特征在于，步骤S3中包括：f
s
＝ResuNet(F
′
t
)，f
t
＝ResNet(F
′
t
‑1)，其中f
s
为搜索区域特征，f
t
为模板特征，所述特征提取模块中包括用以提取搜索区域特征和模板特征的特征提取网络，所述特征提取网络选择ResNet18，所述特征提取网络不经过最后的平均池化层和softmax层。5.如权利要求4所述的一种使用图注意力网络融合目标跟踪特征的方法，其特征在于，步骤S4中包括：其中为融合特征，F0(
·
)为图注意力模块GAM的融合操作。6.如权利要求...

【专利技术属性】
技术研发人员：郑忠龙，张大伟，林飞龙，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：