一种基于多重注意力的孪生网络目标跟踪方法技术

本发明专利技术请求保护一种基于多重注意力的孪生网络目标跟踪方法(SiamMAN,Siamese Multi

【技术实现步骤摘要】
一种基于多重注意力的孪生网络目标跟踪方法


[0001]本专利技术属于计算机视觉
，具体属于一种视觉目标跟踪方法。

技术介绍

[0002]视频目标跟踪是计算机视觉领域的一项重要研究课题，要求在给定视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小和位置。近年来，随着目标跟踪算法的不断发展，目标跟踪的理论也越来越完善，目标跟踪技术目前已广泛应用于视频监控、行人跟踪、智慧交通和现代化军事等领域。然而，在复杂多变的现实场景中，运动目标常伴随着遮挡、尺度变化、背景杂斑和光照变化等多种影响因素，想要精确跟踪到任意目标依然是一个极具挑战性的任务，因此，目标跟踪技术的研究仍具有极大的研究价值和实用价值。
[0003]目前，目标跟踪方法可以大致分为两大类，一类是基于相关滤波的方法，一类是基于深度学习的方法。基于相关滤波的目标跟踪方法主要通过设计一个滤波模板与目标候选区域进行相关运算操作，在响应图中寻找最大值来定位目标，拥有速度快的优点。但是，此类方法由于余弦窗和搜索区域的限制，会导致滤波模板学习到的信息过少，使得在大范围形变和复杂背景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重注意力的孪生网络目标跟踪方法，其特征在于，包括以下步骤：步骤1：选取视频的第一帧图像作为模板图像，选取视频的后序其他帧图像作为搜索图像，再分别对模板图像和搜索图像进行预处理操作；步骤2：将预处理后的模板图像和搜索图像分别输入到孪生网络的模板分支和搜索分支，通过GoogLeNet特征提取骨干网络进行特征提取，得到模板图像的特征图和搜索图像的特征图；步骤3：将模板图像特征和搜索图像特征分别输入到由并行的通道注意力分支和位置注意力分支组成的多重注意力模块中，其中通道注意力分支给更具有判别性的特征通道赋予更高的权重，位置注意力分支充分利用目标的位置信息，从而进一步细化特征；通过图注意力机制将目标信息从模板图像特征传播到搜索图像特征，得到一个特征响应图；步骤4：将特征响应图输入到分类
‑
回归子网络，回归分支通过引入Focal
‑
EIoU损失替换IoU损失，从而引导跟踪器生成更加精确的跟踪框，所得的跟踪框即为最后的跟踪结果。2.根据权利要求1所述的一种基于多重注意力的孪生网络目标跟踪方法，其特征在于，所述步骤1：选取视频的第一帧图像作为模板图像，选取视频的后序其他帧图像作为搜索图像，再分别对模板图像和搜索图像进行预处理操作，具体包含以下步骤：A1、模板图像预处理：选取视频的第一帧图像，目标区域使用矩形框标定，矩形框的中心点代表目标中心点位置，在目标矩形框四边分别扩充p个像素，若矩形框超过图像边界，超过的部分使用图像像素均值填充，最后将裁剪的目标图像尺寸缩放至127
×
127像素大小；A2、搜索图像预处理：选取视频的后序其他帧图像，目标区域使用矩形框标定，矩形框的中心点代表目标中心点位置，在目标矩形框四边分别扩充p个像素，若矩形框超过图像边界，超过的部分使用图像像素均值填充，最后将裁剪的目标图像尺寸缩放至287
×
287像素大小。3.根据权利要求2所述的一种基于多重注意力的孪生网络目标跟踪方法，其特征在于，所述步骤2：将预处理后的模板图像和搜索图像分别输入到孪生网络的模板分支和搜索分支，通过GoogLeNet特征提取骨干网络进行特征提取，得到模板图像的特征和搜索图像的特征，具体包括以下步骤：B1、根据步骤A1得到127
×
127大小的模板图像z，根据步骤A2得到287
×
287大小的搜索图像x；B2、将模板图像z输入到孪生网络的模板分支，通过GoogLeNet(Inception v3)特征提取骨干网络提取得到模板图像特征B3、将搜索图像x输入到孪生网络的搜索分支，通过GoogLeNet(Inception v3)特征提取骨干网络提取得到搜索图像特征4.根据权利要求3所述的一种基于多重注意力的孪生网络目标跟踪方法，其特征在于，所述步骤3：将模板图像的特征和搜索图像的特征分别输入到由并行的通道注意力分支和位置注意力分支组成的多重注意力模块中，其中通道注意力分支给更具有判别性的特征通道赋予更高的权重，位置注意力分支充分利用目标的位置信息，从而进一步细化特征；通过图注意力机制将目标信息从模板图像特征传播到搜索图像特征，得到一个特征响应图，具
体包括以下步骤：C1、根据步骤B2得到的模板图像特征将其输入到多重注意力模块，主要包含通道注意力分支和位置注意力分支，得到两种不同的注意力特征，通过逐像素相乘操作对两种注意力特征进行融合，之后再通过两个3
×
3的卷积操作进一步增强特征表示，最终得到细化后的模板图像特征C2、根据步骤B3得到的搜索图像特征将其输入到多重注意力模块，主要包含通道注意力分支和位置注意力分支，得到两种不同的注意力特征，通过逐像素相乘操作对两种注意力特征进行融合，之后再通过两个3
×
3的卷积操作进一步增强特征表示，最终得到细化后的搜索图像特征C3、将细化后的模板图像特征和搜索图像特征通过图注意力机制将目标信息从模板图像特征传播到搜索图像特征，得到一个特征响应图F
fin
。5.根据权利要求4所述的一种基于多重注意力的孪生网络目标跟踪方法，其特征在于，所述步骤C3、将细化后的模板图像特征和搜索图像特征通过图注意力机制将目标信息从模板图像特征传播到搜索图像特征，具体步骤为：D1、将模板图像特征中的每一个1
×1×
C的网格视为一个结点，其中C为特征通道数，得到一个包含所有结点的结点集V
z
；D2、将搜索图像特征中的每一个1
×1×
C的网格视为...

【专利技术属性】
技术研发人员：周丽芳，刘金兰，李伟生，马将凯，卢峻民，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：