基于注意力机制与孪生网络的目标跟踪方法及相关设备技术

本发明专利技术提供了一种基于注意力机制与孪生网络的目标跟踪方法及相关设备，通过将目标模板和搜索区域输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；所述目标跟踪模型中包含孪生网络，并且孪生网络中增加设置通道注意力模块和/或空间注意力模块。本实施例提供的目标跟踪方法及相关设备，由于在残差网络中加入通道注意力模块和/或空间注意力模块，显著提高了孪生跟踪算法的平均期望重叠率和鲁棒性，改善跟踪中的运动变化、相机运动、遮挡、尺寸变化属性的鲁棒性，因此使用本实施例提供的目标跟踪方法进行目标跟踪预测时，可以获取到较准确的结果。

Target tracking method and related devices based on attention mechanism and twin network

【技术实现步骤摘要】
基于注意力机制与孪生网络的目标跟踪方法及相关设备
本专利技术涉及终端显示控制
，尤其涉及的是一种基于注意力机制与孪生网络的目标跟踪方法及相关设备。
技术介绍
目标跟踪一直以来都是计算机视觉领域研究的热点，其应用于人机交互、智能视频监控和交通检测等方面。而单目标跟踪是给出跟踪视频第一帧中目标的边界框，然后预测目标在后续帧中的边界框。目前基于深度学习的目标跟踪方法为判别式方法，其开始领先于生成式方法。而基于孪生网络的目标跟踪算法是通过端到端来训练模型，通过将目标跟踪表示为交叉相关问题。目前基于孪生网络的目标跟踪算法有较高的平均期望重叠率和准确率，同时可以实现实时的目标跟踪。基于孪生网络的目标跟踪算法虽然已经有较高的平均期望重叠率和准确率，但是即使是最先进的跟踪算法SiamRPN++，其鲁棒性依然比VOT2018的冠军MFT差很多。目前的基于孪生网络的目标跟踪在遮挡、尺寸变化、运动变化、相机运动这4类属性上鲁棒性低。因此，现有技术有待于进一步的改进。
技术实现思路
鉴于上述现有技术中的不足之处，本专利技术的目的在于为用户提供一种基于注意力机制与孪生网络的目标跟踪方法及相关设备，克服现有技术中跟踪算法在多个类属性上鲁棒性低，导致目标跟踪结果的准确度不稳定的缺陷。本专利技术解决技术问题所采用的技术方案如下：第一方面，本实施例公开了一种基于注意力机制与孪生网络的目标跟踪方法，其中，包括步骤：获取目标模板和搜索区域；将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；其中，所述目标跟踪模型中包含孪生网络，并且孪生网络中的残差学习单元中设置有通道注意力模块和/或空间注意力模块。可选的，所述残差学习单元中还设置有残差模块；所述孪生网络还包括区域提议网络单元；将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息的步骤包括：将所述目标模板和搜索区域分别输入至孪生网络两个分支的所述残差模块，通过所述残差模块提取与所述目标模板对应的目标模板特征和与所述搜索区域对应的搜索区域特征；将所述目标模板特征和搜索区域特征对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图，和/或通过空间注意力模块提取与所述目标模板特征和搜索区域特征对应的空间注意力特征图；将所述通道注意力特征图和/或空间注意力特征图输入到所述区域提议网络单元，通过所述区域提议网络单元得到所述目标模板在所述搜索区域中的目标跟踪信息。可选的，所述通道注意力模块包括压缩子单元和激励子单元；将所述目标模板和搜索区域对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图的步骤包括：将所述目标模板特征和搜索区域特征分别输入压缩子单元，通过压缩子单元的压缩操作，获取压缩后的目标模板特征和搜索区域特征；将压缩后的目标模板特征和搜索区域特征输入所述激励子单元，利用激励子单元中预设的激活函数的输出对所述目标模板特征和搜索区域特征进行点乘，得到所述激励子单元输出的所述通道注意力特征图。可选的，所述空间注意力模块包括若干个用于提取不同空间特征的特征提取组；其中各个特征提取组包括：局部特征提取单元、全局语义特征提取单元和运算单元；所述将所述目标模板特征和搜索区域特征分别输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述空间注意力模块提取与所述目标模板特征和搜索区域特征对应的空间注意力特征图的步骤包括：将所述目标模板特征和搜索区域特征、或所述激励子单元输出的所述通道注意力特征图分别依次输入各个局部特征提取单元，通过各个特征提取子单元获取提取局部特征；将各个局部特征输入所述全局语义特征提取单元，通过所述全局语义特征提取单元进行全局平均池化，获取到全局语义特征；所述运算单元将所述全局语义特征与所述局部特征点乘后，对各个特征对应的系数，并对系数进行归一化处理，得到单通道特征；所述单通道特征经过激活函数，再用激活函数的输出与各个所述局部特征进行点乘，输出得到多个空间注意力特征图。可选的，所述将所述通道注意力特征图和/或空间注意力特征图输入到所述区域提议网络单元，通过所述区域提议网络单元得到所述目标模板和搜索区域中的目标跟踪信息的步骤包括：将所述通道注意力特征图和/或空间注意力特征图输入所述区域提议网络单元，依次经过非共享权值的卷积、深度交叉相关运算、边框回归分支或分类分支后，得到边框回归结果和特征分类结果。可选的，所述区域提议网络单元的个数为多个；各个区域提议网络单元输入的特征图，为残差模块中不同卷积层输出的目标模板特征或搜索区域特征输入到所述通道注意力模块或所述空间注意力模块后，输出的通道注意力特征图或空间注意力特征图。可选的，所述将所述通道注意力特征图和/或空间注意力特征图输入所述区域提议网络单元，依次经过非共享权值的卷积、深度交叉相关运算、边框回归分支或分类分支后，得到边框回归结果和特征分类结果的步骤还包括：获取各个边框回归分支和分类分支输出的边框回归信息和特征分类信息；将各个区域提议网络单元输出的边框回归信息和特征分类信息加权，得到边框回归结果和特征分类结果。第二方面，本实施例还提供了一种基于注意力机制与孪生网络的目标跟踪系统，其中，包括：对象获取模块，用于获取目标模板和搜索区域；目标跟踪模块，用于将所述目标模板和搜索区域输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；其中，所述目标跟踪模型中包含孪生网络，并且孪生网络中的残差学习单元中设置有通道注意力模块和/或空间注意力模块。第三方面，本实施例还公开了一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的计算机可读程序，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的目标跟踪方法中的步骤。第四方面，本实施例还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，实现所述的目标跟踪方法中的步骤。有益效果，本专利技术提供了一种基于注意力机制与孪生网络的目标跟踪方法及相关设备，通过在残差网络中加入通道注意力模块和/或空间注意力模块，显著提高了孪生跟踪算法的平均期望重叠率和鲁棒性，改善跟踪中的运动变化、相机运动、遮挡、尺寸变化属性，利用本实施例提供的目标跟踪方法及相关设备进行目标跟踪，可以获取到较准确的目标跟踪结果。附图说明图1是本专利技术提供的一种基于注意力机制与孪生本文档来自技高网...

【技术保护点】
1.一种基于注意力机制与孪生网络的目标跟踪方法，其特征在于，包括步骤：/n获取目标模板和搜索区域；/n将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；其中，所述目标跟踪模型中包含孪生网络，并且孪生网络中的残差学习单元中设置有通道注意力模块和/或空间注意力模块。/n

【技术特征摘要】
1.一种基于注意力机制与孪生网络的目标跟踪方法，其特征在于，包括步骤：
获取目标模板和搜索区域；
将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；其中，所述目标跟踪模型中包含孪生网络，并且孪生网络中的残差学习单元中设置有通道注意力模块和/或空间注意力模块。


2.根据权利要求1所述的基于注意力机制与孪生网络的目标跟踪方法，其特征在于，所述残差学习单元中还设置有残差模块；所述孪生网络还包括区域提议网络单元；
将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息的步骤包括：
将所述目标模板和搜索区域分别输入至孪生网络两个分支的所述残差模块，通过所述残差模块提取与所述目标模板对应的目标模板特征和与所述搜索区域对应的搜索区域特征；
将所述目标模板特征和搜索区域特征对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图，和/或通过空间注意力模块提取与所述目标模板特征和搜索区域特征对应的空间注意力特征图；
将所述通道注意力特征图和/或空间注意力特征图输入到所述区域提议网络单元，通过所述区域提议网络单元得到所述目标模板在所述搜索区域中的目标跟踪信息。


3.根据权利要求2所述的基于注意力机制与孪生网络的目标跟踪方法，其特征在于，所述通道注意力模块包括压缩子单元和激励子单元；
将所述目标模板和搜索区域对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图的步骤包括：
将所述目标模板特征和搜索区域特征分别输入压缩子单元，通过压缩子单元的压缩操作，获取压缩后的目标模板特征和搜索区域特征；
将压缩后的目标模板特征和搜索区域特征输入所述激励子单元，利用激励子单元中预设的激活函数的输出对所述目标模板特征和搜索区域特征进行点乘，得到所述激励子单元输出的所述通道注意力特征图。


4.根据权利要求2所述的基于注意力机制与孪生网络的目标跟踪方法，其特征在于，所述空间注意力模块包括若干个用于提取不同空间特征的特征提取组；其中各个特征提取组包括：局部特征提取单元、全局语义特征提取单元和运算单元；
所述将所述目标模板特征和搜索区域特征分别输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述空间注意力模块提取与所述目标模板特征和搜索区域特征对应的空间注意力特征图的步骤包括：
将所述目标模板特征和搜索区域特征、或所述激励子单元输出的所述通道注意力特征图分别依次输入各个局部特征提取单元，通过各个特征提取子单元获...

【专利技术属性】
技术研发人员：陈柏霖，邹文斌，田时舜，李霞，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44