基于残差通道注意与多层次分类回归的目标跟踪方法技术

本发明专利技术公开了一种基于残差通道注意与多层次分类回归的目标跟踪方法，包括构建深度孪生神经网络，获取模板区域的特征图和搜索区域的特征图；将模板区域的特征图和搜索区域的特征图做深度互相关运算，得到第一响应图；构建多层次分类回归网络，对所述分类回归网络的得分进行加权融合，得到第二响应图，获取所述第二响应图上的每个像素点对应的前景概率和预测的包围框，计算每个像素点的总得分，总得分最高的像素点位置是跟踪目标的中心；进行孪生神经网络和多层次分类回归网络的训练，使用训练好的网络计算待测图像序列中目标的得分图，根据得分图对目标进行定位，提高了在复杂环境下跟踪的准确性和鲁棒性。下跟踪的准确性和鲁棒性。下跟踪的准确性和鲁棒性。

【技术实现步骤摘要】
基于残差通道注意与多层次分类回归的目标跟踪方法


[0001]本专利技术属于视觉目标跟踪
，具体涉及一种基于残差通道注意与多层次分类回归的目标跟踪方法。

技术介绍

[0002]视觉目标跟踪在计算机视觉领域中一直以来都是一个研究热点，其应用在现实生活中体现在人机交互、智能监控和交通检测等领域，近些年来目标跟踪已经取得了非常大的进步，随着SiamFC的提出，基于孪生网络的目标跟踪算法研究取得了显著的进展，在平均期望重叠和准确率上达到一个较高的水准，然而，在搜索区域中存在相似语义信息对目标定位带来的干扰，并且由于大多数孪生网络方法使用了深层的特征网络，而深层特征包含目标的细节信息较少，而且基于前景、背景分类的网络不能有效的增强前景特征，所以即使是比较先进的跟踪算法SiamCAR，其鲁棒性依然存在不足。

技术实现思路

[0003]为解决上述技术问题，本专利技术提供一种基于残差通道注意与多层次分类回归的目标跟踪方法。
[0004]具体方案如下：基于残差通道注意与多层次分类回归的目标跟踪方法，包括如下步骤，步骤1）：构建深度孪生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于残差通道注意与多层次分类回归的目标跟踪方法，其特征在于：包括如下步骤，步骤1）：构建深度孪生神经网络，所述深度孪生神经网络包括模板分支和搜索分支，所述模板分支和搜索分支中均采用ResNet50网络用于特征提取，所述模板分支中还设置有残差通道注意力机制；步骤2）：从图像样本集中截取模板区域图像和搜索区域图像，将截取的模板区域图像输入到模板分支中，以获取模板区域的特征图；将截取的搜索区域图像输入到搜索分支中，以获取搜索区域的特征图；步骤3）：将模板区域的特征图和搜索区域的特征图做深度互相关运算，以得到第一响应图；步骤4）：构建多层次分类回归网络，所述多层次分类回归网络中均包含分类分支和回归分支，所述分类分支输出每个像素点位置属于目标区域前景的概率，所述回归分支输出四条包围框对应像素点位置之间的距离，将所述响应图经过降维后输入到多层次分类回归网络中；步骤5）：对所述分类回归网络的得分进行加权融合，得到第二响应图，获取所述第二响应图上的每个像素点对应的前景概率和预测的包围框，结合前景概率和包围框的信息，计算每个像素点的总得分，总得分最高的像素点位置是跟踪目标的中心；步骤6）：使用训练数据集进行孪生神经网络和多层次分类回归网络的训练，使用训练好的网络计算待测图像序列中目标的得分图，根据得分图对目标进行定位。2.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法，其特征在于：所述模板分支和所述搜索分支的结构相同且参数共享。3.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法，其特征在于：残差通道注意力机制对所述模板区域图像的处理方法为P1）：将所述模板区域图像做最大池化和均值池化操作，并输入到共享的多层感知机进行相加；P2）：将步骤P1）中相加后的结果经过Sigmoid激活函数得到通道权重，并将所述通道权重与模板区域图像的特征相乘后再与所述模板区域图像相加，以输出通道残差注意力机制。4.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法，其特征在于：所述模板区域图像是视频序列第一帧中目标的位置区域，所述搜索区域图像是以上...

【专利技术属性】
技术研发人员：于俊洋，左梦乐，祝旭阳，
申请(专利权)人：河南大学，
类型：发明
国别省市：