基于二阶池化特征融合的孪生网络目标跟踪方法技术

本发明专利技术公开了一种基于二阶池化特征融合的孪生网络目标跟踪方法，首先,使用孪生网络结构获取目标的深度特征；然后；在孪生网络结构的末端并行添加二阶池化网络和轻量级通道注意力；以获取目标的二阶池化特征和通道注意力特征；最后,将目标的深度特征、二阶池化特征和通道注意力特征进行融合，本发明专利技术使用融合后的特征进行互相关操作，得到地响应图能很好地区分目标和背景，提高跟踪模型的判别能力，改善目标定位的精度，从而提升跟踪性能。从而提升跟踪性能。从而提升跟踪性能。

【技术实现步骤摘要】
基于二阶池化特征融合的孪生网络目标跟踪方法


[0001]本专利技术属于模式识别与智能计算、图像处理的
，特别涉及一种基于二阶池化特征融合的孪生网络目标跟踪方法。

技术介绍

[0002]目标跟踪是计算机视觉领域中最重要的研究方向之一，是指在视频初始帧中给出目标，在后续帧中对目标进行状态估计和精准定位的过程，在安防、监控和巡检等领域有着广泛的应用。
[0003]目前，要实现鲁棒的目标跟踪器依然面临着诸多困难，主要包括相似背景、尺度变化和目标遮挡等。Wang等通过实验表明：良好的特征表达是实现鲁棒的目标跟踪系统的关键因素之一。众多学者也先后设计了灰度、颜色和方向梯度直方图等手工特征，在简单场景中具有良好的性能表现,但是在复杂场景中性能不佳。近年来,卷积神经网络在计算机视觉领域中得到了广泛应用，并在图像分类、目标检测和图像分割等任务中获得大幅度的性能提升。Bertinetto等提出全卷积的孪生网络目标跟踪算法SiamFC，将目标跟踪问题转化为相似性匹配问题,取得了良好的跟踪性能。Li等人提出SiamRPN算法，将孪生网络与区域建议网络结合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于包括以下步骤：S1：获取训练视频集和测试视频集；S2：构建Siamese网络，将视频送入构建网络中；S3:在孪生网络结构末端并行添加二阶池化网络和轻量级通道注意力；S4：将目标的深度特征、二阶池化特征和通道注意力特征以Add方式进行融合；S5：将特征响应图送入目标跟踪网络中，完成目标分类定位。2.如权利要求1所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于S1步骤中，获取训练视频集和测试视频集；所述训练视频集和测试视频集从无人机目标跟踪视频数据集中获得。3.如权利要求1所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于S2步骤中：构建Siamese网络，SiamFC分为离线训练和在线评估两个阶段，具体如下：S2.1离线训练阶段：首先，对训练集中的视频帧进行裁剪缩放，得到以目标为中心，大小为127
×
127的模板图像z和255
×
255的搜索图像x；然后,使用AlexNet端到端的训练相似度匹配函数其中表示卷积嵌入函数，*表示卷积互相关操作，b1表示得分图中各个位置的不同偏置项；S2.2在线评估阶段：以目标的初始外观作为模板,使用相似度匹配函数f(z,x)评估模板帧与当前帧待搜索图像的相似性，经过深度互相关操作计算相似性得分图；从得分图中寻找分数最高的候选区域并乘以相应的步长，得到目标在当前帧与模板帧之间的偏移量，从而确定目标在当前帧中的位置。4.如权利要求1所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于S3步骤中：在孪生网络结构末端并行添加二阶池化网络和轻量级通道注意力；将二阶池化网络应用到SiamFC算法中包括挤压模块和激励模块，具体如下：S3.1挤压模块的目的是在通道维度上对输入张量的信息进行二阶统计建模，获取具有通道相关性的协方差矩阵；假设特征提取网络最后一层的输出张量X”∈R
w
×
h
×
d
,其中d代表特征通道...

【专利技术属性】
技术研发人员：程杰标，吴文娟，邹远炳，
申请(专利权)人：微点数字科技有限公司，
类型：发明
国别省市：