基于跨层特征校准融合的目标跟踪方法及系统技术方案

本发明专利技术涉及一种基于跨层特征校准融合的目标跟踪方法及系统，该方法包括：将模板区域图像和搜索区域图像输入共享权重的孪生卷积神经网络；分别采用修改后的resnet50提取模板分支和搜索分支的特征，提取第三个、第四个卷积块的特征；分别使用基于注意力的特征融合模块融合模板分支、搜索分支的第三个和第四个卷积块的特征；模板分支和搜索分支分别使用跨层校准模块通过融合后的特征来校准第四个卷积块的特征；分别对模板分支和搜索分支的第三个卷积块特征、融合后的特征、校准后的特征做深度互相关，得到三个相似性响应图，拼接在一起并降维；将降维后的相似性响应图输入预测头进行分类回归，最后得到目标的位置。该方法及系统有利于提高目标跟踪的性能。统有利于提高目标跟踪的性能。统有利于提高目标跟踪的性能。

【技术实现步骤摘要】
基于跨层特征校准融合的目标跟踪方法及系统


[0001]本专利技术属于计算机视觉
，具体涉及一种基于跨层特征校准融合的目标跟踪方法及系统。

技术介绍

[0002]目标跟踪是计算机视觉研究领域的热点之一，过去几十年以来，目标跟踪的研究取得了长足的发展，直到现在，目标跟踪仍然是一个重要的研究课题。目标跟踪的任务是根据初始帧所给定的目标信息，对目标进行持续跟踪并对目标轨迹进行预测。在现实生活中，视觉目标跟踪有着广泛应用，如相机的跟踪对焦、交通监控、人机交互、机器人视觉导航、虚拟现实、无人机的自动目标跟踪等。然而，由于在跟踪过程中目标经常会遇到诸如光照变换、快速形变、背景杂乱等情况，如何设计出更加精确、鲁棒的跟踪算法是一项具有挑战的工作。
[0003]在2016年之前，主流的目标跟踪算法主要是基于相关滤波原理来做的，经典的算法比如MOSSE、CSK、KCF、CN、SAMF等。随着深度学习的发展以及在计算机视觉领域的应用，大量的研究人员开始尝试将深度神经网络运用到目标跟踪领域。经典的卷积神经网络(CNN)包括AlexNet、VGG
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨层特征校准融合的目标跟踪方法，其特征在于，包括以下步骤：A.构建一个孪生卷积神经网络，其包括共享权重的模板分支和搜索分支；将模板区域图像和搜索区域图像分别输入所述孪生卷积神经网络的模板分支和搜索分支；B.分别采用修改后的特征提取网络resnet50提取模板分支和搜索分支的特征，并提取的特征包括第三个卷积块的特征和第四个卷积块的特征；C.分别使用基于注意力的特征融合模块融合模板分支的第三个卷积块的特征和第四个卷积块的特征，以及融合搜索分支的第三个卷积块的特征和第四个卷积块的特征；D.模板分支和搜索分支分别使用跨层校准模块利用融合后的特征来校准第四个卷积块的特征；E.分别对模板分支和搜索分支的第三个卷积块特征、模板分支和搜索分支融合后的特征、模板分支和搜索分支校准后的特征做深度互相关操作，得到三个相似性响应图；F.将三个相似性响应图拼接在一起，再进行降维处理；G.将降维后的相似性响应图输入到预测头进行分类回归，最后得到目标的位置。2.根据权利要求1所述的基于跨层特征校准融合的目标跟踪方法，其特征在于，步骤B中，所述修改后的特征提取网络resnet50是将resnet50网络最后两层的有效步长stride改为8，同时将最后两层的卷积方式改为空洞卷积，以在减小步长的同时不缩小感受野。3.根据权利要求1所述的基于跨层特征校准融合的目标跟踪方法，其特征在于，步骤B中，分别提取模板分支的第三个卷积块的特征和第四个卷积块的特征以及搜索分支的第三个卷积块的特征和第四个卷积块的特征步骤C中，使用基于注意力的特征融合模块融合和得到以及融合和得到4.根据权利要求3所述的基于跨层特征校准融合的目标跟踪方法，其特征在于，步骤C中，基于注意力的特征融合模块的具体实现方法为：设有两个输入特征a和b，首先对a和b进行简单的初始特征集成，得到特征A，即A＝a
·
b将得到的特征分别输入到局部注意力和非局部注意力，即L(A)＝β(PWConv1(δ(β(PWConv2(A)))))其中，PWConv1和PWConv2的卷积核大小分别为和β表示批归一化，δ是Sigmoid函数，i表示输出位置，其响应值通过枚举j来计算；F函数计算A
i
和A

【专利技术属性】
技术研发人员：陈思，黄璜，王大寒，朱顺痣，吴芸，周伟，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：