一种基于自适应局部挖掘的目标跟踪方法技术

本公开提供一种基于自适应局部挖掘的目标跟踪方法，对图像中的目标进行动态跟踪，包括：确定包含目标的目标模板图像和搜索区域图像并提取得到包含目标特征的模板特征和搜索区域特征；对包含目标特征的模板特征和搜索区域特征进行增强，并得到目标整体表示；通过所述目标整体表示对搜索区域图像中的目标区域进行激活得到目标激活图；将目标激活图和增强后的搜索区域特征输入自适应局部解码器以得到目标的局部特征；以及根据目标的局部特征预测关键点并推导出定位目标的目标框。测关键点并推导出定位目标的目标框。测关键点并推导出定位目标的目标框。

【技术实现步骤摘要】
一种基于自适应局部挖掘的目标跟踪方法


[0001]本公开涉及计算机视觉、人工智能、图像处理
，尤其涉及一种基于自适应局部挖掘的目标跟踪方法。

技术介绍

[0002]视觉目标跟踪是计算机视觉领域中的基础研究课题，目标是在视频序列中自动定位目标。其在智能视频监控、人机交互、机器人与自动驾驶中有着广泛应用。
[0003]视觉目标跟踪中存在形变、局部遮挡、运动模糊等关键挑战。现有的大量方法基于目标的整体表示来匹配与定位目标，比如孪生网络跟踪器、相关滤波跟踪器。这种基于整体表示的方法在面对目标外观剧烈变化时表现不佳，这是由于目标整体的表观描述会发生大的偏移导致定位误差。
[0004]为了灵活应对目标形变，基于局部的目标跟踪算法应运而生，他们通常将目标手工划分成不同的局部，然后基于这些局部进行目标的定位与跟踪。这些基于局部的方法取得了优秀的性能，说明了目标的局部表示可以为应对目标的形变问题提供灵活、可靠的信息。然而，这种手工设计的规则划分不能够适合于任意的目标与任意的形变，会造成局部不对齐的现象，限制了模型跟踪的性能的进一步提升。

技术实现思路

[0005]基于上述问题，本公开提供了一种基于自适应局部挖掘的目标跟踪方法，以缓解现有技术中的上述技术问题。
[0006]（一）技术方案本公开提供一种基于自适应局部挖掘的目标跟踪方法，对图像中的目标进行动态跟踪，包括：确定包含目标的目标模板图像和搜索区域图像并提取得到包含目标特征的模板特征和搜索区域特征；对包含目标特征的模板特征和搜索区域特征进行增强，并得到目标整体表示；通过所述目标整体表示对搜索区域图像中的目标区域进行激活得到目标激活图；将目标激活图和增强后的搜索区域特征输入自适应局部解码器以得到目标的局部特征；以及根据目标的局部特征预测关键点并推导出定位目标的目标框。
[0007]根据本公开实施例，通过共享参数的骨干网络分别对目标模板图像和搜索区域图像进行特征提取得到模板特征和搜索区域特征。
[0008]根据本公开实施例，目标模板图像为两倍目标大小，搜索区域图像为四倍目标大小。
[0009]根据本公开实施例，将模板特征和搜索区域特征与可学习的目标原型拼接成序列输入到目标表征编码器中，建立模板特征与搜索区域特征的全局交互，增强模板特征和搜索区域特征的全局理解能力，并得到目标整体表示。
[0010]根据本公开实施例，通过目标整体表示与搜索区域特征之间的相似性计算得到目标激活图。
[0011]根据本公开实施例，所述自适应局部解码器通过互注意力机制挖掘目标局部特征，并对目标局部进行激活得到目标局部特征图。
[0012]根据本公开实施例，通过引入多个局部原型，通过互注意力机制来生成并更新目标的多个局部滤波器，以通过所述多个局部滤波器动态地随着跟踪的目标变化而变化。
[0013]根据本公开实施例，目标状态估计解码器根据目标的局部特征回归对应的关键点，推导出定位目标的目标框。
[0014]根据本公开实施例，基于点的局部回归方法，使得不同的局部关注不同的目标细节来进行精确的状态估计。
[0015]根据本公开实施例，目标表征编码器包括6层编码层，每层编码层包括多头自注意力和前馈网络。
[0016]（二）有益效果从上述技术方案可以看出，本公开基于自适应局部挖掘的目标跟踪方法至少具有以下有益效果其中之一或其中一部分：（1）能够对实现对任意类别目标、任意形变状态下的自适应局部划分；（2）解决了传统手工设计的局部划分带来的局部不对齐问题，使得目标局部特征可以提供灵活、可靠的表观信息进行高精度目标状态估计，有效处理目标形变问题，显著提高跟踪器在困难场景下的跟踪性能。
附图说明
[0017]图1为本公开实施例的目标表征编码器的架构示意图。
[0018]图2为本公开实施例的基于自适应局部挖掘的目标跟踪方法的原理架构示意图。
[0019]图3为本公开实施例的基于自适应局部挖掘的目标跟踪方法的流程示意图。
具体实施方式
[0020]本公开提供了一种基于自适应局部挖掘的目标跟踪方法，能够为不同类别、不同形变下的目标自适应产生局部划分，解决局部不对齐的现象，实现鲁棒的视觉跟踪。可应用于视觉目标跟踪相关的应用系统中，对视频中的目标进行定位。在实施上，可以以软件形式嵌入到移动设备中，提供实时目标定位结果；也可以安装在后台服务器中，提供大批量视频定位结果。
[0021]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0022]在本公开实施例中，提供一种基于自适应局部挖掘的目标跟踪方法，对图像中的目标进行动态跟踪，结合图1至图3所示，所述基于自适应局部挖掘的目标跟踪方法，包括操作S1
‑
S5：S1：确定包含目标的目标模板图像和搜索区域图像并提取得到包含目标特征的模板特征和搜索区域特征；S2：对包含目标特征的模板特征和搜索区域特征进行增强，并得到目标整体表示；S3：通过所述目标整体表示对搜索区域图像中的目标区域进行激活得到目标激活图；
S4：将目标激活图和增强后的搜索区域特征输入自适应局部解码器以得到目标的局部特征；以及S5：根据目标的局部特征预测关键点并推导出定位目标的目标框。
[0023]根据本公开实施例，通过共享参数的骨干网络分别对目标模板图像和搜索区域图像进行特征提取得到模板特征和搜索区域特征。
[0024]根据本公开实施例，目标模板图像为两倍目标大小，搜索区域图像为四倍目标大小。
[0025]根据本公开实施例，将模板特征和搜索区域特征与可学习的目标原型拼接成序列输入到目标表征编码器中，建立模板特征与搜索区域特征的全局交互，增强模板特征和搜索区域特征的全局理解能力，并得到目标整体表示。
[0026]根据本公开实施例，总的原理架构如图2所示：以首帧裁剪的包含目标的目标模板以及根据跟踪过程中上一帧目标位置裁剪的搜索区域图像数据作为输入，其中目标模板图像为两倍目标大小，搜索区域图像为四倍目标大小。本公开目标跟踪方法的目的是根据视频首帧中给定的目标位置，在后续视频序列中自动定位目标。目标模板图像与搜索区域图像通过共享参数的骨干网络提取特征，得到模板特征，与搜索区域特征，。其中，d表示特征维度，()与()分别表示目标模板与搜索区域特征图的大小。，与可学习的目标原型拼接成序列输入到目标表征编码器中。目标表征编码器可以对特征进行长距离的交互，增强特征的全局理解能力。目标原型在全局特征建模中挖掘得到目标整体表示。之后，通过与搜索区域特征进行相似性计算得到的目标激活图。自适应局部解码器通过互注意力机制在激活后的搜索区域中挖掘目标局部特征，并对目标局部进行激活得到目标局部特征图。进一步，目标状态解码器利用目标的局部特征回归对应的关键点，并最终推导出目标的精确位置。
[0027]根据本公开实施例，如图1所示，目标表征编码器包括6层编码层，它可以建立模板与搜索区域特征的全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应局部挖掘的目标跟踪方法，对图像中的目标进行动态跟踪，包括：确定包含目标的目标模板图像和搜索区域图像并提取得到包含目标特征的模板特征和搜索区域特征；对包含目标特征的模板特征和搜索区域特征进行增强，并得到目标整体表示；通过所述目标整体表示对搜索区域图像中的目标区域进行激活得到目标激活图；将目标激活图和增强后的搜索区域特征输入自适应局部解码器以得到目标的局部特征；以及根据目标的局部特征预测关键点并推导出定位目标的目标框。2.根据权利要求1所述的基于自适应局部挖掘的目标跟踪方法，通过共享参数的骨干网络分别对目标模板图像和搜索区域图像进行特征提取得到模板特征和搜索区域特征。3.根据权利要求2所述的基于自适应局部挖掘的目标跟踪方法，目标模板图像为两倍目标大小，搜索区域图像为四倍目标大小。4.根据权利要求1所述的基于自适应局部挖掘的目标跟踪方法，将模板特征和搜索区域特征与可学习的目标原型拼接成序列输入到目标表征编码器中，建立模板特征与搜索区域特征的全局交互，增强模板特征和搜索区域特征的...

【专利技术属性】
技术研发人员：张天柱，马银超，杨大为，何建峰，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：