一种两阶段追踪方法及装置制造方法及图纸

技术编号:41527400 阅读:18 留言:0更新日期:2024-06-03 23:02
本发明专利技术涉及深度学习计算机视觉领域目标追踪领域,特别是指一种两阶段追踪方法及装置,方法包括:获取待进行目标追踪的视频数据,根据视频数据获取图像对;构建基础追踪模型,采用双向视觉引导训练方法、视频序列微调方法以及目标层级的随机擦除数据增强方法,对基础追踪模型进行训练,得到训练好的追踪模型;根据图像对以及训练好的追踪模型,得到目标追踪结果。本发明专利技术提出了一种两阶段的训练方式,能够在有效利用视频序列信息的同时不增加任何推理成本。除此之外,本发明专利技术提出了一种目标层级的随机擦除数据增强方案,能够很好模拟在追踪过程中出现的遮挡问题,使训练的追踪器更加鲁棒。

【技术实现步骤摘要】

本专利技术涉及深度学习计算机视觉领域目标追踪,特别是指一种两阶段追踪方法及装置


技术介绍

1、目标追踪对实时性要求较高,处理对象是时序视频的任务,且拥有明确的追踪目标。连续的视频序列相比于静止的图像,拥有更多的信息,例如目标的速度、加速度以及运动变化趋势。正因如此,从视频中挖掘出视频所包含的信息,对于追踪器的鲁棒性至关重要。

2、基于深度学习的目标追踪整体框架主要分为两类:基于孪生神经网络的目标追踪以及单流目标追踪。首先是基于孪生神经网络的目标追踪,孪生神经网络是由两个相同的子网络组成,这两个子网络通常被称为孪生网络。这两个网络共享相同的权重和结构,以确保它们学到的特征表示在空间中是相似的。简而言之,孪生神经网络尽管看似有两个网络,其实是同一个。孪生神经网络的输入通常包括两张图片,分别是搜索图像和模板图像。模板图像是在初始帧中选择的目标的图像,而搜索图像则是在当前帧中可能包含目标的图像。将两张图片分别输入到网络中进行特征提取,由于网络结构以及权重是相同的,所以整体的特征会被映射到相同的特征空间当中。在分别得到模板图像以及搜索图像的特征后,对两本文档来自技高网...

【技术保护点】

1.一种两阶段追踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述S2中的构建基础追踪模型,采用双向视觉引导训练方法、视频序列微调方法以及目标层级的随机擦除数据增强方法,对所述基础追踪模型进行训练,得到训练好的追踪模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述S23中的根据所述视频样本数据集以及双向视觉引导训练方法,对所述基础追踪模型进行训练,得到训练好的Transformer骨干网络以及训练好的预测头,包括:

4.根据权利要求2所述的方法,其特征在于,所述S24中的根据所述视频样本数据集以及视频序列微调方...

【技术特征摘要】

1.一种两阶段追踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述s2中的构建基础追踪模型,采用双向视觉引导训练方法、视频序列微调方法以及目标层级的随机擦除数据增强方法,对所述基础追踪模型进行训练,得到训练好的追踪模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述s23中的根据所述视频样本数据集以及双向视觉引导训练方法,对所述基础追踪模型进行训练,得到训练好的transformer骨干网络以及训练好的预测头,包括:

4.根据权利要求2所述的方法,其特征在于,所述s24中的根据所述视频样本数据集以及视频序列微调方法,对所述训练好的预测头进...

【专利技术属性】
技术研发人员:樊彬陈永杰刘红敏
申请(专利权)人:北京科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1