【技术实现步骤摘要】
本专利技术涉及深度学习计算机视觉领域目标追踪,特别是指一种两阶段追踪方法及装置。
技术介绍
1、目标追踪对实时性要求较高,处理对象是时序视频的任务,且拥有明确的追踪目标。连续的视频序列相比于静止的图像,拥有更多的信息,例如目标的速度、加速度以及运动变化趋势。正因如此,从视频中挖掘出视频所包含的信息,对于追踪器的鲁棒性至关重要。
2、基于深度学习的目标追踪整体框架主要分为两类:基于孪生神经网络的目标追踪以及单流目标追踪。首先是基于孪生神经网络的目标追踪,孪生神经网络是由两个相同的子网络组成,这两个子网络通常被称为孪生网络。这两个网络共享相同的权重和结构,以确保它们学到的特征表示在空间中是相似的。简而言之,孪生神经网络尽管看似有两个网络,其实是同一个。孪生神经网络的输入通常包括两张图片,分别是搜索图像和模板图像。模板图像是在初始帧中选择的目标的图像,而搜索图像则是在当前帧中可能包含目标的图像。将两张图片分别输入到网络中进行特征提取,由于网络结构以及权重是相同的,所以整体的特征会被映射到相同的特征空间当中。在分别得到模板图像以及搜
...【技术保护点】
1.一种两阶段追踪方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述S2中的构建基础追踪模型,采用双向视觉引导训练方法、视频序列微调方法以及目标层级的随机擦除数据增强方法,对所述基础追踪模型进行训练,得到训练好的追踪模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述S23中的根据所述视频样本数据集以及双向视觉引导训练方法,对所述基础追踪模型进行训练,得到训练好的Transformer骨干网络以及训练好的预测头,包括:
4.根据权利要求2所述的方法,其特征在于,所述S24中的根据所述视频样本数据
...【技术特征摘要】
1.一种两阶段追踪方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述s2中的构建基础追踪模型,采用双向视觉引导训练方法、视频序列微调方法以及目标层级的随机擦除数据增强方法,对所述基础追踪模型进行训练,得到训练好的追踪模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述s23中的根据所述视频样本数据集以及双向视觉引导训练方法,对所述基础追踪模型进行训练,得到训练好的transformer骨干网络以及训练好的预测头,包括:
4.根据权利要求2所述的方法,其特征在于,所述s24中的根据所述视频样本数据集以及视频序列微调方法,对所述训练好的预测头进...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。