一种基于梯度的多模态目标跟踪数据增强方法技术

本发明专利技术公开了一种基于梯度的多模态目标跟踪数据增强方法，步骤如下：收集多模态目标跟踪模型的原始训练数据集，对所述收集到的数据进行预处理，构造统一的训练数据集；构建多模态目标跟踪模型，获取搜索图像相对于跟踪模型损失函数的梯度；构建目标函数，计算搜索图像相对于目标函数的梯度；将获取的梯度与学习率和随机系数相乘，作为扰动项添加到搜索图像；多次迭代，沿梯度上升方向调整梯度调整梯度值，优化目标函数，获得增强数据。本发明专利技术的方法利用跟踪模型的梯度信息，定义损失程度度量值，设计多目标联合优化函数，生成大量模拟复杂环境和样本变异特征的对抗样本，增强训练数据，以提升跟踪模型的鲁棒性和适应性。

【技术实现步骤摘要】

本专利技术属于多模态单目标跟踪的数据增强，具体涉及一种基于梯度的多模态目标跟踪数据增强方法。

技术介绍

1、在计算机视觉领域，视觉跟踪备受关注，已广泛应用于无人驾驶、监控与安全、医疗手术和增强现实等领域。然而，在复杂环境下，如雨天、烟雾、夜晚等，视觉跟踪的准确性和鲁棒性经常受限。为应对此挑战，研究人员开始整合可见光和红外等多模态信息来提升跟踪效果。尽管部分新型视觉模型取得了进展，但多模态追踪仍受到数据稀缺问题的限制。目前获取多模态数据相对困难，例如可见光和红外数据的成对获取、标记和存储成本较高，导致训练数据稀缺。如何高效的获取配准的多模态跟踪训练数据，近年来也成为一个研究热点。

2、传统的数据增强方法只关注图像本身，例如位置变换、平移、颜色变化等，并没有利用模型在训练过程中对增强方法的适应性，如图像的小角度旋转、rgb灰白、平移等，存在信息丢失，在旋转平移过程中丢失细节信息，降低原始数据的完整性，过度变形容易造成失真生成数据与原始数据不匹配，影响模型的泛化能力的问题；此外，理想的训练数据集应涵盖不同的场景、光照条件、天气条件和其他因素，因此迫切本文档来自技高网...

【技术保护点】

1.一种基于梯度的多模态目标跟踪数据增强方法，步骤如下：

2.根据权利要求1所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤1)具体包括：

3.根据权利要求2所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤2)具体包括：

4.根据权利要求3所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤3)具体包括：

5.根据权利要求4所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤4)具体包括：

6.根据权利要求5所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤5)具体包括：重复上述步骤直至收敛，首先利用反向传播算法，基于...

【技术特征摘要】

1.一种基于梯度的多模态目标跟踪数据增强方法，步骤如下：

2.根据权利要求1所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤1)具体包括：

3.根据权利要求2所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤2)具体包括：

4.根据权利要求3所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤3)具体包括：

5.根据权利要求4所述的基于梯度的多模态目标跟踪数据增强方法，所述步骤4)具体包括：

6.根据权利要求5所述的基于梯度的多模...

【专利技术属性】
技术研发人员：陶传奇，李娇娇，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：