【技术实现步骤摘要】
本专利技术涉及单目标跟踪领域，尤其涉及一种基于双向adapter的多模态与多无人机的单目标跟踪方法。
技术介绍
1、目标跟踪是计算机视觉的一项基础视觉任务，单目标跟踪算法(sot)的任务背景为：对于一个给定的视频序列，在视频初始给定指定目标的跟踪框，设计算法在视频的后续帧中捕捉指定目标的位置。单目标跟踪算法需要保持对任意给定对象的跟踪，甚至是没有训练过的未知类别对象。尽管基于rgb图像的目标跟踪算法在理想条件下表现良好，但复杂场景中的光照变化、阴影和低光照会导致rgb相机难以有效捕捉目标信息，这些因素限制了rgb跟踪算法的性能，影响鲁棒性和准确性。为了提升目标跟踪效果，领域内引入了多模态互补信息，如多相机协同、热红外技术、事件相机和自然语言描述，以克服环境干扰和提升算法的鲁棒性与适应能力。热红外传感器通过捕捉物体发出的热量，在低光或黑暗环境中清晰呈现目标，尽管其分辨率较低且缺乏纹理信息，但与rgb图像的互补性为多模态目标跟踪提供了可能。事件相机通过捕捉像素级的视觉强度变化，提供高时间分辨率的数据，特别适用于快速运动目标的跟踪。在目标遮挡...
【技术保护点】
1.一种基于双向Adapter的多模态与多无人机的单目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述一种基于双向Adapter的多模态与多无人机的单目标跟踪方法，其特征在于，步骤S1中：
3.根据权利要求1所述一种基于双向Adapter的多模态与多无人机的单目标跟踪方法，其特征在于，所述双流编码器使用Vision Transformer作为主干网络，每个编码器分支由12层Transformer块组成，用以对每个模态的模板帧与搜索帧进行联合特征提取；每个编码器分支使用ODTrack的网络参数进行初始化，并在训练时冻结其全部参数。
<...【技术特征摘要】
1.一种基于双向adapter的多模态与多无人机的单目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述一种基于双向adapter的多模态与多无人机的单目标跟踪方法，其特征在于，步骤s1中：
3.根据权利要求1所述一种基于双向adapter的多模态与多无人机的单目标跟踪方法，其特征在于，所述双流编码器使用vision transformer作为主干网络，每个编码器分支由12层transformer块组成，用以对每个模态的模板帧与搜索帧进行联合特征提取；每个编码器分支使用odtrack的网络参数进行初始化，并在训练时冻结其全部参数。
4.根据权利要求1所述一种基于双向adapter的多模态与多无人机的单目标跟踪方法，其特征在于，双向adapter以模块化形式嵌入到每个编码器分支内的每一层的注意力层和前馈层mlp，进行跨模态/视角特征提示；协同增强各编码器分支的目标特征，同时传递并更新各编码器分支的隐状态。
5.根据权利要求1所述一种基于双向adapter的多模态与多无人机的单目标跟踪方法，其特征在于，以某一编码器分支m1处理为例，第i层特征更新为：
6.根据权利要求1所述一种基于双向adapter的多模态与多无人机的单目标跟踪方法，其特征在于，对于预测头，使用与odtrack中相同的结构与...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。