【技术实现步骤摘要】
本专利技术涉及图像处理及目标跟踪领域，具体涉及一种基于耦合-解耦交互的多模态目标跟踪方法。
技术介绍
1、多模态视觉跟踪作为目标跟踪领域的重要分支，在安防监控、自动驾驶、智能感知等实际应用中发挥着关键作用，具有广泛的应用前景和重要的研究意义。该任务旨在利用来自不同模态的图像信息（如红外与可见光）实现对目标的鲁棒跟踪，以应对单一模态在光照变化、遮挡、背景干扰等复杂场景中表现不佳的问题。红外图像能够在低照度甚至无光条件下提供稳定的目标热辐射信息，而可见光图像则更擅长表达物体的细节纹理与结构轮廓。两种模态在感知能力上的互补性，为构建更加可靠的跟踪系统提供了可能。近年来，随着传感器技术的快速发展和计算能力的显著提升，多模态视觉跟踪技术已逐步从理论研究走向实际应用，并在军事侦察、智能交通、工业检测等多个关键领域展现出巨大潜力。
2、由于红外与可见光在成像机制、语义分布和统计特性上存在显著差异，模态间的信息融合往往会导致冗余增强、语义错配甚至目标特征被淹没的问题。具体而言，这种差异主要体现在以下几个方面：首先，在成像原理上，红外图像反映...
【技术保护点】
1.一种基于耦合-解耦特征增强的多模态目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于耦合-解耦特征增强的多模态目标跟踪方法，其特征在于：步骤一中，可见光和热红外图像的模板和搜索区域图像首先被划分为不重叠的图像块，大小为，将其展平得到四个图像序列后，分别通过嵌入层，并添加位置信息得到对应的特征向量，具体计算过程如下：
3.根据权利要求1所述基于耦合-解耦特征增强的多模态目标跟踪方法，其特征在于：步骤二中，通过两个对称分支的多层编码器，使用多头注意力对各模态模板和搜索区域进行联合特征提取和关系建模，可见光分支的具体计算过程如下
4....
【技术特征摘要】
1.一种基于耦合-解耦特征增强的多模态目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于耦合-解耦特征增强的多模态目标跟踪方法，其特征在于：步骤一中，可见光和热红外图像的模板和搜索区域图像首先被划分为不重叠的图像块，大小为，将其展平得到四个图像序列后，分别通过嵌入层，并添加位置信息得到对应的特征向量，具体计算过程如下：
3.根据权利要求1所述基于耦合-解耦特征增强的多模态目标跟踪方法，其特征在于：步骤二中，通过两个对称分支的多层编码器，使用多头注意力对各模态模板和搜索区域进行联合特征提取和关系建模，可见光分支的具体计算过程如下：
4.根据权利要求1所述基于耦合-解耦特征增强的多模态目标跟踪方法，其特征在于：步骤三中所述的目标感知的跨模态交叉注意力计算过程如下：
...【专利技术属性】
技术研发人员：李美惠，罗彬欣，刘东旭，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。