【技术实现步骤摘要】
本专利技术涉及计算机视觉目标跟踪，尤其涉及一种基于交互隐藏状态时空信息的rgbt目标跟踪方法及系统。
技术介绍
1、rgbt目标跟踪通过结合可见光(rgb)和热红外(tir)图像的优势，为实现全天候、全环境下的目标跟踪提供了新的可能性，在rgbt目标跟踪中，两种模态的特征交互方式对跟踪器性能表现很重要。目标跟踪序列具有丰富的时序信息。在进行目标跟踪时，目标状态和背景随时间改变。充分利用序列的时序信息能够提升跟踪器的性能。随着技术的发展，tctrack通过使用改进的onlinetadaconv在特征维度高效引入时序信息，通过不断积累的时序信息修正特征图。artrack将跟踪视为一个坐标序列解释任务，以时间自回归的方式对目标轨迹进行建模，从而实现跨帧跟踪目标。stmt引入动态模板，通过注意力机制实现搜索区域和模板图像的交互，嵌入时间信息解决目标外观变化。hiptrack对高质量的历史目标特征进行编码，并生成有效的历史提示进行跟踪。tatrack引用在线更新模板获取时间信息，初始模板分支和在线模板分支进行多模态特征提取和跨模态交互。虽然上述跟...
【技术保护点】
1.一种基于交互隐藏状态时空信息的RGBT目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于交互隐藏状态时空信息的RGBT目标跟踪方法，其特征在于，所述RGBT目标跟踪模型具体包括补丁嵌入层、共享词汇表、特征提取模块与交互模态融合模块，其中：
3.根据权利要求2所述一种基于交互隐藏状态时空信息的RGBT目标跟踪方法，其特征在于，所述交互桥具体包括第一Mamba组件与第二Mamba组件，所述第一Mamba组件与所述第二Mamba组件均包括第一线性层、第二线性层、一维卷积层、激活函数、状态空间模型与第三线性层，所述第一线性层的...
【技术特征摘要】
1.一种基于交互隐藏状态时空信息的rgbt目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于交互隐藏状态时空信息的rgbt目标跟踪方法，其特征在于，所述rgbt目标跟踪模型具体包括补丁嵌入层、共享词汇表、特征提取模块与交互模态融合模块，其中：
3.根据权利要求2所述一种基于交互隐藏状态时空信息的rgbt目标跟踪方法，其特征在于，所述交互桥具体包括第一mamba组件与第二mamba组件，所述第一mamba组件与所述第二mamba组件均包括第一线性层、第二线性层、一维卷积层、激活函数、状态空间模型与第三线性层，所述第一线性层的输出端与所述一维卷积层的输入端连接，所述第二线性层的输出端与所述激活函数的输入端连接，所述一维卷积层的输出端与所述状态空间模型的输入端连接，所述状态空间模型的输出端、所述激活函数的输出端与所述第三线性层的输入端连接。
4.根据权利要求3所述一种基于交互隐藏状态时空信息的rgbt目标跟踪方法，其特征在于，所述基于rgbt图像样本数据集与rgbt图像坐标序列对对rgbt目标跟踪模型进行目标跟踪训练，获取最优模型参数这一步骤，其具体包括：
5.根据权利要求4所述一种基于交互隐藏状态时空信息的rgbt目标跟踪方法，其特征在于，所述将初始模板图像、搜索区域图像与映射后的rgbt图像坐标输入至rgbt目标跟踪模型进行目标跟踪，得到目标的边界框...
【专利技术属性】
技术研发人员：袁笛，廖东海，张海平，陈睿，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。