基于非对称早期融合和时序模态差分的可见光-热红外视频目标检测方法技术

本发明专利技术公开一种基于非对称早期融合和时序模态差分的可见光‑热红外视频目标检测方法，为保持中间融合的多分支结构，本发明专利技术设计一种不对称的早期融合策略，该策略确保网络的每个分支都积极减少模态差异；同时为减少噪声的影响并增强泛化能力，本发明专利技术还设计一个基于时序模态差异的中间融合模块，通过时序差异负责有效地建模时间信息，而模态差异使网络减少对噪声区域的关注。本发明专利技术在现有的可见光‑热红外视频目标检测数据集上取得了较好的效果。

【技术实现步骤摘要】

本专利技术涉及跨模态图像处理技术，具体涉及一种基于非对称早期融合和时序模态差分的可见光-热红外视频目标检测方法。

技术介绍

1、视频目标检测是一种计算机视觉技术，旨在识别和定位视频中的目标物体。它有着广泛的应用，包括视频监控、智能交通系统、自动驾驶、增强现实和虚拟现实等领域。视频目标检测的
技术介绍
是指支撑这一技术的核心算法和方法。

2、在过去的几十年里，视频目标检测取得了巨大的发展。早期的视频目标检测方法主要依赖于手工设计的特征提取器和分类器。其中，最著名的是haar特征和基于adaboost的分类器。这些方法在早期的目标检测任务中取得了一定的效果，但受限于特征的表达能力和分类器的性能，无法在复杂的场景中实现准确的目标检测。随着深度学习的兴起，特别是卷积神经网络(cnn)的应用，视频目标检测取得了巨大的突破。cnn可以自动从海量的图像数据中学习到具有判别能力的特征表示，并在目标检测任务中取得了显著的性能提升。其中，最具代表性的方法之一是基于区域提议网络(r-cnn)的方法。r-cnn将目标检测任务分解为候选区域生成和区域分类两个阶段，通过使用深本文档来自技高网...

【技术保护点】

1.一种基于非对称早期融合和时序模态差分的可见光-热红外视频目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于非对称早期融合和时序模态差分的可见光-热红外视频目标检测方法，其特征在于，将feat,3～5、和输入中期特征编码器后，分别经过通道上的Max和Mean操作，得到八个通道数为1的张量，分别代表各自的空间分布，将八个通道沿通道维度拼接；然后分为两个分支去建模相关性特征，这两个分支分别由MLP和CNN的结构去完成，其中第二个CNN分支采取YOLOF结构中的Dilated Encoder模块；

3.根据权利要求1所述的基于非对称早期融合和时序模...

【技术特征摘要】

1.一种基于非对称早期融合和时序模态差分的可见光-热红外视频目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于非对称早期融合和时序模态差分的可见光-热红外视频目标检测方法，其特征在于，将feat,3～5、和输入中期特征编码器后，分别经过通道上的max和mean操作，得到八个通道数为1的张量，分别代表各自的空间分布，将八个通道沿通道维度拼接；然后分为两个分支去建模相关性特征，这两个分支分别由mlp和cnn的结构去完成，其中第二个cnn分支采取yolof结构中的dilated encoder模块...

【专利技术属性】
技术研发人员：涂铮铮，汪启顺，李成龙，罗斌，汤进，吕皖丽，
申请(专利权)人：安徽大学，
类型：发明
国别省市：