【技术实现步骤摘要】
本专利技术涉及目标检测，主要涉及一种基于跨模态瓶颈适配网络的机载多模态目标检测方法。
技术介绍
1、在计算机视觉领域，目标检测是一项至关重要的任务，它涉及从图像或视频中准确地识别和定位特定对象或物体。随着技术的不断发展，人们对于多模态目标检测的需求也日益增加。在这个背景下，无人机机载设备等应用成为了多模态目标检测的一个重要场景。
2、无人机机载设备代表了现代航空领域的未来发展方向，它是一种结合了人工智能和机器学习技术的智能飞行平台。通过无人机技术，这些设备能够自主地在空中执行各种任务，包括航拍、监测、搜救等。然而，在实际应用中，无人机机载设备需要准确地识别和定位空中或地面上的各种目标，如车辆、建筑物等，以便执行任务或规避障碍。
3、与传统的目标检测方法相比，多模态目标检测能够同时利用多种不同类型的数据源，如可见光图像、红外图像等，从而提高了目标检测的性能和鲁棒性。例如，在无人机机载设备中，除了可见光图像外，还可以利用红外图像来增强对夜间或恶劣天气条件下的目标检测能力。这样，即使在光照条件不佳或有遮挡物的情况下，设备也能够准确地识别目标，确保任务的顺利执行。
4、然而，多模态目标检测也面临着一些挑战。首先，不同成像模态之间存在着显著的特性差异。例如，可见光图像和红外图像在成像机制和物体表现上有着明显的差异，这导致了目标检测的难度增加。其次，不同模态的信息存在冗余，即对于同一目标，不同模态的信息可能重复或者提供类似的信息。这会增加特征表示的复杂度和计算成本，同时也增加了对特征表示语义准确性和编码效
技术实现思路
1、专利技术目的：针对上述
技术介绍
中存在的问题，本专利技术提供了一种基于跨模态瓶颈适配网络的机载多模态目标检测方法。首先，为应对模态特性差异挑战，本专利技术设计了跨模态分布适配，引入了互信息理论，为目标识别和定位任务分别定制了全局互信息适配机制和结构互信息适配机制，前者关注全局的类信息，后者可捕获精细的局部空间结构。接着，为应对模态冗余挑战，本专利技术构建了变分信息瓶颈，通过多模态分布融合、先验分布约束和任务约束，使模型关注于多模态数据中任务相关的关键信息。
2、技术方案：为实现上述目的，本专利技术采用的技术方案为：
3、一种基于跨模态瓶颈适配网络的多模态目标检测方法，包括如下步骤：
4、步骤1，分别对红外图像和可见光图像的roi特征解耦，以获得类隐变量和空间隐变量，具体包括可见光类隐变量红外类隐变量可见光空间隐变量和红外空间隐变量
5、步骤2，对类隐变量和空间隐变量分别进行跨模态分布适配。通过最大化模态间的共享信息量对不同模态的特征分布进行适配，为跨模态特征交互提供基础。
6、进一步的，步骤2中，所述跨模态分布适配包括互信息优化；
7、所述互信息优化包括对可见光类隐变量和红外类隐变量的互信息优化、以及对可见光空间隐变量和红外空间隐变量的互信息优化；
8、可见光类隐变量和红外类隐变量的互信息表示为联合分布和边缘分布的乘积之间的kl散度，如下：
9、
10、通过最大化联合分布和边缘分布乘积的分布差异，实现变量可见光类隐变量和红外类隐变量的互信息最大化，得到互信息优化后的可见光类隐变量和红外类隐变量
11、对可见光空间隐变量和红外空间隐变量的互信息表示为联合分布和边缘分布乘积之间的kl散度：
12、
13、通过最大化联合分布和边缘分布乘积的分布差异，实现可见光空间隐变量和红外类隐变量的互信息最大化，得到互信息优化后的可见光空间隐变量和红外空间隐变量
14、进一步的，步骤2中，所述跨模态分布适配还包括全局互信息适配和结构互信息适配：
15、所述全局互信息适配是指从互信息优化后的两模态类分布中采样类隐变量，并构建正样本对和负样本对其中，两模态中编码了相同目标信息的类隐变量被视作正样本对，编码了不同目标信息的类隐变量被视作负样本对；然后，将正负样本对输入全局互信息判别器，获得类分布适配损失；所述结构互信息适配是指从互信息优化后的两模态空间分布中采样空间隐变量，并构建正样本对和负样本对其中，编码了相同目标的两模态roi特征和对应的空间隐变量被视作正样本对，编码了不同目标的两模态roi特征和对应的空间隐变量被视作负样本对；然后，将正负样本对输入结构互信息判别器，获得空间分布适配损失；分布适配损失表示为类分布适配损失和空间分布适配损失的加权和。
16、进一步的，所述一种基于跨模态瓶颈适配网络的多模态目标检测方法还包括步骤3，基于变分信息瓶颈理论，进行多模态分布融合，以及先验分布约束，具体为：
17、将两个模态的类分布进行融合、以及两个模态的空间分布进行融合；利用先验分布约束最小化类融合分布和先验分布p(f)之间的kl散度，以及利用先验分布约束最小化空间融合分布与先验分布之间的kl散度，鼓励融合后验分布qψ(f|z)近似先验分布p(f)。
18、进一步的，步骤3还包括任务约束，具体为：
19、从类融合分布中采样以获得符合狄利克雷分布的类融合特征采用重参化对空间融合分布采样，以获得符合高斯分布的空间融合特征fsf；
20、将类融合特征fcf和空间融合特征fsf输入检测模块，所述检测模块包括目标识别头和目标定位头，所述类融合特征fcf输入到目标识别头，用于获得获得目标的类预测所述空间融合特征fsf输入到目标定位头，用于空间位置预测
21、
22、
23、其中，为目标识别头，为目标定位头；
24、基于类预测和空间位置预测计算任务约束：
25、
26、其中，θ(·)为分类损失，ζ(·)为空间位置回归损失。
27、进一步的，步骤1中获取所述红外图像和可见光图像的roi特征，具体过程如下：
28、利用特征金字塔网络分别提取红外图像和可见光图像中不同尺度的特征，得到多尺度特征p，包括红外图像多尺度特征和可见光图像多尺度特征；
29、之后，获取多尺度特征的n个提议框结合多尺度特征p，利用roialign得到提议框对应区域的原始roi特征，表示为：
30、x0＝roialign(p,a)
31、将提议框的特征a和原始roi特征x0输入信息交互模块，建立交互关系，进一步捕获空间信息得到优化roi特征x，表示为：
32、x＝iih(x0,fp)
33、其中，x＝{xv,xi}，xv表示可见光图像的roi特征，xi表示红外图像的roi特征。
34、进一步的，步骤1中所述获得类隐变量和空间隐变量的方法如下：
35、利用类编码器预测类后验分布的均值矩阵和标准差矩阵，从高斯分布ν(0,i)中采样ε，通过得到的均值和标准差进行重参化获得类隐变量zc；
36、利用空间编码器预测空间后验分布qφ(zs|x)的均值矩阵和标准差本文档来自技高网...
【技术保护点】
1.一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，包括如下步骤：
2.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤2中，所述跨模态分布适配包括互信息优化；
3.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤2中，所述跨模态分布适配还包括全局互信息适配和结构互信息适配：
4.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，还包括步骤3，进行多模态分布融合，以及先验分布约束，具体为：
5.根据权要求4所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤3还包括任务约束，具体为：
6.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤1中获取所述红外图像和可见光图像的ROI特征，具体过程如下：
7.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤1中所述获得类隐变量和空间隐变量的方法如下：
【技术特征摘要】
1.一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，包括如下步骤：
2.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤2中，所述跨模态分布适配包括互信息优化；
3.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，步骤2中，所述跨模态分布适配还包括全局互信息适配和结构互信息适配：
4.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法，其特征在于，还包括步...
【专利技术属性】
技术研发人员：王浩宇，王雪松，程玉虎，邢长达，林常见，刘晓敏，张威，吴世佳，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。