一种基于知识补全平衡网络的多模态目标检测方法技术

本发明专利技术公开了一种基于知识补全平衡网络的多模态目标检测方法。首先，设计一种知识补全机制，通过类知识补全和空间知识补全缓解局部模态信息失衡，以实现对模态间信息干扰的抑制，提升模型对低光照、烟雾等复杂情景的适应能力；然后，设计一种动态平衡机制，在模型学习中动态监控和平衡模型对不同模态的关注程度缓解全局模态信息失衡现象，通过确保多模态特征学习的同步性，提升模型对多模态互补信息的利用能力。

【技术实现步骤摘要】

本专利技术涉及目标检测，主要涉及一种基于知识补全平衡网络的多模态目标检测方法。

技术介绍

1、多模态学习的整体性能超过了单模态学习。由于模态异质性导致的模态信息失衡挑战，多模态学习的整体性能表现往往远非其上限，它可被分解为两个子问题：局部模态信息失衡和全局模态信息失衡。

2、局部模态信息失衡源于不同模态提供的任务相关信息量存在显著差异。可见光图像的可见光波长对散射和吸收现象更敏感，因此在以上复杂情景下其难以提供足够的任务相关信息，甚至可能提供大量的环境噪声信息。若不考虑以上差异直接融合两模态，红外图像中强判别性的任务相关信息会被可见光图像中的环境噪声稀释，使多模态信息的整合损害目标的可检测性。

3、全局模态信息失衡是指在处理多模态数据时，模型表现出对某一模态的偏好，而忽略其他模态的潜在贡献。这种现象通常发生于不同模态所提供的任务相关信息量存在显著差异的情况下。这种对单一模态的偏好一方面会导致模型对红外图像过拟合，对可见光图像欠拟合。从而致使模型在夜间情景表现良好，但在日间情景下性能受限。另一方面，这种偏好会导致模型学习不同模态时的学本文档来自技高网...

【技术保护点】

1.一种基于知识补全平衡网络的多模态目标检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述一种基于知识补全平衡网络的多模态目标检测方法，其特征在于，步骤2中所述知识补全包括类知识补全，即，对可见光ROI特征和红外ROI特征进行类知识补全，得到类知识补全后的可见光类目标ROI特征和红外类目标ROI特征，具体步骤如下：

3.根据权利要求1或2所述一种基于知识补全平衡网络的多模态目标检测方法，其特征在于，步骤2中所述知识补全还包括空间知识补全，即，对可见光ROI特征和红外ROI特征进行空间知识补全，得到空间知识补全后的可见光空间ROI特征和红外空间ROI特征，...

【技术特征摘要】

1.一种基于知识补全平衡网络的多模态目标检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述一种基于知识补全平衡网络的多模态目标检测方法，其特征在于，步骤2中所述知识补全包括类知识补全，即，对可见光roi特征和红外roi特征进行类知识补全，得到类知识补全后的可见光类目标roi特征和红外类目标roi特征，具体步骤如下：

3.根据权利要求1或2所述一种基于知识补全平衡网络的多模态目标检测方法，其特征在于，步骤2中所述知识补全还包括空间知识补全，即，对可见光roi特征和红外roi特征进行空间知识补全，得到空间知识补全后的可见光空间roi特征和红外空间roi特征，具体步骤如下：

4.根据权利要求2所述一种基于知识补全平衡网络的多模态目标检测方法，其特征在于，步骤2中所述通过计算条件信息熵对两模态roi特征中包含的目标识别任务相关信息量进行度量，具有较低条件信息熵的模态的roi特征被视作类基准roi特征xbc，具有高条件信息熵的模态的roi特征被视作类目标roi特征xtc，表示为：

5....

【专利技术属性】
技术研发人员：王浩宇，刘晓敏，陈正升，乔振壮，余梦君，杜小蔓，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：