一种基于跨模态瓶颈适配网络的机载多模态目标检测方法技术

技术编号:42634034 阅读:77 留言:0更新日期:2024-09-06 01:33
本发明专利技术公开了一种基于跨模态瓶颈适配网络的机载多模态目标检测方法,首先,为了解决模态异质性挑战,引入了全局互信息适配机制和结构互信息适配机制。这些机制有助于增加模态之间的共享信息量,推动跨模态知识的更好共享;然后,构建了变分信息瓶颈,通过多模态分布融合、先验分布约束和任务约束,模型能够更加高效地处理多模态数据,从而更关注于多模态数据中任务相关的关键信息来应对模态冗余挑战。

【技术实现步骤摘要】

本专利技术涉及目标检测,主要涉及一种基于跨模态瓶颈适配网络的机载多模态目标检测方法


技术介绍

1、在计算机视觉领域,目标检测是一项至关重要的任务,它涉及从图像或视频中准确地识别和定位特定对象或物体。随着技术的不断发展,人们对于多模态目标检测的需求也日益增加。在这个背景下,无人机机载设备等应用成为了多模态目标检测的一个重要场景。

2、无人机机载设备代表了现代航空领域的未来发展方向,它是一种结合了人工智能和机器学习技术的智能飞行平台。通过无人机技术,这些设备能够自主地在空中执行各种任务,包括航拍、监测、搜救等。然而,在实际应用中,无人机机载设备需要准确地识别和定位空中或地面上的各种目标,如车辆、建筑物等,以便执行任务或规避障碍。

3、与传统的目标检测方法相比,多模态目标检测能够同时利用多种不同类型的数据源,如可见光图像、红外图像等,从而提高了目标检测的性能和鲁棒性。例如,在无人机机载设备中,除了可见光图像外,还可以利用红外图像来增强对夜间或恶劣天气条件下的目标检测能力。这样,即使在光照条件不佳或有遮挡物的情况下,设备也能够准确地识别目本文档来自技高网...

【技术保护点】

1.一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,包括如下步骤:

2.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,步骤2中,所述跨模态分布适配包括互信息优化;

3.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,步骤2中,所述跨模态分布适配还包括全局互信息适配和结构互信息适配:

4.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,还包括步骤3,进行多模态分布融合,以及先验分布约束,具体为:

5.根据权要求4所述一种基于跨模态瓶颈适配网络的多...

【技术特征摘要】

1.一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,包括如下步骤:

2.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,步骤2中,所述跨模态分布适配包括互信息优化;

3.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,步骤2中,所述跨模态分布适配还包括全局互信息适配和结构互信息适配:

4.根据权要求1所述一种基于跨模态瓶颈适配网络的多模态目标检测方法,其特征在于,还包括步...

【专利技术属性】
技术研发人员:王浩宇王雪松程玉虎邢长达林常见刘晓敏张威吴世佳
申请(专利权)人:中国矿业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1