基于跨模态多尺度融合的极端环境目标检测方法技术

本发明专利技术提出了一种基于跨模态多尺度融合的极端环境目标检测方法，属于目标检测技术领域，首先通过数据预处理提高数据的质量。其次，通过多深度投影对齐策略提高虚拟点的位置精度和语义丰富度；在不同分辨率体素层级构建了级联交互结构，通过特征传递融合了高分辨率体素的局部细节与低分辨率体素的全局上下文信息。在极端条件下，远处目标的碎片化特征通过低层分辨率体素捕捉局部轮廓，通过高层分辨率体素补全语义特征。最后在鸟瞰图视角下进行目标的分类与检测；本发明专利技术相对于基线方法和其他对比方法在极端环境目标检测任务重具有明显的优势，并且在常规天气也具有更好的检测性能。

【技术实现步骤摘要】

本专利技术属于目标检测，具体地，涉及基于跨模态多尺度融合的极端环境目标检测方法。

技术介绍

1、单模态目标检测方法受极端环境影响，存在特征缺失、数据带噪和数据退化等问题，容易导致漏检误检。相比之下，多模态目标检测方法通过融合激光雷达点云、相机图像等多模态数据，有效利用三维坐标、空间形态、外观纹理与色彩特征等信息，提升了数据感知维度。

2、多模态融合是解决单模态数据特征缺失的主要方法，融合激光雷达、毫米波雷达和相机等传感器获取的多模态数据实现互补，提高环境的感知能力。但雨、雪、雾等异常天气，传感器数据失真，目标检测的准确性下降。为实现极端环境对检测任务可靠性的要求，多模态数据需进行有效的滤波或修复，去除极端环境的干扰和噪声影响，提高数据质量。

3、在三维目标检测任务中，激光雷达与相机的多模态融合通过结合点云的精确几何信息与图像的丰富语义特征，提供了互补的空间感知与语义信息，提升了复杂场景下的感知能力。鸟瞰图对三维空间具有的高效描述能力，是目前激光雷达与相机融合的主流框架之一。

4、基于深度学习的目标检测通常分为两阶段和单阶本文档来自技高网...

【技术保护点】

1.基于跨模态多尺度融合的极端环境目标检测方法，其特征在于：

2.根据权利要求1所述检测方法，其特征在于：在步骤2中，

3.根据权利要求2所述检测方法，其特征在于：在步骤3中，

4.根据权利要求3所述检测方法，其特征在于：在步骤4中，

5.根据权利要求4所述检测方法，其特征在于：在步骤5中，

6.根据权利要求5所述检测方法，其特征在于：在步骤6中，

7.根据权利要求6所述检测方法，其特征在于：

8.一种基于跨模态多尺度融合的极端环境目标检测系统，其特征在于：所述系统用于执行权利要求1至7中任意一项所述的极...

【技术特征摘要】

1.基于跨模态多尺度融合的极端环境目标检测方法，其特征在于：

2.根据权利要求1所述检测方法，其特征在于：在步骤2中，

3.根据权利要求2所述检测方法，其特征在于：在步骤3中，

4.根据权利要求3所述检测方法，其特征在于：在步骤4中，

5.根据权利要求4所述检测方法，其特征在于：在步骤5中，

6.根据权利要求5所述检测方法，其特征在于：在步骤6中，

7.根据权利要求6所述检测方法，其特征在...

【专利技术属性】
技术研发人员：韩启龙，陈睿，张海涛，刘洪利，於志文，宋洪涛，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：