多尺度特征提取融合神经网络及单目视图3D目标检测方法技术

本发明专利技术公开了一种多尺度特征提取融合神经网络及基于该神经网络的端到端的单目视图3D目标检测方法，该多尺度特征提取融合神经网络包括：特征提取模块，用于提取输入数据的基础特征信息；编码器模块，用于对所述基础特征信息进行编码以获得深度编码信息和视觉编码信息；解码器模块，用于对所述深度编码信息与视觉编码信息进行解码处理以获得预测的目标信息；匹配模块，用于将预测的目标信息与真实目标信息进行二分匹配；损失函数模块，用于计算预测的目标信息与真实目标信息间的误差。其可以提高3D目标检测能力，适用于不同尺度目标的检测且不需要后处理方法。

【技术实现步骤摘要】

本专利技术属于图像处理，具体涉及一种多尺度特征提取融合神经网络及基于该神经网络的端到端的单目视图3d目标检测方法。

技术介绍

1、2d目标检测技术已经进入空前的繁荣的时期，各种新的方法不断地出现，但随着目前自动驾驶、机器人等技术的迅猛发展，3d目标检测也愈加被重视，而且对于3d目标的检测也比2d目标检测更加具有挑战性，在自动驾驶、机器人等应用场景中3d目标检测技术已成为最重要的检测方法之一。

2、目前，3d目标检测技术正处于高速发展时期，检测依托设备主要是单目相机、双目相机与多线激光雷达，从成本上考虑，激光雷达是所需成本最高的，单目相机是最低的，但从检测难度上出发，与基于激光雷达和多视图图像的方法相比较，基于单目视图图像的3d目标检测是最为困难的，单目视图图像方法中的对深度估计的不确定性会严重影响最终检测结果，导致方法表现不佳。此前大多的3d目标检测技术遵循2d目标检测方法的框架，无法实现端到端的检测，需要一系列的后处理方法，但一个基于transformer的2d目标检测方法--detr的出现为端到端的2d目标检测方法指明了一条可行的道路，其后本文档来自技高网...

【技术保护点】

1.多尺度特征提取融合神经网络，其特征在于，包括：

2.根据权利要求1所述的多尺度特征提取融合神经网络，其特征在于：所述特征提取模块采用ResNet50残差网络，所述ResNet50残差网络包括第一层卷积块、第二层卷积块、第三层卷积块、第四层卷积块和第五层卷积块，第一层卷积块的输出特征图尺寸为输入尺寸的四分之一，第二层卷积块的输入与输出特征图的尺寸不变，第三层卷积块、第四层卷积块和第五层卷积块的输出特征图尺寸为输入尺寸的二分之一；所述第二层卷积块、第三层卷积块、第四层卷积块和第五层卷积块的输出特征构成多尺度特征，所述基础特征信息包括所述多尺度特征；所述第二层卷积块、第三层卷积...

【技术特征摘要】

1.多尺度特征提取融合神经网络，其特征在于，包括：

2.根据权利要求1所述的多尺度特征提取融合神经网络，其特征在于：所述特征提取模块采用resnet50残差网络，所述resnet50残差网络包括第一层卷积块、第二层卷积块、第三层卷积块、第四层卷积块和第五层卷积块，第一层卷积块的输出特征图尺寸为输入尺寸的四分之一，第二层卷积块的输入与输出特征图的尺寸不变，第三层卷积块、第四层卷积块和第五层卷积块的输出特征图尺寸为输入尺寸的二分之一；所述第二层卷积块、第三层卷积块、第四层卷积块和第五层卷积块的输出特征构成多尺度特征，所述基础特征信息包括所述多尺度特征；所述第二层卷积块、第三层卷积块、第四层卷积块和第五层卷积块的输出特征的通道数为输入特征的两倍。

3.根据权利要求1所述的多尺度特征提取融合神经网络，其特征在于，所述编码器模块包括深度特征编码模块和至少一个多尺度特征提取融合模块；所述深度特征编码模块用于对所述基础特征信息进行编码以获得深度编码信息，所述多尺度特征提取融合模块用于对所述基础特征信息进行编码以获得视觉编码信息。

4.根据权利要求3所述的多尺度特征提取融合神经网络，其特征在于：所述深度特征编码模块包括动态稀疏多头注意力模块、深度信息编码模块及信息嵌入模块，动态稀疏多头注意力模块用于计算特征图区域间的相关性以得到视觉信息，深度信息编码模块将特征图中的深度信息进行编码以预测每个像素的深度信息，信息嵌入模块将预测的深度信息嵌入已编码的视觉信息特征图中得到深度编码信息。

5.根据权利要求3所述的多尺度特征提取融合神经网络，其特征在于...

【专利技术属性】
技术研发人员：宋洪庆，李思霖，张斌，毛刚，杜明谦，刘勇，吴波，陈禹州，康琳，白玛容中，唐晓鸿，冯文飞，罗强，宋昊，朱科研，罗佳，张奕凡，陈宇，张正毅，许超平，
申请(专利权)人：中国民用航空总局第二研究所，
类型：发明
国别省市：