机动车三维目标检测方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术实施例提供一种机动车三维目标检测方法、装置及计算机可读存储介质，所述方法包括：获取第一原始图像和第二原始图像；采用预先训练好的深度信息提取模型从第一原始图像和第二原始图像中提取出深度信息，筛选去除三维目标中的干扰三维目标；对各个三维目标的深度信息进行卷积计算，将卷积计算结果投影至预存的注意力机制模型内以获得待计算特征，获得三维目标的语义特征，将语义特征作为特征分类分支；对深度信息进行卷积处理以获得待强化特征，将待强化特征进行处理获得待提取特征，获得特征回归分支；以及获得三维目标的类别置信度和三维数据信息。本实施例能有效提升三维目标检测效率，降低内存消耗和成本。降低内存消耗和成本。降低内存消耗和成本。

【技术实现步骤摘要】
机动车三维目标检测方法、装置及计算机可读存储介质


[0001]本专利技术实施例涉及车载环境下的三维目标检测
，尤其涉及一种机动车三维目标检测方法、装置及计算机可读存储介质。

技术介绍

[0002]目前，机动车上通常搭载有检测车身周围物体的三维信息以辅助机动车实现精确自动驾驶的三维目标检测装置。
[0003]现有的一种机动车三维目标检测方法通常采用安装在机动车上的激光雷达扫描获取车身周边环境中的三维物体的三维数据，然后将三维物体的三维数据通过卷积神经网络进行处理从而判断三维物体的类别和三维距离。
[0004]但是，专利技术人在具体实施时发现，上述机动车三维目标检测方法的计算过程相对复杂，导致三维目标检测效率相对较低，而且在采用卷积神经网络对三维物体的三维数据进行处理时，需要消耗大量内存，而且激光雷达的成本也相对较高。

技术实现思路

[0005]本专利技术实施例要解决的技术问题在于，提供一种机动车三维目标检测方法，能有效提升三维目标检测效率，降低内存消耗和成本。
[0006]本专利技术实施例进一步要解决的技术问题在于，提供一种机动车三维目标检测装置，能有效提升三维目标检测效率，降低内存消耗和成本。
[0007]本专利技术实施例进一步要解决的技术问题在于，提供一种计算机可读存储介质，以存储能有效提升三维目标检测效率，降低内存消耗和成本的计算机程序。
[0008]为了解决上述技术问题，本专利技术实施例首先提供以下技术方案：一种机动车三维目标检测方法，包括以下步骤：从两个从不同视角同时拍摄机动车车身周围同一区域的车载摄像头所分别采集的视频影像中获取第一原始图像和第二原始图像；采用预先训练好的深度信息提取模型从所述第一原始图像和第二原始图像中分别提取出同一三维目标对应的深度信息，并筛选去除所述三维目标中的干扰目标；采用两个预定尺寸的卷积核对各个三维目标的深度信息进行卷积计算以分别获得第一待投影特征和第二待投影特征，将所述第一待投影特征和第二待投影特征分别作为注意力机制的查询值和键值投影至预存的注意力机制模型内以获得待计算特征，将所述待计算特征进行缩放点积计算以获得所述三维目标的语义特征，将所述语义特征作为特征分类分支；采用预定的主干卷积网络对各个三维目标的深度信息进行卷积处理以获得待强化特征，将所述待强化特征依次通过两个预定节点数的全连接层后采用预存的SEblock模型计算获得待提取特征，将所述待强化特征和所述待提取特征输入sigmoid激励函数以获得各个三维目标的几何特征，将所述几何特征作为特征回归分支；以及
将所述特征分类分支和所述特征回归分支输入预存的Transformer网络模型进行计算以获得各个三维目标的类别置信度和三维数据信息。
[0009]进一步的，所述深度信息提取模型采用大量标定好三维目标的训练图像分别输入至一个DenseNet深度学习网络后经数据归一化和数据增广获得。
[0010]进一步的，所述预定的主干卷积网络为MobileNet网络、RetinaNet网络或EfficientNet网络。
[0011]进一步的，在获得所述三维目标的语义特征后，采用尺寸为1*1的卷积核对所述注意力权重进行卷积处理后将卷积处理后的注意力权重作为所述特征分类分支。
[0012]进一步的，所述两个预定尺寸的卷积核均为3*3的卷积核。
[0013]进一步的，所述两个预定节点数的全连接层均为1024节点的全连接层。
[0014]另一方面，为了解决上述进一步的技术问题，本专利技术实施例再提供以下技术方案：一种机动车三维目标检测装置，与两个车载摄像头相连，所述机动车三维目标检测装置包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的机动车三维目标检测方法。
[0015]进一步的，所述两个车载摄像头集成为一个车载双目摄像装置。
[0016]再一方面，为了解决上述进一步的技术问题，本专利技术实施例再提供以下技术方案：一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的机动车三维目标检测方法。
[0017]采用上述技术方案后，本专利技术实施例至少具有如下有益效果：本专利技术实施例通过从不同视角拍摄机动车周围同一区域的两个车载摄像头采集的视频影像中分别获取第一原始图像和第二原始图像后，利用第一原始图像和第二原始图像中同一三维目标的差异，采用预先训练好的深度信息提取模型从中提取出三维目标对应的深度信息，替代传统技术中利用激光雷达获取三维目标的三维信息，从而降低成本；进一步依次采用两个预定尺寸的卷积核、预存的注意力机制模型以及缩放点积计算对深度信息进行处理以获得所述三维目标的语义特征，并将所述语义特征作为特征分类分支；同时，采用预定的主干卷积网络、两个预定节点数的全连接层、预存的SEblock模型以及sigmoid激励函数也对深度信息进行处理以获得各个三维目标的几何特征，将所述几何特征作为特征回归分支，最后将获得特征分类分支和特征回归分支输入至Transformer网络模型计算获得三维目标的类别置信度和三维数据信息，整体过程结合了Transfomer注意力机制与卷积网络，同时融合全局信息与语义信息，能有效提升对三维目标的检测效率，并且降低对内存的消耗。
附图说明
[0018]图1为本专利技术机动车三维目标检测方法一个可选实施例的步骤流程图。
[0019]图2为本专利技术机动车三维目标检测装置一个可选实施例的原理框图。
[0020]图3为本专利技术机动车三维目标检测装置一个可选实施例的功能模块图。
具体实施方式
[0021]下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意
性实施例及说明仅用来解释本专利技术，并不作为对本专利技术的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
[0022]如图1所示，本专利技术一个可选实施例提供一种机动车三维目标检测方法，包括以下步骤：S1：从两个从不同视角同时拍摄机动车车身周围同一区域的车载摄像头1所分别采集的视频影像中获取第一原始图像和第二原始图像；S2：采用预先训练好的深度信息提取模型从所述第一原始图像和第二原始图像中分别提取出同一三维目标对应的深度信息，并筛选去除所述三维目标中的干扰目标；S3：采用两个预定尺寸的卷积核对各个三维目标的深度信息进行卷积计算以分别获得第一待投影特征和第二待投影特征，将所述第一待投影特征和第二待投影特征分别作为注意力机制的查询值(query)和键值(keys)投影至预存的注意力机制模型内以获得待计算特征，将所述待计算特征进行缩放点积计算以获得所述三维目标的语义特征，将所述语义特征作为特征分类分支；S4：采用预定的主干卷积网络对各个三维目标的深度信息进行卷积处理以获得待强化特征，将所述待强化特征依次通过两个预定节点数的全连接层后采用预存的SEbloc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机动车三维目标检测方法，其特征在于，所述方法包括以下步骤：从两个从不同视角同时拍摄机动车车身周围同一区域的车载摄像头所分别采集的视频影像中获取第一原始图像和第二原始图像；采用预先训练好的深度信息提取模型从所述第一原始图像和第二原始图像中分别提取出同一三维目标对应的深度信息，并筛选去除所述三维目标中的干扰目标；采用两个预定尺寸的卷积核对各个三维目标的深度信息进行卷积计算以分别获得第一待投影特征和第二待投影特征，将所述第一待投影特征和第二待投影特征分别作为注意力机制的查询值和键值投影至预存的注意力机制模型内以获得待计算特征，将所述待计算特征进行缩放点积计算以获得所述三维目标的语义特征，将所述语义特征作为特征分类分支；采用预定的主干卷积网络对各个三维目标的深度信息进行卷积处理以获得待强化特征，将所述待强化特征依次通过两个预定节点数的全连接层后采用预存的SEblock模型计算获得待提取特征，将所述待强化特征和所述待提取特征输入sigmoid激励函数以获得各个三维目标的几何特征，将所述几何特征作为特征回归分支；以及将所述特征分类分支和所述特征回归分支输入预存的Transformer网络模型进行计算以获得各个三维目标的类别置信度和三维数据信息。2.如权利要求1所述的机动车三维目标检测方法，其特征在于，所述深度信息提取模型采用大量标定好三维目标的训练图像分别输入至一个DenseNe...

【专利技术属性】
技术研发人员：罗小平，蔡军，曹继，
申请(专利权)人：深圳市豪恩汽车电子装备股份有限公司，
类型：发明
国别省市：