一种车辆在3D空间的信息检测方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种车辆在3D空间的信息检测方法、装置及电子设备，包括：获取目标车辆的待检测图像；对所述待检测图像进行特征提取，得到目标特征图；将所述目标特征图输入至目标检测模型，获得目标检测结果。本发明专利技术中的目标检测模型包括2D信息检测分支和3D信息检测分支，使得能够基于目标检测模型实现对目标车辆的2D信息和3D信息检测，获得了全面的检测信息，为后续的决策和规控阶段提供更加丰富的场景信息，提升智能驾驶系统的高效性和安全性。提升智能驾驶系统的高效性和安全性。提升智能驾驶系统的高效性和安全性。

【技术实现步骤摘要】
一种车辆在3D空间的信息检测方法、装置及电子设备


[0001]本专利技术涉及信息处理
，特别是涉及一种车辆在3D空间的信息检测方法、装置及电子设备。

技术介绍

[0002]在智能驾驶领域，对车辆的准确定位及检测是较为重要的部分。通常是通过识别相机采集图像中的车辆目标并提取其运动轨迹，实现对周围环境的感知。但是，现有车辆检测方法通常局限在图像空间中，这对于实际场景中普遍存在的目标遮挡、目标截断或视角变化等情况，并不能做出更准确高效的判断，限制了其应用场景。

技术实现思路

[0003]针对于上述问题，本专利技术提供一种车辆在3D空间的信息检测方法、装置及电子设备，实现了提升智能驾驶系统的高效性和安全性。
[0004]为了实现上述目的，本专利技术提供了如下技术方案：
[0005]一种车辆在3D空间的信息检测方法，包括：
[0006]获取目标车辆的待检测图像；
[0007]对所述待检测图像进行特征提取，得到目标特征图；
[0008]将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。
[0009]可选地，所述对所述待检测图像进行特征提取，得到目标特征图，包括：
[0010]对所述待检测图像进行图像增强处理，得到处理后图像；
[0011]对处理后的图像进行特征提取，得到目标特征图。
[0012]可选地，还包括：
[0013]获取初始数据集，所述初始数据集包括相机以及激光雷达捕获到的目标图像信息和点云信息；
[0014]对所述初始数据集进行标签标注，获得2D标签和3D标签；
[0015]基于所述初始数据集、所述2D标签和所述3D标签，确定目标训练样本；
[0016]根据所述目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型。
[0017]可选地，所述2D标签包括目标框和类别信息；所述3D标签包括目标位置信息、尺寸
信息和姿态信息。
[0018]可选地，所述初始神经网络结构包括基础网络模块、特征融合模块、候选区域提取模块和候选区域池化模块。
[0019]可选地，所述目标检测结果包括第一检测信息和第二检测信息，所述第一检测信息为所述2D信息检测分支对应的检测结果，所述第二检测信息为所述3D信息检测分支对应的检测结果；
[0020]所述第一检测信息包括目标车辆的类别信息和目标框信息；
[0021]所述第二检测信息包括目标位置信息、尺寸信息和姿态信息，所述目标位置信息包括目标对象距离目标车辆的横向距离和纵向距离，所述尺寸信息包括目标车辆的实际三维尺寸，所述姿态信息包括当前时刻目标车辆的航向角、翻滚角和俯仰角。
[0022]一种车辆在3D空间的信息检测装置，包括：
[0023]获取单元，用于获取目标车辆的待检测图像；
[0024]提取单元，用于对所述待检测图像进行特征提取，得到目标特征图；
[0025]检测单元，用于将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。。
[0026]一种存储介质，所述存储介质存储有可执行指令，所述指令被处理器执行时实现上述中任意一项所述的车辆在3D空间的信息检测方法。
[0027]一种电子设备，包括：
[0028]存储器，用于存储程序；
[0029]处理器，用于执行所述程序，所述程序具体用于实现如上述中任意一项所述的车辆在3D空间的信息检测方法。
[0030]相较于现有技术，本专利技术提供了一种车辆在3D空间的信息检测方法、装置及电子设备，包括：获取目标车辆的待检测图像；对所述待检测图像进行特征提取，得到目标特征图；将所述目标特征图输入至目标检测模型，获得目标检测结果。本专利技术中的目标检测模型包括2D信息检测分支和3D信息检测分支，使得能够基于目标检测模型实现对目标车辆的2D信息和3D信息检测，获得了全面的检测信息，为后续的决策和规控阶段提供更加丰富的场景信息，提升智能驾驶系统的高效性和安全性。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0032]图1为本专利技术实施例提供的一种车辆在3D空间的信息检测方法的流程示意图；
[0033]图2为本专利技术实施例提供的一种车辆3D信息示意图；
[0034]图3为本专利技术实施例提供的一种车辆在3D空间的信息检测装置的结构示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]本专利技术的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
[0037]在本专利技术实施例中提供了一种车辆在3D空间的信息检测方法，参见图1，该方法可以包括以下步骤：
[0038]S101、获取目标车辆的待检测图像。
[0039]目标车辆为待检测的车辆，例如，为待获取运动轨迹的车辆。待检测图像为基于相机采集的图像，主要是单目相机采集的图像，可以是多张图像，也可以是视频流。
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆在3D空间的信息检测方法，其特征在于，包括：获取目标车辆的待检测图像；对所述待检测图像进行特征提取，得到目标特征图；将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行特征提取，得到目标特征图，包括：对所述待检测图像进行图像增强处理，得到处理后图像；对处理后的图像进行特征提取，得到目标特征图。3.根据权利要求1所述的方法，其特征在于，还包括：获取初始数据集，所述初始数据集包括相机以及激光雷达捕获到的目标图像信息和点云信息；对所述初始数据集进行标签标注，获得2D标签和3D标签；基于所述初始数据集、所述2D标签和所述3D标签，确定目标训练样本；根据所述目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型。4.根据权利要求3所述的方法，其特征在于，所述2D标签包括目标框和类别信息；所述3D标签包括目标位置信息、尺寸信息和姿态信息。5.根据权利要求3所述的方法，其特征在于，所述初始神经网络结构包括基础网络模块、特征融合模块、候选区域提取模块和候选区域池化模块。6.根据权利要求1所述的方法，其特征在于，所述目标检测结果包括...

【专利技术属性】
技术研发人员：石雄，胥洪利，彭欣亮，
申请(专利权)人：天津天瞳威势电子科技有限公司，
类型：发明
国别省市：