本申请提供一种自动驾驶3D目标检测方法及相关装置，该方法包括：使用深度估计网络模型对多视角图像的图像特征进行深度点云预测，获得当前时刻的点云数据；根据多视角图像的相机参数从多视角图像的图像特征中提取出上下文特征，并对上下文特征和当前时刻的点云数据进行外积操作和体素池化操作；将获得的当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合；使用融合后的鸟瞰图特征进行3D目标检测。通过深度估计网络模型预测出的点云数据获得的鸟瞰图特征来进行3D目标检测，能够有效利用目标对象的三维信息建模的先验信息来深度监督模型的训练过程，从而提高了自动驾驶的应用场景中的目标检测精度。用场景中的目标检测精度。用场景中的目标检测精度。
【技术实现步骤摘要】
一种自动驾驶3D目标检测方法及相关装置
[0001]本申请涉及自动驾驶、深度学习、时序融合和3D目标检测的
，具体而言，涉及一种自动驾驶3D目标检测方法及相关装置。
技术介绍
[0002]目前，在自动驾驶的应用场景中，通常是使用已有的二维(2D)目标检测方法来从二维图像特征中预测出三维(3D)目标，具体例如：获取多相机采集的环境图像，并提取出环境图像中的图像特征，然后，使用目标检测模型对该图像特征进行目标对象(例如障碍物或行人等等)检测等等。在具体的实践过程中发现，由于目标检测模型是使用二维图像和二维标签训练的，所以该目标检测模型缺少三维(3D)的先验信息，导致自动驾驶的应用场景中的目标检测精度较低。
技术实现思路
[0003]本申请实施例的目的在于提供一种自动驾驶3D目标检测方法及相关装置，用于改善自动驾驶的应用场景中的目标检测精度较低的问题。
[0004]本申请实施例提供了一种自动驾驶3D目标检测方法，包括：获取自动驾驶场景中的当前时刻的多视角图像，并提取出多视角图像的图像特征；使用深度估计网络模型对多视角图像的图像特征进行深度点云预测，获得当前时刻的点云数据；根据多视角图像的相机参数从多视角图像的图像特征中提取出上下文特征，并对上下文特征和当前时刻的点云数据进行外积操作和体素池化操作，获得当前时刻的鸟瞰图特征；获取过去时刻的鸟瞰图特征，并将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，获得融合后的鸟瞰图特征；使用融合后的鸟瞰图特征进行3D目标检测。在上述方案的实现过程中，通过深度估计网络模型预测出的点云数据获得的鸟瞰图特征来进行3D目标检测，能够有效地利用目标对象的三维信息建模的先验信息，以使深度估计网络模型输出深度感知更精确的点云数据，从而提高了自动驾驶的应用场景中的目标检测精度。
[0005]可选地，在本申请实施例中，在使用深度估计网络模型对多视角图像的图像特征进行深度点云预测之前，还包括：获取不同视角拍摄的样本图像和样本标签，并提取出样本图像的图像特征和相机参数，样本图像是对目标对象采集的图像，样本标签是目标对象的三维点云数据；以图像特征和相机参数为训练数据，以样本标签为训练标签，对深度估计神经网络进行训练，获得深度估计网络模型。在上述方案的实现过程中，通过以图像特征和相机参数为训练数据，以样本标签为训练标签，对深度估计神经网络进行训练，以使深度估计网络模型输出深度感知更精确的点云数据，从而提高了自动驾驶的应用场景中的目标检测精度。
[0006]可选地，在本申请实施例中，相机参数包括：内部参数和外部参数；根据多视角图像的相机参数从多视角图像的图像特征中提取出上下文特征，包括：将内部参数和外部参数进行展平和拼接，获得参数输入向量，并将参数输入向量扩展为多维向量；使用多维向量
对图像特征进行加权融合，获得上下文特征。在上述方案的实现过程中，通过将内部参数和外部参数进行展平和拼接后的参数输入向量作为加权融合的一部分，从而进一步地高了深度估计的质量和目标检测的准确率。
[0007]可选地，在本申请实施例中，对上下文特征和当前时刻的点云数据进行外积操作和体素池化操作，包括：获取过去时刻的点云数据，将过去时刻的点云数据与当前时刻的点云数据进行对齐，获得对齐点云数据；对上下文特征和对齐点云数据进行外积操作和体素池化操作。在上述方案的实现过程中，通过将过去时刻的点云数据与当前时刻的点云数据进行对齐，从而增加点云数据在时域上对齐的鲁棒性，以进一步提升3D目标检测的效果。
[0008]可选地，在本申请实施例中，将过去时刻的点云数据与当前时刻的点云数据进行对齐，包括：将过去时刻的点云数据的坐标系转换为全局坐标系；将过去时刻的点云数据由全局坐标系转换为当前时刻的点云数据的坐标系。在上述方案的实现过程中，通过将过去时刻的点云数据的坐标系转换为全局坐标系，并将过去时刻的点云数据由全局坐标系转换为当前时刻的点云数据的坐标系，从而增加点云数据在时域上对齐的鲁棒性，以进一步提升3D目标检测的效果。
[0009]可选地，在本申请实施例中，将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，包括：将上一时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，获得对齐后的鸟瞰图特征；将当前时刻的鸟瞰图特征和对齐后的鸟瞰图特征进行融合。在上述方案的实现过程中，通过同时让点云数据和鸟瞰图特征对齐融合，即将当前时刻的鸟瞰图特征和对齐后的鸟瞰图特征进行融合，从而获得时空融合的BEV特征，更好地帮助模型识别和处理遮挡问题，有效地提升了模型性能的鲁棒性。
[0010]可选地，在本申请实施例中，将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，包括：将多个时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，获得多个时刻对齐后的鸟瞰图特征；将当前时刻的鸟瞰图特征和多个时刻对齐后的鸟瞰图特征进行融合。在上述方案的实现过程中，通过将多个时刻的鸟瞰图特征与当前时刻的鸟瞰图特征对齐，并将当前时刻的鸟瞰图特征和多个时刻对齐后的鸟瞰图特征进行融合，从而获得时空融合的BEV特征，有效地改善了自动驾驶汽车运动造成过去帧与当前帧空间存在的非对齐问题，使用多帧时序特征的精确对齐，从而进一步地提升了3D目标检测的准确率。
[0011]本申请实施例还提供了一种自动驾驶3D目标检测装置，包括：图像特征提取模块，用于获取自动驾驶场景中的当前时刻的多视角图像，并提取出多视角图像的图像特征；点云数据获得模块，用于使用深度估计网络模型对多视角图像的图像特征进行深度点云预测，获得当前时刻的点云数据；特征提取获得模块，用于根据多视角图像的相机参数从多视角图像的图像特征中提取出上下文特征，并对上下文特征和当前时刻的点云数据进行外积操作和体素池化操作，获得当前时刻的鸟瞰图特征；时域特征融合模块，用于获取过去时刻的鸟瞰图特征，并将当前时刻的鸟瞰图特征和过去时刻的鸟瞰图特征进行融合，获得融合后的鸟瞰图特征；特征目标检测模块，用于使用融合后的鸟瞰图特征进行3D目标检测。
[0012]可选地，在本申请实施例中，自动驾驶3D目标检测装置，还包括：特征参数提取模块，用于获取不同视角拍摄的样本图像和样本标签，并提取出样本图像的图像特征和相机参数，样本图像是对目标对象采集的图像，样本标签是目标对象的三维点云数据；网络模型获得模块，用于以图像特征和相机参数为训练数据，以样本标签为训练标签，对深度估计神
经网络进行训练，获得深度估计网络模型。
[0013]可选地，在本申请实施例中，相机参数包括：内部参数和外部参数；特征提取获得模块，包括：参数展平拼接子模块，用于将内部参数和外部参数进行展平和拼接，获得参数输入向量，并将参数输入向量扩展为多维向量；特征加权融合子模块，用于使用多维向量对图像特征进行加权融合，获得上下文特征。
[0014]可选地，在本申请实施例中，特征提取获得模块，包括：点云数据对齐子模块，用于获取过去时刻的点云数据，将过去时刻的点云数据与当前时刻的点云数据进行对齐，获得对齐点云数据；外积体素池化子模块，用于对上下文特征和对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自动驾驶3D目标检测方法，其特征在于，包括：获取自动驾驶场景中的当前时刻的多视角图像，并提取出所述多视角图像的图像特征；使用深度估计网络模型对所述多视角图像的图像特征进行深度点云预测，获得所述当前时刻的点云数据；根据所述多视角图像的相机参数从所述多视角图像的图像特征中提取出上下文特征，并对所述上下文特征和所述当前时刻的点云数据进行外积操作和体素池化操作，获得所述当前时刻的鸟瞰图特征；获取过去时刻的鸟瞰图特征，并将所述当前时刻的鸟瞰图特征和所述过去时刻的鸟瞰图特征进行融合，获得融合后的鸟瞰图特征；使用所述融合后的鸟瞰图特征进行3D目标检测。2.根据权利要求1所述的方法，其特征在于，在所述使用深度估计网络模型对所述多视角图像的图像特征进行深度点云预测之前，还包括：获取不同视角拍摄的样本图像和样本标签，并提取出所述样本图像的图像特征和相机参数，所述样本图像是对目标对象采集的图像，所述样本标签是所述目标对象的三维点云数据；以所述图像特征和所述相机参数为训练数据，以所述样本标签为训练标签，对深度估计神经网络进行训练，获得所述深度估计网络模型。3.根据权利要求1所述的方法，其特征在于，所述相机参数包括：内部参数和外部参数；所述根据所述多视角图像的相机参数从所述多视角图像的图像特征中提取出上下文特征，包括：将所述内部参数和所述外部参数进行展平和拼接，获得参数输入向量，并将所述参数输入向量扩展为多维向量；使用所述多维向量对所述图像特征进行加权融合，获得所述上下文特征。4.根据权利要求1所述的方法，其特征在于，所述对所述上下文特征和所述当前时刻的点云数据进行外积操作和体素池化操作，包括：获取过去时刻的点云数据，将所述过去时刻的点云数据与所述当前时刻的点云数据进行对齐，获得对齐点云数据；对所述上下文特征和所述对齐点云数据进行外积操作和体素池化操作。5.根据权利要求4所述的方法，其特征在于，所述将所述过去时刻的点云数据与所述当前时刻的点云数据进行对齐，包括：将所述过去时刻的点云数据的...
【专利技术属性】
技术研发人员：郝坤坤，黄浴，潘余曦，杨子江，
申请(专利权)人：西安深信科创信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。