基于伪点云的目标检测方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种基于伪点云的目标检测方法、装置、电子设备和存储介质。本公开中基于伪点云的目标检测方法包括：获取第一图像的第一伪点云数据，获取第一图像的3D候选框信息，获取3D候选框的第一伪点云数据，根据3D候选框的第一伪点云数据获得3D候选框的第二伪点云数据，根据3D候选框的第二伪点云数据通过特征编码获得3D候选框所对应目标的第一特征向量，使第二伪点云数据表征的目标特征在分布上与激光点云数据表征的目标特征一致，根据3D候选框所对应目标的第一特征向量获得3D检测框信息。本公开能够提升伪点云目标检测的精度、同时使检测结果更准确。时使检测结果更准确。时使检测结果更准确。

【技术实现步骤摘要】
基于伪点云的目标检测方法、装置、电子设备和存储介质


[0001]本公开涉及计算机视觉领域，尤其涉及一种基于伪点云的目标检测方法、装置、电子设备和存储介质。

技术介绍

[0002]基于伪点云的三维(3D)目标检测算法是以伪点云作为输入，通过对伪点云进行特征提取和分析，实现对三维空间中物体位置、大小以及类别信息的预测，在自动驾驶场景以及机器人应用等领域发挥着重要的作用。伪点云一般由RGB图像的深度图转换而来，其数据表现形式上与激光点云保持一致。由于点云的数据形式往往更能表征三维空间中物体的形状信息，现有基于激光点云的3D目标检测算法效果较好，因此目前一些基于视觉图像的3D目标检测算法通常先对图像进行深度估计，得到深度图，再根据深度图将像素点转换到三维空间中得到伪点云，最后基于伪点云来实现3D目标检测。目前，基于伪点云的3D目标检测往往直接采用激光点云的3D目标检测模型实现，伪点云的深度信息不够准确，伪点云与激光点云在分布上也存在差异，导致基于伪点云的目标检测方法准确性较低，精度欠佳，无法满足例如自动驾驶等场景中的障碍物检测需求。
专利技术内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于伪点云的目标检测方法，其特征在于，包括：获取第一图像的第一伪点云数据，所述第一伪点云数据表征的目标特征包括三维3D特征和类别特征；根据所述第一图像的第一伪点云数据，获取所述第一图像的3D候选框信息；根据所述第一图像的3D候选框信息和所述第一图像的第一伪点云数据，获取3D候选框的第一伪点云数据；根据所述3D候选框的第一伪点云数据，获得所述3D候选框的第二伪点云数据，所述第二伪点云数据表征的目标特征包含所述3D候选框的对应目标的3D特征、类别特征和内部特征；根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框的第一特征向量，所述特征编码能够使所述第二伪点云数据表征的目标特征在分布上与激光点云数据表征的目标特征一致；根据所述3D候选框所对应目标的第一特征向量获得3D检测框信息。2.根据权利要求1所述基于伪点云的目标检测方法，其特征在于，所述获取所述第一图像的第一伪点云数据，包括：获取所述第一图像的深度信息；获取所述第一图像的语义信息；根据所述第一图像的深度信息和语义信息，通过坐标转换生成所述第一图像的第一伪点云数据。3.根据权利要求1或2所述基于伪点云的目标检测方法，其特征在于，所述第一伪点云数据和/或所述第二伪点云数据具有四个维度，所述四个维度中的一个维度表示点的类别。4.根据权利要求1所述基于伪点云的目标检测方法，其特征在于，所述根据所述3D候选框的第一伪点云数据，获得所述3D候选框的第二伪点云数据，包括：根据所述3D候选框的第一伪点云数据，获取所述3D候选框所对应目标的空间关联特征；根据所述3D候选框的第一伪点云数据，获取所述3D候选框所对应目标的通道关联特征；根据所述3D候选框的第一伪点云数据中的位置信息，获取所述3D候选框所对应目标的3D相对位置特征；根据所述3D候选框所对应目标的空间关联特征、通道关联特征和3D相对位置特征，获得所述3D候选框的第二伪点云数据；优选地，所述3D候选框的第二伪点云数据通过预训练的特征关联网络获得，所述特征关联网络包括点间注意力模块、通道间注意力模块、位置编码模块和融合模块，所述点间注意力模块用于获取所述空间关联特征，所述通道间注意力模块用于获取所述3D候选框所对应目标的通道关联特征，所述位置编码模块用于获取所述3D候选框所对应目标的3D相对位置特征，所述融合模块用于获得所述3D候选框的第二伪点云数据；优选地，所述根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框所对应目标的第一特征向量，包括：采用关键点相对坐标编码方式将所述3D候选框的第二伪点云数据编码为所述3D候选框的伪点云目标特征数据，所述伪点云目标特征数据在分布
上与激光点云目标特征数据一致，所述激光点云目标特征数据根据所述3D候选框的激光点云数据编码得到；将所述伪点云目标特征数据解码为固定大小的第一特征向量；优选地，所述根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框所对应目标的第一特征向量，包括：通过预训练的第一目标特征编码网络对所述3D候选框的第二伪点云数据进行特征编码以获得所述3D候选框所对应目标的第一特征向量，所述第一目标特征编码网络包括编码器和解码器；优选地，所述第一目标特征编码网络根据所述3D候选框所对应目标的第一特征向量与第二特征向量训练得到，所述第二特征向量由第二目标特征编码网络根据对应所述3D候选框的激光点云数据获得，所述第二目标特征编码网络与所述第一目标特征编码网络结构相同；优选地，所述第一目标特征编码网络的损失函数包含特征相似性损失，所述特征相似性损失根据所述3D候选框所对应目标的第一特征向量和第二特征向量得到；优选地，所述特征相似性损失为所述3D候选框所对应目标的第一特征向量与第二特征向量之间的KL散度损失；优选地，还包括：根据所述3D候选框所对应目标的第一特征向量获得所述3D检测框的置信度；优选地，所述3D检测框信息基于预训练的第一前馈神经网络获得，和/或所述3D检测框的置信度基于预训练的第二前馈神经网络获得；优选地，3D候选框检测网络、特征关联网络、第一目标特征编码网络、第一前馈神经网络和/或第二前馈神经网络的损失函数表示为：L
total
＝α1L
RPN
+α2L
conf
+α3L
reg
+α4L
KLD
其中，L
total
表示损失函数的函数值，α1、α2、α3、α4表示权重系数，L
KLD
表示特征相似性损失，L
conf
表示检测框置信度计算损失，L
reg
表示3D检测框回归损失，L
RPN
表示3D候选框检测网络的损失；其中，所述3D候选框检测网络用于获取所述3D候选框信息，所述特征关联网络用于获得所述3D候选框的第二伪点云数据，所述第一目标特征编码网络用于获得所述3D候选框所对应目标的第一特征向量，所述第一前馈神经网络用于获得所述3D检测框信息，所述第二前馈神经网络用于获得所述3D检测框的置信度。5.一种基于伪点云的目标检测装置，其特征在于，包括：伪点云获取单元，获取第一图像的第一伪点云数据，所述第一伪点云数据表征的目标特征包括三维3D特征和类别特征；3D目标候选框提取单元，用于根据所述第一图...

【专利技术属性】
技术研发人员：陈禹行，彭微，李雪，范圣印，
申请(专利权)人：北京易航远智科技有限公司，
类型：发明
国别省市：