三维目标检测方法及装置制造方法及图纸

本申请公开了一种三维目标检测方法及装置。方法的一具体实施方式包括：获取相对应的三维点云数据和二维图像数据；通过预训练的目标检测模型，基于注意力机制，确定多个目标检测标记对于三维点云数据中的每个点云标记和二维图像数据中的每个图像片标记的注意力权重；通过目标检测模型，根据注意力权重，得到三维目标检测结果。本申请充分融合三维点云数据和二维图像数据这两种模态的数据，通过目标检测标记建立两种模态数据的内在语义相关性，提高了三维目标检测结果的准确度。高了三维目标检测结果的准确度。高了三维目标检测结果的准确度。

【技术实现步骤摘要】
三维目标检测方法及装置


[0001]本申请实施例涉及计算机
，具体涉及深度学习、人工智能技术，尤其涉及一种三维目标检测方法及装置、目标检测模型的训练方法及装置、计算机可读介质和电子设备。

技术介绍

[0002]3D(三维)目标检测是一种在三维场景中识别或定位物体的方法，是理解场景的基本任务。近来，3D目标检测受到越来越多的关注。许多成功的尝试中，一般利用输入的点云数据预测3D目标框。目前，没有将三维点云和二维图像的优势结合起来以执行3D目标检测的方案。

技术实现思路

[0003]本申请实施例提出了一种三维目标检测方法及装置、目标检测模型的训练方法及装置、计算机可读介质和电子设备。
[0004]第一方面，本申请实施例提供了一种三维目标检测方法，包括：获取相对应的三维点云数据和二维图像数据；通过预训练的目标检测模型，基于注意力机制，确定多个目标检测标记对于三维点云数据中的每个点云标记和二维图像数据中的每个图像片标记的注意力权重；通过目标检测模型，根据注意力权重，得到三维目标检测结果。
[0005]在一些实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标检测方法，包括：获取相对应的三维点云数据和二维图像数据；通过预训练的目标检测模型，基于注意力机制，确定多个目标检测标记对于所述三维点云数据中的每个点云标记和所述二维图像数据中的每个图像片标记的注意力权重；通过所述目标检测模型，根据所述注意力权重，得到三维目标检测结果。2.根据权利要求1所述的方法，其中，所述通过预训练的目标检测模型，基于注意力机制，确定多个目标检测标记对于所述三维点云数据中的每个点云标记和所述二维图像数据中的每个图像片标记的注意力权重，包括：对于所述目标检测模型中的每层注意力网络，执行如下操作：基于注意力机制，通过上一层注意力网络输出的多个点云标记和多个目标检测标记中的一部分目标检测标记，得到该层注意力网络输出的多个点云标记；基于注意力机制，通过上一层注意力网络输出的多个图像片标记和多个目标检测标记中的另一部分目标检测标记，得到该层注意力网络输出的多个图像片标记；基于注意力机制，通过上一层注意力网络输出的多个点云标记、多个图像片标记和多个目标检测标记，得到该层注意力网络输出的多个目标检测标记；以及所述基于注意力机制，确定多个目标检测标记对于所述三维点云数据中的每个点云标记和所述二维图像数据中的每个图像片标记的注意力权重，还包括：将最后一层注意力网络输出的多个目标检测标记作为所述注意力权重。3.根据权利要求2所述的方法，其中，所述基于注意力机制，通过上一层注意力网络输出的多个点云标记和多个目标检测标记中的一部分目标检测标记，得到该层注意力网络输出的多个点云标记，包括：基于注意力机制，通过上一层注意力网络输出的多个点云标记和多个目标检测标记中的一部分目标检测标记，得到该层注意力网络输出的多个初始点云标记；确定所述多个初始点云标记和该层注意力网络输出的多个图像片标记之间的对应关系；将具有对应关系的初始点云标记和图像片标记进行融合，得到该层注意力网络输出的多个点云标记。4.根据权利要求3所述的方法，其中，所述确定所述多个初始点云标记和该层注意力网络输出的多个图像片标记之间的对应关系，包括：根据获取所述二维图像数据的相机设备的相机内参数据和相机外参数据，从所述二维图像数据中确定出所述多个初始点云标记中的每个初始点云标记对应的像素的坐标信息；根据每个初始点云标记对应的坐标信息，确定出该点云标记对应的图像片标记。5.一种目标检测模型的训练方法，包括：获取训练样本集，其中，所述训练样本集中的训练样本包括三维点云数据、二维图像数据、三维目标检测结果标签和二维目标检测结果标签；利用机器学习算法，基于注意力机制，确定多个目标检测标记对于输入的三维点云数据中的每个点云标记和二维图像数据中的每个图像片标记的注意力权重，将输入的三维点云数据和二维图像数据对应的三维目标检测结果标签和二维目标检测结果标签，依次作为基于所述注意力权重得到的三维目标检测结果和二维目标检测结果的期望结果，训练得到
所述目标检测模型。6.根据权利要求5所述的方法，其中，所述基于注意力机制，确定多个目标检测标记对于输入的三维点云数据中的每个点云标记和二维图像数据中的每个图像片标记的注意力权重，包括：对于初始目标检测模型中的每层注意力网络，执行如下操作：基于注意力机制，通过上一层注意力网络输出的多个点云标记和多个目标检测标记中的一部分目标检测标记，得到该层注意力网络输出的多个点云标记；基于注意力机制，通过上一层注意力网络输出的多个图像片标记和多个目标检测标记中的另一部分目标检测标记，得到该层注意力网络输出的多个图...

【专利技术属性】
技术研发人员：何凤翔，王一凯，黄文炳，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：