三维物体检测方法、装置、电子设备及介质制造方法及图纸

本申请提供了一种三维物体检测方法、装置、电子设备及介质，涉及人工智能领域，能够提高三维物体检测精度。该方法包括：三维物体检测装置获取二维图像和至少一个点云数据集。其中，二维图像包括至少一个物体的图像，点云数据集包括多个点云数据，点云数据用于描述至少一个物体在三维空间中的候选区域。之后，三维物体检测装置根据二维图像中目标物体图像，从至少一个点云数据集中确定目标点云数据集。其中，目标点云数据集中的点云数据用于描述目标物体在三维空间中的候选区域。三维物体检测装置将目标点云数据集和目标物体图像进行关联，以得到检测结果。其中，检测结果指示目标物体在三维空间中的估计位置。在三维空间中的估计位置。在三维空间中的估计位置。

【技术实现步骤摘要】
三维物体检测方法、装置、电子设备及介质


[0001]本申请涉及人工智能(artificial intelligence，AI)
，尤其涉及一种三维物体检测方法、装置、电子设备及介质。

技术介绍

[0002]机器人对环境中的物体具备辨识能力，从而实现路径规划、避障等功能。其中，物体的三维(three
‑
dimensiona，3D)空间尺寸对机器人理解环境尤为重要。示例性的，设备获取场景的点云之后，基于场景的点云确定候选物体区域，再从点云中选择位于候选物体区域中的目标点，利用目标点的位置信息，调整候选物体区域，从而定位出物体的三维空间位置。
[0003]然而，在某些观测视角下，设备无法获取足够的点云，导致物体无法辨识，使得三维物体检测精度低、假阳率高。

技术实现思路

[0004]本申请实施例提供一种三维物体检测方法、装置、电子设备及介质，能够提高三维物体检测精度。
[0005]为达到上述目的，本申请实施例采用如下技术方案：
[0006]第一方面，本申请实施例提供一种三维物体检测方法，该方法的执行主体可以是三维物体检测装置。该方法包括：获取二维图像和至少一个点云数据集，所述二维图像包括至少一个物体的图像，所述点云数据集包括多个点云数据，所述点云数据用于描述所述至少一个物体在三维空间中的候选区域，所述二维图像是图像传感器采集的信息，所述点云数据是深度传感器采集的信息；根据所述二维图像中目标物体图像，从所述至少一个点云数据集中确定目标点云数据集，其中，所述目标物体图像包括所述至少一个物体中目标物体的图像，所述目标点云数据集中的点云数据用于描述所述目标物体在所述三维空间中的候选区域；将所述目标点云数据集和所述目标物体图像进行关联，以得到检测结果，其中，所述检测结果指示所述目标物体在所述三维空间中的估计位置。
[0007]本方法中通过三维物体检测装置获取二维图像和至少一个点云数据集。其中，二维图像包括至少一个物体的图像。点云数据集包括多个点云数据，点云数据用于描述至少一个物体在三维空间中的候选区域。二维图像是图像传感器采集的信息，点云数据是深度传感器采集的信息。之后，三维物体检测装置根据二维图像中目标物体图像，从至少一个点云数据集中确定目标点云数据集。其中，目标物体图像包括至少一个物体中目标物体的图像，目标点云数据集中的点云数据用于描述目标物体在三维空间中的候选区域。然后，三维物体检测装置将目标点云数据集和目标物体图像进行关联，以得到检测结果。其中，检测结果指示目标物体在三维空间中的估计位置。
[0008]在本申请实施例提供的三维物体检测方法中，由于二维图像的处理精度高，目标物体图像能够准确地呈现目标物体在二维图像中的区域，利用目标物体图像来筛选目标点
云数据集，实现对点云数据集几何分割聚类，无需获取大量的三维训练数据。即使物体被遮挡，也能够获取到目标点云数据集，在一定程度上提高了目标物体对应的目标点云数据集的精准度。并且，三维物体检测装置将目标点云数据集和目标物体图像进行关联，以得到检测结果。由于二维图像的处理精度高，即使目标物体的点云数据不足，也能够精准地确定目标物体在三维空间中的估计位置，避免假阳率高的问题。本申请实施例三维物体检测方法无需获取三维训练数据，避免了“基于三维训练数据训练模型”所导致的“泛化性差”的问题。
[0009]在一种可能的设计中，所述根据所述二维图像中目标物体图像，从所述至少一个点云数据集中确定目标点云数据集，包括：确定第一点云数据集在所述二维图像中的第一投影区域，其中，所述第一点云数据集是所述至少一个点云数据集中的一个集合；根据所述第一投影区域和目标图像区域，确定所述第一点云数据集为所述目标点云数据集，其中，所述目标图像区域是所述目标物体图像在所述二维图像中的区域。
[0010]在本方法中，三维物体检测装置根据二维图像中目标物体图像，从至少一个点云数据集中确定目标点云数据集，包括：三维物体检测装置确定第一点云数据集在二维图像中的第一投影区域。其中，第一点云数据集是至少一个点云数据集中的一个集合。然后，三维物体检测装置根据第一投影区域和目标图像区域，确定第一点云数据集为目标点云数据集。其中，目标图像区域是目标物体图像在二维图像中的区域。
[0011]也就是说，三维物体检测装置是基于两个区域(即目标图像区域与一个点云数据集在二维图像上的投影区域)，来确定一个点云数据集是否为目标点云数据集。由于目标物体图像属于二维图像，三维物体检测装置对二维图像的检测与识别精度高，联合目标物体图像识别出目标点云数据集，也就能够相应提高目标点云数据集的识别精度。
[0012]在一种可能的设计中，所述确定第一点云数据集在所述二维图像中的第一投影区域，包括：根据所述第一点云数据集中点云的深度范围，从所述第一点云数据集所表示的特征点中确定第一特征点；根据所述点云数据与所述二维图像之间的转换参数，确定所述第一特征点在所述二维图像中的第一投影点；将所述第一投影点对应的二维标注框所标注的区域，作为所述第一投影区域。
[0013]在本方法中，三维物体检测装置确定第一点云数据集在二维图像中的第一投影区域，包括：三维物体检测装置根据第一点云数据集中点云的深度范围，从第一点云数据集所表示的特征点中确定第一特征点，如最远点、最近点。然后，三维物体检测装置根据点云数据与二维图像之间的转换参数，如深度传感器的内参、旋转矩阵、或平移矩阵，确定第一特征点在二维图像中的第一投影点。三维物体检测装置将第一投影点对应的二维标注框所标注的区域，作为第一投影区域。示例性的，二维标注框是以第一投影点为对角点的框。
[0014]也就是说，在三维物体检测装置确定了一个点云数据集中的第一特征点的情况下，首先确定第一特征点在二维图像上的投影点，即第一投影点。由于第一投影点是第一点云数据集中最远点、最近点在二维图像上的投影。所以，第一投影区域是第一投影点之间的区域，即第一投影点对应的二维标注框所标注的区域，从而实现了第一点云数据集在二维图像上的准确投影。
[0015]在一种可能的设计中，所述根据所述第一投影区域和目标图像区域，确定所述第一点云数据集为所述目标点云数据集，包括：根据所述第一投影区域和所述目标图像区域
之间的重合程度，以及所述第一投影区域的大小，确定所述第一点云数据集为所述目标点云数据集。
[0016]在本方法中，三维物体检测装置根据第一投影区域和目标图像区域，确定第一点云数据集为目标点云数据集，包括：三维物体检测装置根据第一投影区域和目标图像区域之间的重合程度，以及第一投影区域的大小，确定第一点云数据集为目标点云数据集。
[0017]也就是说，即使第一投影区域与目标图像区域重合，若“第一投影区域”面积偏小，则第一点云数据集中点云数据所表示的特征点可能是目标物体的一部分。由于目标物体的一部分无法准确地表征目标物体整体在三维空间中的估计位置，所以，此类的点云数据集不作为目标点云数据集。如此，三维物体检测装置在确定目标点云数据集的过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维物体检测方法，其特征在于，包括：获取二维图像和至少一个点云数据集，所述二维图像包括至少一个物体的图像，所述点云数据集包括多个点云数据，所述点云数据用于描述所述至少一个物体在三维空间中的候选区域，所述二维图像是图像传感器采集的信息，所述点云数据是深度传感器采集的信息；根据所述二维图像中目标物体图像，从所述至少一个点云数据集中确定目标点云数据集，其中，所述目标物体图像包括所述至少一个物体中目标物体的图像，所述目标点云数据集中的点云数据用于描述所述目标物体在所述三维空间中的候选区域；将所述目标点云数据集和所述目标物体图像进行关联，以得到检测结果，其中，所述检测结果指示所述目标物体在所述三维空间中的估计位置。2.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像中目标物体图像，从所述至少一个点云数据集中确定目标点云数据集，包括：确定第一点云数据集在所述二维图像中的第一投影区域，其中，所述第一点云数据集是所述至少一个点云数据集中的一个集合；根据所述第一投影区域和目标图像区域，确定所述第一点云数据集为所述目标点云数据集，其中，所述目标图像区域是所述目标物体图像在所述二维图像中的区域。3.根据权利要求2所述的方法，其特征在于，所述确定第一点云数据集在所述二维图像中的第一投影区域，包括：根据所述第一点云数据集中点云的深度范围，从所述第一点云数据集所表示的特征点中确定第一特征点；根据所述点云数据与所述二维图像之间的转换参数，确定所述第一特征点在所述二维图像中的第一投影点；将所述第一投影点对应的二维标注框所标注的区域，作为所述第一投影区域。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一投影区域和目标图像区域，确定所述第一点云数据集为所述目标点云数据集，包括：根据所述第一投影区域和所述目标图像区域之间的重合程度，以及所述第一投影区域的大小，确定所述第一点云数据集为所述目标点云数据集。5.根据权利要求4所述的方法，其特征在于，所述目标点云数据集所表示的特征点在所述二维图像中的目标投影区域满足：其中，S表示所述目标投影区域与所述目标图像区域之间的相似度，IOU表示所述目标投影区域与所述目标图像区域之间的交并比，S
∩
表示所述目标投影区域与所述目标图像区域之间的重叠面积，S
∪
表示所述重叠面积与不重叠面积之和，所述不重叠面积为所述目标投影区域与所述目标图像区域之间未重叠的面积，Lj表示所述目标投影区域的投影点间距，所述投影点间距是目标特征点在所述二维图像中的投影点之间的距离，所述目标特征点属于所述目标点云数据集所表示的特征点，且指示所述目标点云数据集中点云的深度范围，Dij表示所述目标投影区域的参考点与所述目标图像区域的参考点之间的距离，T表示
相似度阈值。6.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述目标点云数据集和所述目标物体图像进行关联，以得到检测结果，包括：根据所述目标点云数据集中点云的深度范围，将所述目标物体图像中的部分像素点逆映射至所述三维空间，以得到目标逆映射点；将所述目标逆映射点对应的三维标注框所标注的区域，作为所述检测结果。7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：根据预设的调整因子，调整所述检测结果指示的估计位置，其中，所述调整因子指示所述目标物体在所述三维空间中的真实位置与估计位置之间的差异。8.根据权利要求1至7任一项所述的方法，其特征在于，所述点云数据集所表示的特征点的数量小于数量阈值。9.一种三维物体检测装置，其特征在于，包括：获取单元，用于获取二维图像和至少一个点云数据集，所述二维图像包括至少一个物体的图像，所述点云数据集包括多个点云数据，所述点云数据用于描述所述至少一个物体在三维空间中的候选区域，所述二维图像是图像传感器采集的信息，所述点云数据是深度传感器采集的信息；处理单元，用于根据所述二维图像中目标物体图像，从所述至...

【专利技术属性】
技术研发人员：王凯，薛景涛，贺亚农，陈辰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：