三维目标检测方法及装置制造方法及图纸

本申请涉及计算机视觉技术领域，具体包括一种三维目标检测方法及装置，可以应用于智能运输、智能驾驶、测绘等领域。所述方法包括：获取目标环境的图像和点云数据；获取所述图像的语义信息，所述语义信息包括所述图像中像素对应的类别信息；根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息。该方法提高了目标环境中目标物体的三维位置检测准确度和精确度。目标物体的三维位置检测准确度和精确度。目标物体的三维位置检测准确度和精确度。

【技术实现步骤摘要】
三维目标检测方法及装置


[0001]本申请涉及计算机视觉
，尤其涉及一种三维目标检测方法及装置。

技术介绍

[0002]三维目标检测是自动驾驶
中的关键技术。三维目标检测的任务旨在根据传感器数据确定目标(如车辆、行人、道路设施等)在三维空间中的位置。准确地确定目标在三维空间中的位置是自动驾驶车辆感知周围环境的基础，对于安全自动驾驶至关重要。
[0003]相关技术中的三维目标检测方法主要基于激光雷达(LIDAR)所获取的点云数据。激光雷达是自动驾驶方案中比较常用的获取周围环境数据的传感器，点云数据的优势在于具有准确的三维坐标信息，但是点云数据分辨率较低，尤其在远距离稀疏的场景。所以，基于点云数据的三维目标检测算法对于远距离目标和点云稀疏的场景检测精度较低。
[0004]因此，相关技术中亟需一种检测精度较高的三维目标检测方式。

技术实现思路

[0005]本申请提供了一种三维目标检测方法，解决了相关技术中检测准确度不高的问题。本申请还提供了对应的装置、设备、计算机可读存储介质以及计算机程序产品。
[0006]第一方面，本申请的实施例提供了一种三维目标检测方法，该方法可以根据二维图像信息和三维点云数据识别目标环境中目标物的三维位置信息，结合了图像的分辨率高、可视距离远、语义信息丰富的优势和点云数据的三维信息准确的优势，能够大大提升物体检测的准确性和精确度。另外，在确定所述目标环境中目标的三维位置信息的过程中，可以获取图像中的语义信息，再结合所述点云数据、所述图像以及所述语义信息确定目标的三维位置信息。利用该方式可以三维目标检测过程中增强图像中的语义信息，提升三维目标检测的精度。
[0007]具体地，先获取目标环境的图像和点云数据，再获取所述图像的语义信息，所述语义信息包括所述图像中像素对应的类别信息，最后根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息。
[0008]可选的，在本申请的一个实施例中，所述根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息，包括：
[0009]将所述图像及所述图像的所述语义信息投影至所述点云数据中，生成语义点云数据；
[0010]提取所述语义点云数据中的特征信息，生成语义点云特征信息；
[0011]根据所述语义点云特征信息确定所述语义点云数据中目标的三维位置信息。
[0012]该实施例将语义点云特征提取和目标检测分别利用两个步骤完成，可以降低三维目标检测复杂度。
[0013]可选的，在本申请的一个实施例中，所述语义点云特征信息通过语义点云特征识别网络输出，所述三维位置信息通过目标检测网络输出。
[0014]该实施例中，利用神经网络的方式分别获取语义点云特征信息和所述语义点云数据中目标的三维位置信息，可以提升获取所述语义点云数据中目标的三维位置信息的效率和准确度。
[0015]可选的，在本申请的一个实施例中，所述语义点云特征识别网络包括点云特征识别子网络和图像特征识别子网络，其中，
[0016]所述点云特征识别子网络，用于提取所述点云数据的点云特征信息；
[0017]所述图像特征识别子网络，用于根据所述图像及所述语义信息提取所述图像中的图像特征信息，并利用所述图像特征信息动态调整所述点云特征识别子网络的网络参数。
[0018]该实施例使得点云特征识别子网络901中融合点云数据的特征以及图像的特征，提升点云特征识别子网络901的检测精确度。
[0019]可选的，在本申请的一个实施例中，所述点云特征识别子网络包括至少一个网络层，所述图像特征识别子网络分别与所述至少一个网络层相连接，其中，
[0020]所述图像特征识别子网络，具体用于根据所述图像及所述语义信息提取所述图像中的图像特征信息，并利用所述图像特征信息分别动态调整所述至少一个网络层的网络参数。
[0021]通过该实施例，可以随着所述图像特征信息随网络层数的增多，逐步增强所述图像特征信息对点云特征提取的影响力。
[0022]可选的，在本申请的一个实施例中，所述网络参数包括卷积核参数和/或注意力机制参数，其中，所述注意力机制参数用于将所述图像特征信息中与所述点云数据相关性大于相关性阈值的信息作为调整所述点云特征识别子网络的有效信息。
[0023]通过该实施例，可以利用注意力机制将所述图像特征信息中与所述点云数据相关性比较大的信息用于调整点云特征识别子网络901的网络参数。
[0024]可选的，在本申请的一个实施例中，所述方法还包括：
[0025]分别获取所述至少一个网络层的输出数据；
[0026]根据所述输出数据，确定所述网络参数对应的调整效果数据。
[0027]通过该实施例，可以获取到各个网络层的输出结果，以获取到所述图像特征信息对于各个网络层的贡献程度。
[0028]可选的，在本申请的一个实施例中，所述语义点云特征识别网络和所述目标检测网络按照下述方式训练得到：
[0029]获取多个语义点云训练样本，所述语义点云训练样本中包括点云数据样本以及投影至所述点云数据样本中的图像样本及所述图像样本的所述语义信息，所述语义点云训练样本中标注有目标的三维位置信息；
[0030]构建语义点云特征识别网络和目标检测网络，所述语义点云特征识别网络的输出端与所述目标检测网络的输入端连接；
[0031]分别将所述多个语义点云训练样本输入至所述语义点云特征识别网络中，经所述目标检测网络输出预测结果；
[0032]基于所述预测结果与标注的所述目标的三维位置信息之间的差异，对所述语义点云特征识别网络和所述目标检测网络的网络参数进行迭代调整，直至迭代满足预设要求。
[0033]通过该实施例，可以联合优化语义点云特征识别网络和目标检测网络，提高网络
学习效率和模型精度。
[0034]可选的，在本申请的一个实施例中，所述获取所述图像的语义信息，包括：
[0035]对所述图像进行全景分割，生成所述图像的语义信息，所述语义信息包括所述图像的全景分割图像，所述全景分割图像中包括全景分割得到的不同对象的图像区域以及所述图像区域对应的类别信息。
[0036]通过该实施例，可以利用全景分割算法获取到所述图像中各个像素所属的类别信息。
[0037]可选的，在本申请的一个实施例中，所述图像包括全景图像。
[0038]通过该实施例，全景图像中可以所述目标环境中多个角度的信息，以增加所述图像的三维特征等更加丰富的信息。
[0039]第二方面，本申请的实施例提供了一种三维目标检测装置。该装置包括：
[0040]通信模块，用于获取目标环境的图像和点云数据；
[0041]语义提取模块，用于获取所述图像的语义信息，所述语义信息包括所述图像中像素对应的类别信息；
[0042]目标检测模块，用于根据所述点云数据、所述图像及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标检测方法，其特征在于，包括：获取目标环境的图像和点云数据；获取所述图像的语义信息，所述语义信息包括所述图像中像素对应的类别信息；根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息，包括：将所述图像及所述图像的所述语义信息投影至所述点云数据中，生成语义点云数据；提取所述语义点云数据中的特征信息，生成语义点云特征信息；根据所述语义点云特征信息确定所述语义点云数据中目标的三维位置信息。3.根据权利要求2所述的方法，其特征在于，所述语义点云特征信息通过语义点云特征识别网络输出，所述三维位置信息通过目标检测网络输出。4.根据权利要求3所述的方法，其特征在于，所述语义点云特征识别网络包括点云特征识别子网络和图像特征识别子网络，其中，所述点云特征识别子网络，用于提取所述点云数据的点云特征信息；所述图像特征识别子网络，用于根据所述图像及所述语义信息提取所述图像中的图像特征信息，并利用所述图像特征信息动态调整所述点云特征识别子网络的网络参数。5.根据权利要求4所述的方法，其特征在于，所述点云特征识别子网络包括至少一个网络层，所述图像特征识别子网络分别与所述至少一个网络层相连接，其中，所述图像特征识别子网络，具体用于根据所述图像及所述语义信息提取所述图像中的图像特征信息，并利用所述图像特征信息分别动态调整所述至少一个网络层的网络参数。6.根据权利要求4或5所述的方法，其特征在于，所述网络参数包括卷积核参数和/或注意力机制参数，其中，所述注意力机制参数用于将所述图像特征信息中与所述点云数据相关性大于相关性阈值的信息作为调整所述点云特征识别子网络的有效信息。7.根据权利要求5或6所述的方法，其特征在于，还包括：分别获取所述至少一个网络层的输出数据；根据所述输出数据，确定所述网络参数对应的调整效果数据。8.根据权利要求1
‑
7任意一项所述的方法，其特征在于，所述语义点云特征识别网络和所述目标检测网络按照下述方式训练得到：获取多个语义点云训练样本，所述语义点云训练样本中包括点云数据样本以及投影至所述点云数据样本中的图像样本及所述图像样本的所述语义信息，所述语义点云训练样本中标注有目标的三维位置信息；构建语义点云特征识别网络和目标检测网络，所述语义点云特征识别网络的输出端与所述目标检测网络的输入端连接；分别将所述多个语义点云训练样本输入至所述语义点云特征识别网络中，经所述目标检测网络输出预测结果；基于所述预测结果与标注的所述目标的三维位置信息之间的差异，对所述语义点云特征识别网络和所述目标检测网络的网络参数进行迭代调整，直至迭代满足预设要求。9.根据权利要求1
‑
8任一项所述的方法，其特征在于，所述获取所述图像的语义信息，
包括：对所述图像进行全景分割，生成所述图像的语义信息，所述语义信息包括所述图像的全景分割图像，所述全景分割图像中包括全景分割得到的不同对象的图像区域以及所述图像区域对应的类别信息。10.根据权利要求1
‑
9任一项所述的方法，其特征在于，所述图像包括全景图像。11.一种三维目标检测装置，其特征在于，包括：通信模块，用于获取目标环境的图像和点云数据；语义提取模块，用于获取所述图像的语义信息，所述语义信息包括所述图像中像素对应的类别信息；目标检测模块，用于根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息。12.根据权利要求11所述的装置，其特征在于，所述目标检测模块，具体用于：将所述图像及所述图像的所述语义信息投影至所述点云数据中，生成语义点云数据；提取所述语义点云数据中的特征信...

【专利技术属性】
技术研发人员：苏鹏，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：