物体检测方法及装置、计算机可读存储介质及无人车制造方法及图纸

本公开涉及物体检测方法及装置、计算机可读存储介质及无人车，涉及人工智能、智能驾驶领域。物体检测方法包括：获取待检测物体的原始点云、待检测物体的图像，以及图像中的像素点的语义标签；根据原始点云，生成待检测物体的候选检测框；根据候选检测框，生成虚拟点云；将原始点云与虚拟点云融合，得到融合点云；通过将融合点云投影到图像坐标系中，确定融合点云中每个点对应的语义标签；利用三维检测模型，根据融合点云以及融合点云中每个点对应的语义标签，生成待检测物体的三维检测框。根据本公开，提高了物体检测的准确性。提高了物体检测的准确性。提高了物体检测的准确性。

【技术实现步骤摘要】
物体检测方法及装置、计算机可读存储介质及无人车


[0001]本公开涉及人工智能领域，尤其涉及自动驾驶领域，特别涉及物体检测方法及装置、计算机可读存储介质及无人车。

技术介绍

[0002]随着将卷积神经网络引入到目标检测领域，二维目标检测已经称为研究的热点，各种新的方法不断涌现。但是在无人驾驶、机器人、增强现实的应用场景下，普通二维目标检测并不能提供感知环境所需要的全部信息，二维目标检测仅能提供目标物体在二维图片中的位置和对应类别。
[0003]但是在真实的三维世界中，物体都是有三维形状的。例如在自动驾驶场景下，自动驾驶的车辆必须对可能阻碍行驶的障碍物进行检测识别，需要有目标物体的长宽高等信息，以便根据不同的障碍物类型和状态做出合理的回避动作。因此，三维目标检测对于路径规划和控制具有至关重要的作用。
[0004]目前主要是利用单目相机、双目相机、激光雷达等设备的成像结果，来对环境中的三维物体进行三维目标检测。

技术实现思路

[0005]根据本公开的第一方面，提供了一种物体检测方法，包括：
[0006]获取待检测物体的原始点云、待检测物体的图像，以及图像中的像素点的语义标签；
[0007]根据原始点云，生成待检测物体的候选检测框；
[0008]根据候选检测框，生成虚拟点云；
[0009]将原始点云与虚拟点云融合，得到融合点云；
[0010]通过将融合点云投影到图像坐标系中，确定融合点云中每个点对应的语义标签；
[0011]利用三维检测模型，根据融合点云以及融合点云中每个点对应的语义标签，生成待检测物体的三维检测框。
[0012]在一些实施例中，所述根据候选检测框，生成虚拟点云，包括：
[0013]生成候选检测框的栅格；
[0014]根据候选检测框的栅格，生成虚拟点云。
[0015]在一些实施例中，虚拟点云中的每个点与候选检测框的栅格中的一个网格对应，虚拟点云的密度大于原始点云的密度。
[0016]在一些实施例中，所述通过将融合点云投影到图像坐标系中，确定融合点云中每个点对应的语义标签，包括：
[0017]通过将融合点云投影到图像坐标系中，确定融合点云中每个点与图像中每个像素点的对应关系；
[0018]根据融合点云中每个点与图像中每个像素点的对应关系，以及图像中每个像素点
的语义标签，确定融合点云中每个点对应的语义标签。
[0019]在一些实施例中，所述将原始点云与虚拟点云融合，得到融合点云，包括:
[0020]将原始点云与虚拟点云叠加，得到融合点云。
[0021]在一些实施例中，所述利用三维检测模型，根据融合点云以及融合点云中每个点对应的语义标签，生成待检测物体的三维检测框，包括：
[0022]将融合点云中每个点的坐标与该点的语义标签拼接，得到点云和图像的融合信息；
[0023]利用三维检测模型，根据点云和图像的融合信息，生成待检测物体的三维检测框。
[0024]在一些实施例中，所述将融合点云中每个点的坐标与该点的语义标签拼接，得到点云和图像的融合信息，包括：将融合点云中每个点的坐标与该点的语义标签串联成数组，作为点云和图像的融合信息。
[0025]在一些实施例中，所述三维检测模型包括第一特征提取网络和检测网络，所述三维检测模型包括第一特征提取网络和检测网络，所述利用三维检测模型，根据点云和图像的融合信息，生成待检测物体的三维检测框，包括：
[0026]利用第一特征提取网络，提取点云和图像的融合信息的特征；
[0027]利用第一检测网络，根据点云和图像的融合信息的特征，生成待检测物体的三维检测框。
[0028]在一些实施例中，所述图像中的像素点的语义标签为对图像进行语义分割生成的每个像素点的类别。
[0029]在一些实施例中，所述待检测物体的原始点云通过激光雷达对待检测物体扫描得到、待检测物体的图像通过相机对待检测物体拍摄得到。
[0030]在一些实施例中，所述根据原始点云，生成待检测物体的候选检测框，包括：
[0031]利用第二特征提取网络，提取原始点云的特征；
[0032]利用第二检测网络，根据原始点云的特征，生成待检测物体的候选检测框。
[0033]根据本公开的第二方面，提供了一种物体检测装置，包括：
[0034]获取模块，被配置为获取待检测物体的原始点云、待检测物体的图像，以及图像中的像素点的语义标签；
[0035]候选检测框生成模块，被配置为根据原始点云，生成待检测物体的候选检测框；
[0036]虚拟点云生成模块，被配置为根据候选检测框，生成虚拟点云；
[0037]点云融合模块，被配置为将原始点云与虚拟点云融合，得到融合点云；
[0038]确定模块，被配置为通过将融合点云投影到图像坐标系中，确定融合点云中每个点对应的语义标签；
[0039]三维检测框生成模块，被配置为利用三维检测模型，根据融合点云以及融合点云中每个点对应的语义标签，生成待检测物体的三维检测框。
[0040]根据本公开的第三方面，提供了一种物体检测装置，包括：
[0041]存储器；以及
[0042]耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如本公开任一实施例所述的物体检测方法。
[0043]根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程
序指令，该指令被处理器执行时实现如本公开任一实施例所述的物体检测方法。
[0044]根据本公开的第五方面，提供了一种无人车，配置有如本公开任一实施例所述的物体检测装置。
附图说明
[0045]构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
[0046]参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
[0047]图1示出了根据本公开一些实施例的物体检测方法的流程图；
[0048]图2A和2B示出了本公开一些实施例的虚拟点云生成方法的示意图；
[0049]图3示出了根据本公开一些实施例的确定融合点云中的点的语义标签的示意图；
[0050]图4示出了根据本公开另一些实施例的生成三维检测框的流程图；
[0051]图5示出了根据本公开一些实施例的物体检测装置的框图；
[0052]图6示出了根据本公开另一些实施例的物体检测装置的框图；
[0053]图7示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
[0054]现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0055]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。...

【技术保护点】

【技术特征摘要】
1.一种物体检测方法，包括：获取待检测物体的原始点云、待检测物体的图像，以及图像中的像素点的语义标签；根据原始点云，生成待检测物体的候选检测框；根据候选检测框，生成虚拟点云；将原始点云与虚拟点云融合，得到融合点云；通过将融合点云投影到图像坐标系中，确定融合点云中每个点对应的语义标签；利用三维检测模型，根据融合点云以及融合点云中每个点对应的语义标签，生成待检测物体的三维检测框。2.根据权利要求1所述的物体检测方法，其中，所述根据候选检测框，生成虚拟点云，包括：生成候选检测框的栅格；根据候选检测框的栅格，生成虚拟点云。3.根据权利要求2所述的物体检测方法，其中，虚拟点云中的每个点与候选检测框的栅格中的一个网格对应，虚拟点云的密度大于原始点云的密度。4.根据权利要求1所述的物体检测方法，其中，所述通过将融合点云投影到图像坐标系中，确定融合点云中每个点对应的语义标签，包括：通过将融合点云投影到图像坐标系中，确定融合点云中每个点与图像中每个像素点的对应关系；根据融合点云中每个点与图像中每个像素点的对应关系，以及图像中每个像素点的语义标签，确定融合点云中每个点对应的语义标签。5.根据权利要求1所述的物体检测方法，其中，所述将原始点云与虚拟点云融合，得到融合点云，包括:将原始点云与虚拟点云叠加，得到融合点云。6.根据权利要求1所述的物体检测方法，其中，所述利用三维检测模型，根据融合点云以及融合点云中每个点对应的语义标签，生成待检测物体的三维检测框，包括：将融合点云中每个点的坐标与该点的语义标签拼接，得到点云和图像的融合信息；利用三维检测模型，根据点云和图像的融合信息，生成待检测物体的三维检测框。7.根据权利要求6所述的物体检测方法，其中，所述将融合点云中每个点的坐标与该点的语义标签拼接，得到点云和图像的融合信息，包括：将融合点云中每个点的坐标与该点的语义标签串联成数组，作为点云和图像的融合信息。8.根据权利要求6所述的物体检测方...

【专利技术属性】
技术研发人员：王丹，刘浩，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：