三维物体检测方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种三维物体检测方法、装置、设备及存储介质，涉及图像处理技术领域，进一步涉及计算机视觉技术，可以应用于自动驾驶、虚拟现实及增强现实等领域，包括：获取待检测的单帧彩色图像；获取所述单帧彩色图像的前景物体特征和物体约束特征；根据所述前景物体特征和所述物体约束特征对所述单帧彩色图像进行三维物体检测。本申请实施例能够提高基于单帧图像的三维物体检测精度。单帧图像的三维物体检测精度。单帧图像的三维物体检测精度。

【技术实现步骤摘要】
三维物体检测方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，具体涉及计算机视觉技术。

技术介绍

[0002]物体检测是计算机视觉领域的重要研究方向。目前，物体检测主要包括二维物体检测和三维物体检测。其中，二维物体检测通常是在图像中识别和定位到物体后，紧紧围绕物体圈出一个矩形框来表示物体在图像中所在位置。三维物体检测通过识别和定位三维物体，得到物体的三维信息，紧紧围绕物体圈出一个立方体框来表示物体在真实世界中的位置。三维物体检测在智能机器人、自动驾驶、虚拟现实及增强现实等领域都有着重要的应用价值。

技术实现思路

[0003]本申请实施例提供了一种三维物体检测方法、装置、设备、介质及程序产品，以提高基于单帧图像的三维物体检测精度。
[0004]第一方面，本申请实施例提供了一种三维物体检测方法，包括：
[0005]获取待检测的单帧彩色图像；
[0006]获取所述单帧彩色图像的前景物体特征和物体约束特征；
[0007]根据所述前景物体特征和所述物体约束特征对所述单帧彩色图像进行三维物体检测。
[0008]第二方面，本申请实施例提供了一种三维物体检测装置，包括：
[0009]单帧彩色图像获取模块，用于获取待检测的单帧彩色图像；
[0010]特征获取模块，用于获取所述单帧彩色图像的前景物体特征和物体约束特征；
[0011]三维物体检测模块，用于根据所述前景物体特征和所述物体约束特征对所述单帧彩色图像进行三维物体检测。
[0012]第三方面，本申请实施例提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所提供的三维物体检测方法。
[0016]第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所提供的三维物体检测方法。
[0017]第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例所提供的三维物体检测方法。
[0018]本申请实施例通过获取待检测的单帧彩色图像的前景物体特征和物体约束特征，
以根据前景物体特征和物体约束特征对单帧彩色图像进行三维物体检测，解决现有基于单帧图像进行三维物体检测存在的检测精度较低的问题，从而提高基于单帧图像的三维物体检测精度。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0021]图1是本申请实施例提供的一种三维物体检测方法的流程图；
[0022]图2是本申请实施例提供的一种三维物体检测方法的流程图；
[0023]图3是本申请实施例提供的一种三维物体检测方法的流程示意图图；
[0024]图4是本申请实施例提供的一种利用物体级别transformer网络获取物体约束特征的流程示意图；
[0025]图5是本申请实施例提供的一种物体级别transformer网络的结构示意图；
[0026]图6是本申请实施例提供的一种三维物体检测装置的结构图；
[0027]图7是用来实现本申请实施例的三维物体检测方法的电子设备的结构示意图。
具体实施方式
[0028]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0029]基于单帧图像的三维物体检测方法是三维物体检测中的一种主要技术，可以仅以单帧图像实现物体的三维标定。目前，大部分基于单帧图像的三维物体检测方法都是以单帧图像的图像特征为基础，根据稀疏的特定像素点，得到多个可能存在物体的位置或区域，也称为物体proposal结构。还有部分三维物体检测方法对图像中的每个像素点进行检测，以判断是否存在物体的中心点，并在确定存在物体中心点的情况下，根据中心点估计三维包围框的信息。
[0030]上述三维物体检测方法都存在明显的缺陷，即仅仅将物体检测作为一个regress(多元线性回归)问题，所有物体的检测都是相互独立的。可以理解的是，在实际的三维世界中物体与物体之间存在很强的约束关系，例如，车辆必须位于地平线之上，且与地平线相接。现有的三维物体检测方没有考虑物体之间的约束关系，导致降低了三维物体的检测精度。
[0031]在一个示例中，图1是本申请实施例提供的一种三维物体检测方法的流程图，本实施例可适用于根据单帧彩色图像的前景物体特征和物体约束特征进行三维物体检测的情况，该方法可以由三维物体检测装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子可以是服务器设备或计算机设备等。相应的，如图1所示，该方法包括如下操作：
[0032]S110、获取待检测的单帧彩色图像。
[0033]其中，单帧彩色图像也即单张RGB(Red
‑
Green
‑
Blue，三原色)图像。在本申请实施例中，可以获取待检测的单帧彩色图像，并以该单帧彩色图像为基准，对图像中包括的物体进行三维物体检测。基于单帧图像的三维物体检测也即利用三维标识框，对图像中的各个物体进行标识。例如，利用三维立体框对图像中的汽车等物体进行标识，以表示物体在真实世界中的位置。
[0034]S120、获取所述单帧彩色图像的前景物体特征和物体约束特征。
[0035]其中，前景物体特征可以是从单帧彩色图像提取的物体的图像特征，如物体的颜色特征、纹理特征或形状特征等。物体约束特征可以是根据单帧彩色图像估计的，包括物体与物体之间约束关系的特征，如车辆1与车辆2需要保持一定间距，车道线之间具有一定宽度等。
[0036]相应的，在获取到待检测的单帧彩色图像之后，可以进一步获取该单帧彩色图像的前景物体特征和物体约束特征。其中，前景物体特征可以表征单帧彩色图像中各独立物体的多特征维度的图像特征，而物体约束特征可以表征单帧彩色图像中各物体之间的约束关系特征。也即，前景物体特征和物体约束特征均属于单帧彩色图像中物体的特征，但特征类型不同，侧重的特征属性也不同。
[0037]S130、根据所述前景物体特征和所述物体约束特征对所述单帧彩色图像进行三维物体检测。
[0038]进一步的，可以根据单帧彩色图像的前景物体特征和物体约束本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维物体检测方法，包括：获取待检测的单帧彩色图像；获取所述单帧彩色图像的前景物体特征和物体约束特征；根据所述前景物体特征和所述物体约束特征对所述单帧彩色图像进行三维物体检测。2.根据权利要求1所述的方法，其中，所述获取所述单帧彩色图像的前景物体特征，包括：将所述单帧彩色图像输入至深度特征估计网络；获取所述深度特征估计网络的第一输出数据，作为所述单帧彩色图像的深度图像特征；将所述深度图像特征输入至两层全连接神经网络；获取所述两层全连接神经网络的第二输出数据，作为热力分布特征；根据所述深度图像特征和所述热力分布特征获取所述前景物体特征。3.根据权利要求2所述的方法，其中，所述根据所述深度图像特征和所述热力分布特征获取所述前景物体特征，包括：根据所述热力分布特征确定前景物体对象；获取所述前景物体对象的坐标位置数据；根据所述坐标位置数据从所述深度图像特征中提取目标深度图像特征，作为目标前景物体特征；根据所述目标前景物体特征构建所述前景物体特征。4.根据权利要求1所述的方法，其中，所述获取所述单帧彩色图像的物体约束特征，包括：将所述前景物体特征输入至物体级别transformer网络；获取所述物体级别transformer网络的第三输出数据；将所述第三输出数据输入至两层全连接神经网络，得到第四输出数据；将所述第四输出数据作为所述物体约束特征。5.根据权利要求4所述的方法，其中，所述获取所述物体级别transformer网络的第三输出数据，包括：将所述前景物体特征输入至所述物体级别transformer网络的物体编码器；获取所述物体编码器的编码输出结果，并将所述编码输出结果输入至所述物体级别transformer网络的物体译码器；获取所述物体译码器的译码输出结果，作为所述第三输出数据。6.根据权利要求5所述的方法，其中，所述获取所述物体编码器的编码输出结果，包括：根据所述前景物体特征和二维位置信息编码获取第一物体特征向量；将所述第一物体特征向量输入至所述物体编码器的第一多头注意力模块，得到第一注意力模块输出数据；将所述第一注意力模块输出数据与所述第一物体特征向量进行相加处理，得到第一相加处理结果，并对所述第一相加处理结果进行归一化处理，得到第一归一化输出数据；将所述第一归一化输出数据输入至所述物体编码器的前向网络，得到第一前向网络输出数据；
将所述第一归一化输出数据和所述第一前向网络输出数据进行相加处理，得到第二相加处理结果，并对所述第二相加处理结果再次进行归一化处理，得到所述编码输出结果。7.根据权利要求5所述的方法，其中，所述获取所述物体编码器的编码输出结果，包括：根据初始物体向量和二维位置信息编码获取第二物体特征向量；将所述第二物体特征向量输入至所述物体译码器的第二多头注意力模块，得到第二注意力模块输出数据；将所述第二注意力模块输出数据与所述第二物体特征向量进行相加处理，得到第三相加处理结果，并对所述第三相加处理结果进行归一化处理，得到第三归一化输出数据；将所述第三归一化输出数据和所述编码输出结果输入至所述物体译码器的第三多头注意力模块，得到第三注意力模块输出数据；将所述第三注意力模块输出数据与所述第三归一化输出数据进行相加处理，得到第四相加处理结果，并对所述第四相加处理结果进行归一化处理，得到第四归一化输出数据；将所述第四归一化输出数据输入至所述物体译码器的前向网络，得到第二前向网络输出数据；将所述第四归一化输出数据和所述第二前向网络输出数据进行相加处理，得到第五相加处理结果，并对所述第五相加处理结果再次进行归一化处理，得到所述译码输出结果。8.根据权利要求1所述的方法，其中，所述根据所述前景物体特征和所述物体约束特征对所述单帧彩色图像进行三维物体检测，包括：对所述前景物体特征和所述物体约束特征进行特征融合，得到融合图像特征；将所述融合图像特征输入至两层全连接神经网络；获取所述两层全连接神经网络的输出回归数据；根据所述输出回归数据对所述单帧彩色图像进行三维物体检测。9.根据权利要求8所述的方法，其中，所述对所述前景物体特征和所述物体约束特征进行特征融合，包括：确定物体约束特征权重；根据所述物体约束特征权重和所述物体约束特征确定待融合物体约束特征；将所述前景物体特征和所述待融合物体约束特征进行特征相加融合处理，得到所述融合图像特征；或将所述前景物体特征和所述物体约束特征进行特征拼接融合处理，得到所述融合图像特征。10.根据权利要求8所述的方法，其中，所述输出回归数据包括物体三维尺寸、物体方向角度、物体中心点位置以及物体中心点深度；所述根据所述输出回归数据对所述单帧彩色图像进行三维物体检测，包括：根据所述输出回归数据确定所述单帧彩色图像中各物体对应的三维包围框；根据所述三维包围框对各所述物体进行标识。11.一种三维物体检测装置，包括：单帧彩色图像获取模块，用于获取待检测的单帧彩色图像；特征获取模块，用于获取所述单帧彩色图像的前景物体特征和物体约束特征；三维物体检测模块，用于根据所述前景物体特征和所述物体约束特征对所述单...

【专利技术属性】
技术研发人员：周定富，宋希彬，方进，张良俊，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：