三维对象检测方法、装置、设备和可读存储介质制造方法及图纸

本申请实施例公开了一种三维对象检测方法、装置、设备和可读存储介质，涉及计算机视觉、无人驾驶和虚拟现实技术。具体实现方案为对二维图像进行特征提取，得到目标对象的原始特征图；根据所述原始特征图得到所述目标对象的掩码，以及根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图；其中，所述目标对象的掩码用于强化所述目标对象的特征，抑制不属于所述目标对象的特征；根据所述最终特征图检测所述目标对象的中心点，并估计所述目标对象的三维信息。本申请实施例可以提高三维检测的精度。

Three dimensional object detection method, device, device and readable storage medium

【技术实现步骤摘要】
三维对象检测方法、装置、设备和可读存储介质
本申请涉及计算机技术，尤其涉及计算机视觉、无人驾驶和虚拟现实

技术介绍
近年来，随着计算机视觉技术的发展，可以利用二维图像的图像特征进行三维对象的检测与估计。以基于中心点的三维对象检测方法为例，在此类方法中，每一个对象被定义成一个中心点，对象检测转化为中心点的检测。对于每一个中心点，网络将去预测其所对应对象的属性。二维图像中所检测的对象可能会被其它物体遮挡，导致所检测的对象的中心点落在其他对象上。如图1a所示，车辆2的中心点位于车辆1的表面，该中心点周围的像素大部分来自车辆1。在训练过程中，网络可能会对中心分类以及属性回归使用哪些像素产生混淆，导致网络的三维检测精度较低。
技术实现思路
本申请实施例提供了一种三维对象检测方法、装置、设备和可读存储介质。第一方面，本申请实施例提供了一种三维对象检测方法，包括：对二维图像进行特征提取，得到目标对象的原始特征图；根据所述原始特征图得到所述目标对象的掩码，以及根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图；其中，所述目标对象的掩码用于强化所述目标对象的特征，抑制不属于所述目标对象的特征；根据所述最终特征图检测所述目标对象的中心点，并估计所述目标对象的三维信息。第二方面，本申请实施例还提供了一种三维对象检测装置，包括：特征提取模块，用于对二维图像进行特征提取，得到目标对象的原始特征图；加强处理模块，用于根据所述原始特征图得到所述目标对象的掩码，以及根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图；其中，所述目标对象的掩码用于强化所述目标对象的特征，抑制不属于所述目标对象的特征；三维检测模块，用于根据所述最终特征图检测所述目标对象的中心点，并估计所述目标对象的三维信息。第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一实施例所提供的一种三维对象检测方法。第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行任一实施例所提供的一种三维对象检测方法。根据本申请的技术可以提高三维检测的精度。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1a是现有技术中存在遮挡的二维图像示意图；图1b是本申请实施例中的第一种三维对象检测方法的流程图；图1c是本申请实施例提供的三维对象检测框架示意图；图2a是本申请实施例中的第二种三维对象检测方法的流程图；图2b是本申请实施例中的对原始特征图进行设定操作的示意图；图3a是本申请实施例中的第三种三维对象检测方法的流程图；图3b是本申请实施例中的对原始特征图加强处理的示意图；图4是本申请实施例中的第四种三维对象检测方法的流程图；图5是本申请实施例中的三维对象检测装置的结构图；图6是本申请实施例中的电子设备的结构示意图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。根据本申请的实施例，图1b是本申请实施例中的第一种三维对象检测方法的流程图，本申请实施例适用于基于二维图像检测对象三维信息的情况。该方法通过三维对象检测装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。如图1b所示的三维对象检测方法，包括：S110、对二维图像进行特征提取，得到目标对象的原始特征图。本实施例中，二维图像可以为无人驾驶场景中单目摄像头拍摄的图像，或者虚拟现实领域中单目摄像头拍摄的图像。当然，任何领域产生的二维图像都适用于本申请实施例。通过特征提取网络对二维图像进行特征提取。特征提取网络可以是卷积神经网络，提取目标对象的深度特征图。可选的，目标对象可以是某个物体、动物或人，本实施例不做限定。具体的，图1c是本申请实施例提供的三维对象检测框架示意图。二维图像可以是三通道彩色图像或者一通道灰度图像。二维图像的长、宽以及通道数分别为W、H和C0，经过特征提取网络，又称为主干网络(BackboneNetwork)，提取目标对象的深度特征图(称为原始特征图)，如式(1)所示。可选的，特征提取网络可以是ResNet和DLA34等。其中，C_1可以根据实际的需求设定，如C_1＝64。一般情况下，C_1＞C0，二维图像经过特征提取后，得到高维特征。S120、根据原始特征图得到目标对象的掩码，以及根据目标对象的掩码对原始特征图进行加强处理，得到最终特征图；其中，目标对象的掩码用于强化目标对象的特征，抑制不属于目标对象的特征。目标对象的掩码与原始特征图的尺寸一致，包括w*h个点，其中，每个点的权重值表示属于目标对象的概率。原始特征图除了包括目标对象的特征，还包括其它对象以及背景的特征。而非目标对象的特征势必对目标对象的三维信息检测带来影响，有必要过滤这些非目标对象的特征。可选的，如图1c所示，通过特征加强网络执行S120的操作。具体的，对原始特征图进行特征提取等一系列处理，得到目标对象的掩码。根据掩码中每个点的权重值对原始特征图中对应点的值进行加强处理，得到最终特征图。可以理解的是，当权重值较低时，最终特征图中对应点的值会减小，从而将不属于目标对象的特征抑制；当权重值较高时，最终特征图中对应点的值会减大，从而将不属于目标对象的特征加强。S130、根据最终特征图检测目标对象的中心点，并估计目标对象的三维信息。通过S120的操作，最终特征图能滤除大部分不属于目标对象的特征，仅包括属于目标对象的特征。如图1c所示，本实施例将最终特征图替代原始特征图，进行中心点检测和三维信息的估计。可选的，通过三维检测网络中的中心点检测分支根据最终特征图检测目标对象的中心点，并通过三维信息估计分支估计目标对象的三维信息。其中，中心点为三维目标对象在二维图像上投影得到的质心，三维信息包括三维包围框的大小和朝向等。本实施例对中心点检测方法和三维信息的估计方法不作限定，可以是任何基于二维图像的单阶段三维检测方法。示例性的，对最终特征图进行关键点检测，通过关键点回归得到中心点，再根据中心点回归三维信息。如图1c所示本文档来自技高网...

【技术保护点】
1.一种三维对象检测方法，包括：/n对二维图像进行特征提取，得到目标对象的原始特征图；/n根据所述原始特征图得到所述目标对象的掩码，以及根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图；其中，所述目标对象的掩码用于强化所述目标对象的特征，抑制不属于所述目标对象的特征；/n根据所述最终特征图检测所述目标对象的中心点，并估计所述目标对象的三维信息。/n

【技术特征摘要】
1.一种三维对象检测方法，包括：
对二维图像进行特征提取，得到目标对象的原始特征图；
根据所述原始特征图得到所述目标对象的掩码，以及根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图；其中，所述目标对象的掩码用于强化所述目标对象的特征，抑制不属于所述目标对象的特征；
根据所述最终特征图检测所述目标对象的中心点，并估计所述目标对象的三维信息。


2.根据权利要求1所述的方法，所述根据所述原始特征图得到所述目标对象的掩码，包括：
对所述原始特征图分别进行至少两次不同的设定操作，得到至少两个中间特征图；
融合所述至少两个中间特征图，得到所述目标对象的掩码；
其中，所述设定操作依次包括：卷积操作、激活操作、归一化操作和卷积操作。


3.根据权利要求2所述的方法，其中，所述对所述原始特征图分别进行至少两次不同的设定操作，得到至少两个中间特征图，包括：
将所述原始特征图分别输入至至少两个结构相同的网络，所述至少两个结构相同的网络包括不同的网络参数；
所述结构相同的网络包括依次连接的卷积模块、激活模块、归一化模块和卷积模块；所述网络参数为所述结构相同的网络中各模块的参数。


4.根据权利要求2所述的方法，其中，所述融合所述至少两个中间特征图，得到所述目标对象的掩码，包括：
将所述至少两个中间特征图进行矩阵相乘，得到相乘后的矩阵；
激活所述相乘后的矩阵，得到激活后的矩阵；
对所述激活后的矩阵进行归一化，得到所述目标对象的掩码。


5.根据权利要求1所述的方法，其中，所述根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图，包括：
对所述原始特征图进行下采样；
将所述目标对象的掩码和下采样后的原始特征图进行矩阵相乘，得到所述目标对象的聚合特征；
将所述聚合特征进行上采样，使上采样后的聚合特征与所述原始特征图尺寸一致；
根据上采样后的聚合特征对所述原始特征图进行加强处理，得到最终特征图。


6.根据权利要求1-5任一项所述的方法，在所述对二维图像进行特征提取，得到目标对象的原始特征图之前，还包括：
获取训练样本集，所述训练样本集包括多个二维图像样本、每个所述二维图像样本中属于目标对象的每个未遮挡点的目标掩码，以及每个所述二维图像样本中目标对象的中心点标注信息和三维标注信息；
根据所述训练样本集训练三维对象检测网络，所述三维对象检测网络包括依次连接的特征提取网络、特征加强网络和三维检测网络；
其中，所述特征提取网络用于对二维图像进行特征提取，得到目标对象的原始特征图；所述特征加强网络用于根据所述原始特征图得到所述目标对象的掩码，以及根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图；其中，所述目标对象的掩码用于强化所述目标对象的特征，抑制不属于所述目标对象的特征；所述三维检测网络用于根据所述最终特征图检测所述目标对象的中心点，并估计所述目标对象的三维信息。


7.根据权利要求6所述的方法，其中，所述获取每个所述二维图像样本中属于目标对象的每个未遮挡点的目标掩码，包括：
采用物体分割算法对每个所述二维图像样本进行处理，得到每个所述二维图像样本中属于目标对象的每个未遮挡点的目标掩码。


8.一种三维对象检测装置，包括：
特征提取模块，用于对二维图像进行特征提取，得到目标对象的原始特征图；
加强处理模块，用于根据所述原始特征图得到所述目标对象的掩码，以及根据所述目标对象的掩码对所述原始特征图进行加强处理，得到最终特征图；其中，所述目标对象的掩码用...

【专利技术属性】
技术研发人员：周定富，宋希彬，张良俊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11