目标检测模型的训练、目标检测方法、装置、设备和介质制造方法及图纸

本公开提供了目标检测模型的训练、目标检测方法、装置、设备和介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于3D视觉场景下。具体实现方案为：将样本图像输入至第一目标检测模型的点云特征提取网络中，得到生成点云的图像特征；将所述生成点云的图像特征输入至所述第一目标检测模型的第一鸟瞰图特征提取网络中，得到第一鸟瞰图特征；将所述第一鸟瞰图特征输入至所述第一目标检测模型的预测网络中，得到第一检测结果；根据所述样本图像的标准3D识别结果和所述第一检测结果，计算第一损失，并根据所述第一损失，训练所述第一目标检测模型。本公开实施例可以提高目标检测的准确率，降低目标检测的成本。降低目标检测的成本。降低目标检测的成本。

【技术实现步骤摘要】
目标检测模型的训练、目标检测方法、装置、设备和介质


[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于3D视觉场景下，尤其涉及目标检测模型的训练、目标检测方法、装置、设备和介质。

技术介绍

[0002]计算机视觉技术正是想要赋予计算机人类的视觉识别和定位的功能。通过复杂的图像计算，计算机能够识别和定位出目标对象。
[0003]3D目标检测主要是检测3D物体，其中，3D物体通常以空间坐标(x，y，z)、尺寸大小(长，宽，高)和朝向角等参数表示。

技术实现思路

[0004]本公开提供了一种目标检测模型的训练、目标检测方法、装置、设备和介质。
[0005]根据本公开的一方面，提供了一种目标检测模型的训练方法，包括：
[0006]将样本图像输入至第一目标检测模型的点云特征提取网络中，得到生成点云的图像特征；
[0007]将所述生成点云的图像特征输入至所述第一目标检测模型的第一鸟瞰图特征提取网络中，得到第一鸟瞰图特征；
[0008]将所述第一鸟瞰图特征输入至所述第一目标检测模型的预测网络中，得到第一检测结果；
[0009]根据所述样本图像的标准3D识别结果和所述第一检测结果，计算第一损失，并根据所述第一损失，训练所述第一目标检测模型。
[0010]根据本公开的一方面，还提供了一种目标检测方法，包括：
[0011]将图像输入至目标检测模型中，在所述图像中识别3D目标空间，以及所述3D目标空间的目标类别；
[0012]其中，所述目标检测模型是根据如本公开任一项实施例所述的目标检测模型的训练方法训练得到。
[0013]根据本公开的一方面，提供了一种目标检测模型的训练装置，包括：
[0014]生成点云特征提取模块，用于将样本图像输入至第一目标检测模型的点云特征提取网络中，得到生成点云的图像特征；
[0015]鸟瞰图特征提取模块，用于将所述生成点云的图像特征输入至所述第一目标检测模型的第一鸟瞰图特征提取网络中，得到第一鸟瞰图特征；
[0016]第一检测结果获取模块，用于将所述第一鸟瞰图特征输入至所述第一目标检测模型的预测网络中，得到第一检测结果；
[0017]第一损失计算模块，用于根据所述样本图像的标准3D识别结果和所述第一检测结果，计算第一损失，并根据所述第一损失，训练所述第一目标检测模型。
[0018]根据本公开的一方面，还提供了一种目标检测模型的训练装置，包括：
[0019]3D目标检测模块，用于将图像输入至目标检测模型中，在所述图像中识别3D目标空间，以及所述3D目标空间的目标类别；其中，所述目标检测模型是根据如本公开任一项实施例所述的目标检测模型的训练方法训练得到。
[0020]根据本公开的另一方面，提供了一种电子设备，包括：
[0021]至少一个处理器；以及
[0022]与所述至少一个处理器通信连接的存储器；其中，
[0023]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的目标检测模型的训练方法，或执行本公开任一实施例所述的目标检测方法。
[0024]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的目标检测模型的训练方法，或执行本公开任一实施例所述的目标检测方法。
[0025]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的目标检测模型的训练方法，或执行本公开任一实施例所述的目标检测方法。
[0026]本公开实施例可以提高目标检测的准确率，降低目标检测的成本。
[0027]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0028]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0029]图1是根据本公开实施例提供的一种目标检测模型的训练方法的示意图；
[0030]图2是根据本公开实施例提供的一种目标检测模型的训练方法的示意图；
[0031]图3是根据本公开实施例提供的真值深度分布直方图；
[0032]图4是根据本公开实施例提供的备选深度区间的示意图；
[0033]图5是根据本公开实施例提供的一种目标检测模型的训练方法的示意图；
[0034]图6是根据本公开实施例提供的一种目标检测模型的训练场景图；
[0035]图7是根据本公开实施例提供的一种目标检测方法的示意图；
[0036]图8是根据本公开实施例提供的一种目标检测模型的训练装置的示意图；
[0037]图9是根据本公开实施例提供的一种目标检测装置的示意图；
[0038]图10是用来实现本公开实施例的目标检测模型的训练方法或目标检测方法的电子设备的示意图。
具体实施方式
[0039]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0040]图1是根据本公开实施例公开的一种目标检测模型的训练方法的流程图，本实施
例可以适用于对用于实现3D目标检测的目标检测模型进行训练的情况。本实施例方法可以由目标检测模型的训练装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
[0041]S101，将样本图像输入至第一目标检测模型的点云特征提取网络中，得到生成点云的图像特征。
[0042]样本图像用于训练目标检测模型，样本图像为单目2D图像，单目是指一个角度拍摄的图像，该样本图像不具有深度信息。可以是图像采集模块以前视视图下对设定场景环境进行采集得到的图像，例如，可以是车辆上的摄像头对前方路况进行采集得到的图像。
[0043]第一目标检测模型用于根据单目图像，识别出3D物体，具体是识别出3D物体的空间关键点坐标、空间长、空间宽、空间高和空间朝向角等空间属性，以及确定3D物体的类别。示例性的，第一目标检测模型可以是神经网络模型，例如可以包括编码网络和分类网络等。第一目标检测模型为预训练模型，即经过训练但未达到训练目标的模型。
[0044]点云特征提取网络用于从样本图像中提取图像特征，以及根据样本图像的图像像素确定生成点云，从而形成生成点云的图像特征。其中，点云特征网络至少包括编码网络和深度预测网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型的训练方法，包括：将样本图像输入至第一目标检测模型的点云特征提取网络中，得到生成点云的图像特征；将所述生成点云的图像特征输入至所述第一目标检测模型的第一鸟瞰图特征提取网络中，得到第一鸟瞰图特征；将所述第一鸟瞰图特征输入至所述第一目标检测模型的预测网络中，得到第一检测结果；根据所述样本图像的标准3D识别结果和所述第一检测结果，计算第一损失，并根据所述第一损失，训练所述第一目标检测模型。2.根据权利要求1所述的方法，其中，所述将样本图像输入至第一目标检测模型的点云特征提取网络中，得到生成点云的图像特征，包括：将样本图像输入至所述点云特征提取网络中的编码器中，得到所述样本图像的图像特征；将所述图像特征输入至深度预测网络中，得到所述样本图像中像素点的深度；根据所述样本图像中像素点的深度，将所述样本图像中像素点转换为生成点云，并根据所述图像特征确定所述生成点云的图像特征。3.根据权利要求2所述的方法，其中，所述将所述图像特征输入至深度预测网络中，得到所述样本图像中像素点的深度，包括：将所述图像特征输入至深度预测网络中，确定所述样本图像中像素点在预设的备选深度区间对应的深度预测置信度；根据各所述备选深度区间的中间深度值，和所述像素点在各所述备选深度区间对应的深度预测置信度，计算所述像素点的深度。4.根据权利要求3所述的方法，还包括：获取采集点云，所述采集点云与所述样本图像对应于同一采集场景；在所述采集点云中，获取感兴趣点云；根据所述感兴趣点云的深度，对所述采集点云对应的采集场景的深度进行区间划分，确定备选深度区间。5.根据权利要求1所述的方法，还包括：将采集点云输入至第二目标检测模型中，得到第二鸟瞰图特征；根据所述第一鸟瞰图特征和所述第二鸟瞰图特征，确定特征差值，并根据所述特征差值和标准区域，计算特征一致性损失，其中，所述标准区域为所述标准3D识别结果投影在所述样本图像中的区域；所述根据所述第一损失，训练所述第一目标检测模型，包括：根据所述第一损失和所述特征一致性损失，训练所述第一目标检测模型。6.根据权利要求5所述的方法，其中，所述第一鸟瞰图特征包括所述第一鸟瞰图特征提取网络中至少一个第一特征层输出的特征；所述第二目标检测模型包括第二鸟瞰图特征提取网络，所述第二鸟瞰图特征包括所述第二鸟瞰图特征提取网络中至少一个第二特征层输出的特征，所述第一特征层与所述第二特征层对应；所述根据所述第一鸟瞰图特征和所述第二鸟瞰图特征，确定特征差值，包括：
根据所述第一特征层输出的特征与对应的第二特征层输出的特征之间的差异，计算所述第一特征层对应的差值，并确定特征差值。7.根据权利要求5所述的方法，其中，所述第一检测结果包括：第一类别置信度；所述方法，还包括：将采集点云输入至第二目标检测模型中，得到第二检测结果，所述第二检测结果包括第二类别置信度；在所述第一检测结果和所述第二检测结果匹配的情况下，根据所述第一检测结果包括的第一类别置信度和所述第二检测结果包括的第二类别置信度，计算所述第一检测结果的置信度损失，并确定置信度一致性损失；所述根据所述第一损失和所述特征一致性损失，训练所述第一目标检测模型，包括：根据所述第一损失、所述特征一致性损失和所述置信度一致性损失，训练所述第一目标检测模型。8.一种目标检测方法，包括：将图像输入至目标检测模型中，在所述图像中识别3D目标空间，以及所述3D目标空间的目标类别；其中，所述目标检测模型是根据如权利要求1至7中任一项所述的目标检测模型的训练方法训练得到。9.一种目标检测模型的训练装置，包括：生成点云特征提取模块，用于将样本图像输入至第一目标检测模型的点云特征提取网络中，得到生成点云的图像特征；鸟瞰图特征提取模块，用于将所述生成点云的图像特征输入至所述第一目标检测模型的第一鸟瞰图特征提取网络中，得到第一鸟瞰图特征；第一检测结果获取模块，用于将所述第一鸟瞰图特征输入至所述第一目标检测模型的预测网络中，得到第一检测结果；第一损失计算模块，用于根据所述样本图像的标准3D识别结果和所述第一检测结果，计算第一损失，并根据所述第一损失，训练所述第一目标检测模型。10.根...

【专利技术属性】
技术研发人员：叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：