模型训练方法、目标检测方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种模型训练方法、目标检测方法、装置、设备以及存储介质，涉及计算机视觉、图像处理、增强现实、深度学习等人工智能技术领域，可应用于智能机器人、自动驾驶、元宇宙等场景。具体实现方案为：获取训练数据，训练数据包括训练图像和训练图像的二维标签；将训练图像输入目标检测网络，在目标检测网络中对训练图像进行目标检测，得到训练图像的目标检测结果，目标检测结果包括训练图像的二维预测属性和三维预测属性；根据二维标签和目标检测结果，确定训练损失值；根据训练损失值，对目标检测网络的网络参数进行调整。从而，以二维标签对目标检测网络的训练进行弱监督，使海量图像可用于训练目标检测网络，提高目标检测精度。提高目标检测精度。提高目标检测精度。

【技术实现步骤摘要】
模型训练方法、目标检测方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
中的计算机视觉、图像处理、增强现实、深度学习、智能机器人、自动驾驶等
，尤其涉及一种模型训练方法、目标检测方法、装置、设备以及存储介质。

技术介绍

[0002]随着人工智能技术的发展，可通过传感器感知周围环境，并基于传感器的传感数据检测周围环境中的人、车辆等三维目标。
[0003]相关技术中，在单目的三维目标检测方法中，传感数据包括雷达传感器采集周围场景得到的点云数据和相机传感器采集周围场景得到的图像数据。在模型训练中，需在传感数据上进行三维标注，基于传感数据上的三维标注，进行目标检测网络的有监督训练。
[0004]然而，三维标注过程复杂，耗时长且对标注人员的专业性要求高，无法大规模数据标注，导致海量数据无法使用，进而导致目标检测精度较低。

技术实现思路

[0005]本公开提供了一种用于提高三维目标检测的检测精度的模型训练方法、目标检测方法、装置、设备以及存储介质。
[0006]根据本公开的第一方面，提供了一种模型训练方法，包括：
[0007]获取训练数据，所述训练数据包括训练图像和所述训练图像的二维标签；
[0008]将所述训练图像输入目标检测网络，在所述目标检测网络中对所述训练图像进行目标检测，得到所述训练图像的目标检测结果，所述目标检测结果包括所述训练图像上对象的二维预测属性和所述对象的三维预测属性；
[0009]根据所述二维标签和所述目标检测结果，确定训练损失值；
[0010]根据所述训练损失值，对所述目标检测网络的网络参数进行调整。
[0011]根据本公开的第二方面，提供了一种目标检测方法，包括：
[0012]获取待检测图像；
[0013]将所述待检测图像输入目标检测网络，在所述目标检测网络中对所述待检测图像进行目标检测，得到所述待检测图像的目标检测结果，所述目标检测结果包括所述待检测图像上对象的三维预测属性，其中，所述目标检测网络通过第一方面所述的模型训练方法训练得到。
[0014]根据本公开的第三方面，提供了一种模型训练装置，包括：
[0015]训练数据获取单元，用于获取训练数据，所述训练数据包括训练图像和所述训练图像的二维标签；
[0016]目标检测单元，用于将所述训练图像输入目标检测网络，在所述目标检测网络中对所述训练图像进行目标检测，得到所述训练图像的目标检测结果，所述目标检测结果包括所述训练图像上对象的二维预测属性和所述对象的三维预测属性；
[0017]损失确定单元，用于根据所述二维标签和所述目标检测结果，确定训练损失值；
[0018]参数调整单元，用于根据所述训练损失值，对所述目标检测网络的网络参数进行调整。
[0019]根据本公开的第四方面，提供了一种目标检测装置，包括：
[0020]图像获取单元，用于获取待检测图像；
[0021]目标检测单元，用于将所述待检测图像输入目标检测网络，在所述目标检测网络中对所述待检测图像进行目标检测，得到所述待检测图像的目标检测结果，所述目标检测结果包括所述待检测图像上对象的三维预测属性，其中，所述目标检测网络通过第三方面所述的模型训练装置训练得到。
[0022]根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的模型训练方法或者执行第二方面所述的目标检测方法。
[0023]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的模型训练方法或者执行第二方面所述的目标检测方法。
[0024]根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的模型训练方法或者执行第二方面所述的目标检测方法。
[0025]根据本公开提供的技术方案，在用于实现三维目标检测的目标检测网络的训练过程中：将训练图像输入至目标检测网络中进行目标检测，得到目标检测结果，目标检测结果包括训练图像上对象的二维预测属性和三维预测属性；以二维标签作为监督数据，根据二维标签和目标检测结果，确定训练损失值；基于训练损失值，调整目标检测网络的网络参数。如此，利用弱监督机制，通过训练图像上的二维标签实现对目标检测网络的训练过程的监督，无需对训练图像进行三维标注，降低了训练图像的标注难度，使得海量的弱标注图像(在本公开中弱标注图像为二维标注的图像)可以用于训练目标检测网络，有效地提高训练得到的目标检测网络的检测精度。
[0026]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0027]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0028]图1示出了本公开实施例适用的一种应用场景的示意图；
[0029]图2示出了根据本公开实施例提供的模型训练方法的流程示意图一；
[0030]图3示出了根据本公开实施例提供的模型训练方法的流程示意图二；
[0031]图4示出了根据本公开实施例提供的模型训练方法的流程示意图三；
[0032]图5示出了根据本公开实施例提供的模型训练方法的流程示意图四；
[0033]图6示出了根据本公开实施例提供的目标检测网络的结构示例图；
[0034]图7示出了根据本公开实施例提供的目标检测方法的流程示意图；
[0035]图8示出了根据本公开实施例提供的模型训练装置的结构示意图一；
[0036]图9示出了根据本公开实施例提供的模型训练装置的结构示意图二；
[0037]图10示出了根据本公开实施例提供的目标检测装置的结构示意图；
[0038]图11示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
[0039]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0040]相关技术中，在三维目标检测场景中，采集数据包括通过雷达传感器采集得到的点云数据和通过相机传感器采集得到的图像数据，可由专业人士对采集数据进行三维标注，其中包括在点云数据标注平台上对点云数据进行三维标注；再利用三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：获取训练数据，所述训练数据包括训练图像和所述训练图像的二维标签；将所述训练图像输入目标检测网络，在所述目标检测网络中对所述训练图像进行目标检测，得到所述训练图像的目标检测结果，所述目标检测结果包括所述训练图像上对象的二维预测属性和所述对象的三维预测属性；根据所述二维标签和所述目标检测结果，确定训练损失值；根据所述训练损失值，对所述目标检测网络的网络参数进行调整。2.根据权利要求1所述的模型训练方法，其中，所述根据所述二维标签和所述目标检测结果，确定训练损失值，包括：从所述二维标签中获取所述对象的二维真实属性；根据所述二维真实属性和所述二维预测属性，确定第一损失值；根据所述二维真实属性和所述三维预测属性，确定第二损失值；对所述第一损失值和所述第二损失值进行融合，得到所述训练损失值。3.根据权利要求2所述的模型训练方法，其中，所述三维预测属性反映所述对象在三维空间的位置预测情况，所述二维真实属性反映所述对象在所述训练图像上的真实图像位置，所述第二损失值包括空间位置预测损失，所述根据所述二维真实属性和所述三维预测属性，确定第二损失值，包括：对所述三维预测属性和所述二维真实属性进行位置比较，确定空间位置预测损失。4.根据权利要求3所述的模型训练方法，其中，所述三维预测属性包括所述对象的预测空间位置、所述对象的预测空间姿态和所述对象的预测空间尺寸，所述二维真实属性包括所述对象的真实目标框，所述对所述三维预测属性和所述二维真实属性进行位置比较，确定空间位置预测损失，包括：根据所述预测空间位置、所述预测空间姿态和所述预测空间尺寸，确定所述对象的三维预测框；将所述三维预测框投影至所述训练图像上，得到所述对象的投影框；根据所述投影框和所述真实目标框，得到所述空间位置预测损失。5.根据权利要求4所述的模型训练方法，其中，所述根据所述投影框和所述真实目标框，得到所述空间位置预测损失值，包括：确定所述投影框的最小包围框；通过交并比损失函数，比较所述最小包围框和所述真实目标框，得到所述空间位置预测损失。6.根据权利要求3所述的模型训练方法，其中，所述第二损失值还包括距离损失，所述根据所述二维真实属性和所述三维预测属性，确定第二损失值，还包括：根据所述三维预测属性，确定所述对象的横坐标、所述对象的纵坐标以及所述对象的深度，所述对象为多个；根据所述对象的横坐标，在所述对象中筛选第一对象和第二对象，所述第一对象与所述第二对象的横坐标距离小于距离阈值；利用成像原理，基于所述第一对象的纵坐标、所述第二对象的纵坐标、所述第一对象的深度和所述第二对象的深度，确定所述距离损失。
7.根据权利要求2
‑
6中任一项所述的模型训练方法，其中，所述二维真实属性包括所述对象的真实类别和所述对象的真实图像位置，所述二维预测属性包括所述对象的预测类别和所述对象的预测图像位置，所述第一损失值包括类别预测损失和图像位置预测损失，所述根据所述二维真实属性和所述二维预测属性，确定第一损失值，包括：对所述真实类别和所述预测类别进行比较，得到所述类别预测损失；对所述真实图像位置和所述预测图像位置进行比较，得到所述图像位置预测损失。8.根据权利要求1
‑
6中任一项所述的模型训练方法，其中，所述目标检测网络包括特征提取网络、二维预测网络和三维预测网络，所述将所述训练图像输入目标检测网络，在所述目标检测网络中对所述训练图像进行目标检测，得到所述训练图像的目标检测结果，包括：将所述训练图像输入所述特征提取网络，在所述特征提取网络中对所述训练图像进行特征提取，得到所述训练图像的图像特征；将所述图像特征输入所述二维预测网络，在所述二维预测网络中基于所述图像特征进行二维属性预测，得到所述二维预测属性；将所述图像特征输入所述三维预测网络，在所述三维预测网络中基于所述图像特征进行三维属性预测，得到所述三维预测属性。9.一种目标检测方法，包括：获取待检测图像；将所述待检测图像输入目标检测网络，在所述目标检测网络中对所述待检测图像进行目标检测，得到所述待检测图像的目标检测结果，所述目标检测结果包括所述待检测图像上对象的三维预测属性，其中，所述目标检测网络通过权利要求1
‑
8中任一项所述的模型训练方法训练得到。10.一种模型训练装置，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括训练图像和所述训练图像的二维标签；目标检测单元，用于将所述训练图像输入目标检测网络，在所述目标检测网络中对所述训练图像进行目标检测，得到所述训练图像的目标检测结果，所述目标检测结果包括所述训练图像上对象的二维预测属性和所述对象的三维预测属性；损失确定单元，用于根据所述二维标签和所述目标检测结果，确定训练损失值；参数调整单元，用于根据所述训练损失值，对所述目...

【专利技术属性】
技术研发人员：邹智康，叶晓青，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：