三维物体检测模型的训练与三维物体检测方法、装置制造方法及图纸

本公开提供一种三维物体检测模型的训练与三维物体检测方法，涉及计算机视觉、图像处理、深度学习、增强现实等人工智能技术领域，可应用于自动驾驶、智慧城市等场景。三维物体检测模型的训练方法包括：获取多个数据对以及多个数据对的检测框标注信息；获取教师网络与学生网络；将数据对中的点云数据输入教师网络、将双目图像输入学生网络，得到第一检测框信息与第二检测框信息；根据第一检测框信息、第二检测框信息与数据对的检测框标注信息得到目标检测框信息；根据目标检测框信息与第二检测框信息得到第一损失函数值，根据第二检测框信息与检测框标注信息得到第二损失函数值；根据损失函数值调整学生网络的参数，得到三维物体检测模型。检测模型。检测模型。

【技术实现步骤摘要】
三维物体检测模型的训练与三维物体检测方法、装置


[0001]本公开涉及人工智能
，具体为计算机视觉、图像处理、深度学习、增强现实等
，可应用于自动驾驶、智慧城市等场景。提供了一种三维物体检测模型的训练与三维物体检测方法、装置、系统、电子设备与可读存储介质。

技术介绍

[0002]随着人工智能技术的发展，三维物体检测技术广泛应用于各种领域。例如，智能机器人或者自动驾驶车辆在移动过程中，可以利用三维物体检测技术实现对周围障碍物的探测，从而躲避障碍物。

技术实现思路

[0003]根据本公开的第一方面，提供了一种三维物体检测模型的训练方法，包括：获取多个数据对以及所述多个数据对的检测框标注信息，每个数据对包含对应同一场景的点云数据与双目图像；获取教师网络与学生网络，所述教师网络为对应点云数据的检测网络，所述学生网络为对应双目图像的检测网络；将所述数据对中的点云数据输入所述教师网络、将双目图像输入所述学生网络，得到所述教师网络输出的第一检测框信息与所述学生网络输出的第二检测框信息；根据所述第一检测框信息、所述第二检测框信息与所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维物体检测模型的训练方法，包括：获取多个数据对以及所述多个数据对的检测框标注信息，每个数据对包含对应同一场景的点云数据与双目图像；获取教师网络与学生网络，所述教师网络为对应点云数据的检测网络，所述学生网络为对应双目图像的检测网络；将所述数据对中的点云数据输入所述教师网络、将双目图像输入所述学生网络，得到所述教师网络输出的第一检测框信息与所述学生网络输出的第二检测框信息；根据所述第一检测框信息、所述第二检测框信息与所述数据对的检测框标注信息，得到目标检测框信息；根据所述目标检测框信息与所述第二检测框信息得到第一损失函数值，根据所述第二检测框信息与所述检测框标注信息得到第二损失函数值；根据所述第一损失函数值与所述第二损失函数值调整所述学生网络的参数，得到所述三维物体检测模型。2.根据权利要求1所述的方法，其中，所述根据所述第一检测框信息、所述第二检测框信息与所述数据对的检测框标注信息，得到目标检测框信息包括：根据所述第一检测框信息、所述第二检测框信息与所述检测框标注信息，得到与同一物体对应的检测框信息组；根据所述检测框信息组，得到候选目标检测框信息；根据所述候选目标检测框信息，得到所述目标检测框信息。3.根据权利要求2所述的方法，所述根据所述第一检测框信息、所述第二检测框信息与所述检测框标注信息，得到与同一物体对应的检测框信息组包括：计算所述检测框标注信息与所述第一检测框信息之间的第一交并比、以及所述检测框标注信息与第二检测框信息之间的第二交并比；在确定所述第一交并比小于第一阈值、且所述第二交并比小于第二阈值的情况下，将所述第一检测框信息、所述第二检测框信息以及所述检测框标注信息，作为所述与同一物体对应的检测框信息组。4.根据权利要求2
‑
3中任一项所述的方法，其中，所述根据所述检测框信息组，得到候选目标检测框信息包括：根据所述第一检测框信息中的第一检测框中心与所述第二检测框信息中的第二检测框中心，得到第一向量；根据所述第二检测框信息中的第二检测框中心与所述检测框标注信息中的检测框标注中心，得到第二向量；在确定所述第一向量与所述第二向量之间的夹角为锐角的情况下，根据所述检测框信息组中的所述第一检测框信息、所述第二检测框信息与所述检测框标注信息，得到所述候选目标检测框信息。5.根据权利要求4所述的方法，其中，所述根据所述检测框信息组中的所述第一检测框信息、所述第二检测框信息与所述检测框标注信息，得到所述候选目标检测框信息包括：根据所述第一检测框信息中的第一检测框中心点、所述第二检测框信息中的第二检测框中心点与所述检测框标注信息中的检测框标注中心点，得到候选目标检测框中心点；
根据所述第一检测框信息中的第一检测框大小、所述第二检测框信息中的第二检测框大小与所述检测框标注信息中的检测框标注大小，得到候选目标检测框大小；根据所述第一检测框信息中的第一检测框朝向角、所述第二检测框信息中的第二检测框朝向角与所述检测框标注信息中的检测框标注朝向角，得到候选目标检测框朝向角；根据所述候选目标检测框中心点、所述候选目标检测框大小与所述候选目标检测框朝向角，得到所述候选目标检测框信息。6.根据权利要求2
‑
5中任一项所述的方法，其中，所述根据所述候选目标检测框信息，得到所述目标检测框信息包括：在确定所述候选目标检测框信息中的候选检测框中心点大于等于第一阈值的情况下，将所述第一检测框信息中的第一检测框中心点作为所述目标检测框信息中的目标检测框中心点；否则，将所述标注检测框中心点作为所述目标检测框信息中的目标检测框中心点。7.根据权利要求2
‑
6中任一项所述的方法，其中，所述根据所述候选目标检测框信息，得到所述目标检测框信息包括：在确定所述候选目标检测框信息中的候选检测框大小大于等于第二阈值的情况下，将所述第一检测框信息中的第一检测框大小作为所述目标检测框信息中的目标检测框大小；否则，将所述标注检测框大小作为所述目标检测框信息中的目标检测框大小。8.根据权利要求2
‑
7中任一项所述的方法，其中，所述根据所述候选目标检测框信息，得到所述目标检测框信息包括：在确定所述候选目标检测框信息中的候选检测框朝向角大于等于第三阈值的情况下，将所述第一检测框信息中的第一检测框朝向角作为所述目标检测框信息中的目标检测框朝向角；否则，将所述标注检测框朝向角作为所述目标检测框信息中的目标检测框朝向角。9.根据权利要求2
‑
8中任一项所述的方法，其中，所述根据所述第一损失函数值与所述第二损失函数值调整所述学生网络的参数，得到所述三维物体检测模型包括：根据所述教师网络得到与目标物体对应的第一类别置信度得分，根据所述学生网络得到与目标物体对应的第二类别置信度得分；根据所述第一类别置信度得分与所述第二类别置信度得分，得到目标权重；根据所述教师网络得到的与所述目标物体对应的第一目标特征、根据所述学生网络得到的与所述目标物体对应的第二目标特征、以及所述目标权重，得到第三损失函数值；根据所述第一损失函数值、所述第二损失函数值与所述第三损失函数调整所述学生网络的参数，得到所述三维物体检测模型。10.一种三维物体检测方法，包括：获取待检测双目图像；将所述待检测双目图像输入三维物体检测模型，根据所述三维物体检测模型的输出结果，得到所述待检测双目图像的检测结果；其中，所述三维物体检测模型是根据权利要求1
‑
9中任一项所述的方法训练得到的。11.一种三维物体检测模型的训练装置，包括：第一获取单元，用于获取多个数据对以及所述多个数据对的检测框标注信息，每个数
据对包含对应同一场景的点云数据与双目图像；第二获取单元，用于获取教师网络与学生网络，所述教师网络为对应点云数据的检测网络，所述学生网络为对应双目图像的检测网络；第一处理单元，用于将所述数据对中的点云数据输入所述教师网络、将双目图像输入所述学生网络，得到所述教师网络输出的第一检测框信息与所述学生网络输出的第二检测框信息；第二处理单元，用于根据所述第一...

【专利技术属性】
技术研发人员：叶晓青，龚石，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：