物体检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种物体检测方法、装置、计算机设备和存储介质，将获取的待检测物体的2D检测结果输入至预设的检测神经网络中，得到待检测物体的预测3D检测结果。该方法中，由于检测神经网络是根据至少从物体的点、线、面和角度四个维度建立的综合损失函数指导训练而成的网络，这样，从多维度考虑检测神经网络训练结果相对标准检测结果的差异，可以得到更加精确的差异结果，利用该差异对检测神经网络进行指导性训练，大大提高了检测神经网络的鲁棒性，从而使得采用该检测神经网络得到的3D检测结果的精度更高。

Object detection method, device, computer equipment and storage medium

【技术实现步骤摘要】
物体检测方法、装置、计算机设备和存储介质
本申请涉及检测
，特别是涉及一种物体检测方法、装置、计算机设备和存储介质。
技术介绍
车辆3D检测是智能驾驶感知过程中的一个重要技术，常见的车辆3D检测方法为基于点云的3D检测、基于双目图像的3D检测、基于单目视频序列的3D检测，以及基于单目图像的3D检测等。现有的基于单目图像的3D检测方法，包括直接从原始图像中检测得到3D框和将检测到的2D框映射成3D框两种。其中，将检测到的2D框映射成3D框的方法，是从原始图像中先检测出2D框，然后将2D框转换为3D框，因此这种检测方法可以看作是2D物体检测的后处理。但是，将检测到的2D框映射成3D框的方法，存在检测结果精度较低的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种物体检测方法、装置、计算机设备和存储介质。第一方面，本申请实施例提供一种物体检测方法，该方法包括：获取待检测图像中的待检测物体的2D检测结果；将2D检测结果输入至预设的检测神经网络中，得到待检测物体的3D检测结果；其中，检测神经网络为通过综合损失函数进行训练得到的网络模型；综合损失函数用于至少从物体的点、线、面和角度维度检测检测神经网络输出的3D检测结果与标准3D检测结果的差异。在其中一个实施例中，综合损失函数至少包括点损失函数、线损失函数、面损失函数和角度损失函数。在其中一个实施例中，综合损失函数中点损失函数的权重、线损失函数的权重、面损失函数的权重和角度损失函数的权重不同。在其中一个实施例中，检测神经网络包括特征提取网络和维度转换网络；特征提取网络用于从2D检测结果中提取待检测物体关键信息的目标特征层；维度转换网络，用于将目标特征层转换为3D检测结果。在其中一个实施例中，特征提取网络包括特征提取子网络、特征增强子网络；特征提取子网络，用于从2D检测结果中提取待检测物体关键信息的初步特征层；特征增强子网络，用于对初步特征层进行增强处理后得到目标特征层。在其中一个实施例中，维度转换网络包括多个不同维度的全连接层，各全连接层的维度依次下降。在其中一个实施例中，检测神经网络的训练过程包括：获取多个物体的样本2D检测结果；将各样本2D检测结果输入至初始检测神经网络的特征提取网络，得到目标特征层，并将目标特征层输入至初始检测神经网络的维度转换网络进行维度转换，得到物体的预测3D检测结果；根据预测3D检测结果与物体的标准3D检测结果，获取预先建立的综合损失函数的值，根据综合损失函数的值引导初始检测神经网络进行训练，直到综合损失函数的值趋于平稳，得到检测神经网络。在其中一个实施例中，根据物体的预测3D检测结果与物体的标准3D检测结果，获取预先建立的综合损失函数的值，包括：根据物体的预测3D检测结果与物体的标准3D检测结果，获取点损失函数、线损失函数、面损失函数和角度损失函数各自的函数值与对应权重的加权和；将加权和确定为综合损失函数的值。在其中一个实施例中，根据物体的预测3D检测结果与物体的标准3D检测结果，获取点损失函数函数值，包括：获取3D检测结果与标准3D检测结果中，各点的L2损失计算结果；将各点的L2损失计算结果的平均值，确定为点损失函数的值。在其中一个实施例中，根据物体的预测3D检测结果与物体的标准3D检测结果，获取线损失函数函数值，包括：获取3D检测结果与标准3D检测结果中，各点之间的线段长度值的L1损失计算结果；将线段长度值的L1损失计算结果的平均值，确定为线损失函数的值。在其中一个实施例中，根据物体的预测3D检测结果与物体的标准3D检测结果，获取面损失函数函数值，包括：获取3D检测结果与标准3D检测结果中，各点线构成的面的交并比IoU损失计算结果；将面的IoU损失计算结果的平均值，确定为面损失函数的值。在其中一个实施例中，根据物体的预测3D检测结果与物体的标准3D检测结果，获取角度损失函数函数值，包括：获取3D检测结果与标准3D检测结果中，各点线构成的角度值的L1损失计算结果；将角度值的L1损失计算结果的平均值，确定为角度损失函数的值。第二方面，本申请实施例提供一种物体检测装置，该装置包括：获取模块，用于获取待检测图像中的待检测物体的2D检测结果；转换模块，用于将2D检测结果输入至预设的检测神经网络中，得到待检测物体的3D检测结果；其中，检测神经网络为通过综合损失函数进行训练得到的网络模型；综合损失函数用于至少从物体的点、线、面和角度维度检测检测神经网络输出的3D检测结果与标准3D检测结果的差异。第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面实施例提供的任一项方法的步骤。第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面实施例提供的任一项方法的步骤。本申请实施例提供的一种物体检测方法、装置、计算机设备和存储介质，将获取的待检测物体的2D检测结果输入至预设的检测神经网络中，得到待检测物体的预测3D检测结果。该方法中，由于检测神经网络是根据至少从物体的点、线、面和角度四个维度建立的综合损失函数指导训练而成的网络，这样，从多维度考虑检测神经网络训练结果相对标准检测结果的差异，可以得到更加精确的差异结果，利用该差异对检测神经网络进行指导性训练，大大提高了检测神经网络的鲁棒性，从而使得采用该检测神经网络得到的3D检测结果的精度更高。附图说明图1为一个实施例提供的一种物体检测方法的应用环境图；图2为一个实施例提供的一种物体检测方法的流程示意图；图2a为一个实施例提供的一种车辆3D标注框示意图；图3为一个实施例提供的特征提取网络的结构示意图；图4为一个实施例提供的检测神经网络的结构示意图；图5为一个实施例提供的一种检测神经网络训练方法的流程示意图；图6为一个实施例提供的一种获取综合损失函数值的流程示意图；图6a为一个实施例提供的一种交并比损失函数定义示意图；图7为一个实施例提供的一种物体检测装置的结构框图；图8为一个实施例提供的一种物体检测装置的结构框图；图9为一个实施例提供的一种物体检测装置的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的一种物体检测方法，可以应用于如图1所示的应用环境中，该应用环境中，计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序本文档来自技高网...

【技术保护点】
1.一种物体检测方法，其特征在于，所述方法包括：/n获取待检测图像中的待检测物体的2D检测结果；/n将所述2D检测结果输入至预设的检测神经网络中，得到所述待检测物体的3D检测结果；其中，所述检测神经网络为通过综合损失函数进行训练得到的网络模型；所述综合损失函数用于至少从物体的点、线、面和角度维度检测所述检测神经网络输出的3D检测结果与标准3D检测结果的差异。/n

【技术特征摘要】
1.一种物体检测方法，其特征在于，所述方法包括：
获取待检测图像中的待检测物体的2D检测结果；
将所述2D检测结果输入至预设的检测神经网络中，得到所述待检测物体的3D检测结果；其中，所述检测神经网络为通过综合损失函数进行训练得到的网络模型；所述综合损失函数用于至少从物体的点、线、面和角度维度检测所述检测神经网络输出的3D检测结果与标准3D检测结果的差异。


2.根据权利要求1所述的方法，其特征在于，所述综合损失函数至少包括点损失函数、线损失函数、面损失函数和角度损失函数。


3.根据权利要求1或2所述的方法，其特征在于，所述综合损失函数中所述点损失函数的权重、线损失函数的权重、面损失函数的权重和角度损失函数的权重不同。


4.根据权利要求1或2所述的方法，其特征在于，所述检测神经网络包括特征提取网络和维度转换网络；
所述特征提取网络用于从所述2D检测结果中提取所述待检测物体关键信息的目标特征层；
所述维度转换网络，用于将所述目标特征层转换为所述3D检测结果。


5.根据权利要求4所述的方法，其特征在于，所述特征提取网络包括特征提取子网络、特征增强子网络；
所述特征提取子网络，用于从所述2D检测结果中提取所述待检测物体关键信息的初步特征层；
所述特征增强子网络，用于对所述初步特征层进行增强处理后得到所述目标特征层。


6.根据权利要求4所述的方法，其特征在于，维度转换网络包括多个不同维度的全连接层，所述各全连接层的维度依次下降。


7.根据权利要求4所述的方法，其特征在于，所述检测神经网络的训练过程包括：
获取多个物体的样本2D检测结果；
将各所述样本2D检测结果输入至初始检测神经网络的特征提取网络，得到目标特征层，并将所述目标特征层输入至所述初始检测神经网络的维度转换网络进行维度转换，得到所述物体的预测3D检测结果；
根据所述预测3D检测结果与物体的标准3D检测结果，获取预先建立的综合损失函数的值，根据所述综合损失函数的值引导所述初始检测神经网络进行训练，直到所述综合损失函数的值趋于平稳，得到所述检测神经网络。


8.根据权利要求7所述的方法，其特征在于，所述根据所述物体的预测3D检测结果与物体的标准3D检测结果，获取预先建立的综合损失函数的值，包括：
根据所述物体的预测3D检测结果与物体的标准3D检测结果，获取所述点损失函数、...

【专利技术属性】
技术研发人员：张志强，俞刚，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11