一种物体检测模型的训练及预测方法、装置、设备及介质制造方法及图纸

本申请公开了一种物体检测模型的训练及预测方法、装置、设备及介质，涉及人工智能中深度学习和计算机视觉领域。具体方案为：将当前样本图像输入至待训练的物体检测模型，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数；根据各个二维预测图像特征和其对应的二维检测框的预测参数，以及各个三维预测图像特征和其对应的三维检测框的预测参数，对物体检测模型进行训练。本申请实施例能够实现实时地二维三维联合检测，从而可以达到提高检测速度，降低检测成本的目的。

【技术实现步骤摘要】
一种物体检测模型的训练及预测方法、装置、设备及介质
本申请涉及计算机
，进一步涉及人工智能中深度学习和计算机视觉领域，尤其是一种物体检测模型的训练及预测方法、装置、设备及介质。
技术介绍
现有技术在二维、三维检测领域主要有以下两种方法：基于激光雷达点云的三维物体检测方法和基于单目图像的三维物体检测方法；其中，基于激光雷达点云的三维物体检测方法，需要较为昂贵的激光雷达，且采集的点云具有稀疏和密度不一致性，在实际场景中应用局限性大、成本较高。另外，基于单目图像的三维物体检测方法，通过单目深度估计获取深度，并将图像转换为伪点云，再应用点云三维检测的方法，但是该方法需要深度估计网络、2D预检测网络和3D点云检测网络串接，速度较慢。
技术实现思路
本申请提供了一种物体检测模型的训练及预测方法、装置、设备及介质，能够实现实时地二维三维联合检测，从而可以达到提高检测速度，降低检测成本的目的。第一方面，本申请提供了一种物体检测模型的训练方法，所述方法包括：当待训练的物体检测模型不满足预先设置的收敛条件时，将当前样本图像输入至所述待训练的物体检测模型；通过所述待训练的物体检测模型对所述当前样本图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数；根据各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数，以及各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数，对所述物体检测模型进行训练，将下一个样本图像作为所述当前样本图像，重复执行上述操作，直到所述物体检测模型满足所述预先确定的收敛条件第二方面，本申请提供了一种物体检测模型的预测方法，所述方法包括：将待检测图像输入至预先训练的物体检测模型；通过所述预先训练的物体检测模型对所述待检测图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数。第三方面，本申请提供了一种物体检测模型的训练装置，所述装置包括：二维计算模块、二维计算模块和训练模块；其中，所述二维计算模块，用于当待训练的物体检测模型不满足预先设置的收敛条件时，将当前样本图像输入至所述待训练的物体检测模型；通过所述待训练的物体检测模型对所述当前样本图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；所述三维计算模块，用于基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数；所述训练模块，用于根据各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数，以及各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数，对所述物体检测模型进行训练，将下一个样本图像作为所述当前样本图像，重复执行上述操作，直到所述物体检测模型满足所述预先确定的收敛条件。第四方面，本申请提供了一种物体检测模型的预测装置，所述装置包括：二维预测模块和三维预测模块；其中，所述二维预测模块，用于将待检测图像输入至预先训练的物体检测模型；通过所述预先训练的物体检测模型对所述待检测图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；所述三维预测模块，用于基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数。第五方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的物体检测模型的训练及预测方法。第六方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的物体检测模型的训练及预测方法。根据本申请的技术解决了现有技术中基于激光雷达点云的三维物体检测方法成本较高；基于单目图像的三维物体检测方法速度较慢的技术问题，本申请提供的技术方案，能够实现实时地二维三维联合检测，从而可以达到提高检测速度，降低检测成本的目的。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例一提供的物体检测模型的训练方法的流程示意图；图2是本申请实施例二提供的物体检测模型的训练方法的流程示意图；图3是本申请实施例三提供的物体检测模型的预测方法的流程示意图；图4是本申请实施例四提供的物体检测模型的训练装置的第一结构示意图；图5是本申请实施例四提供的物体检测模型的训练装置的第二结构示意图；图6是本申请实施例五提供的物体检测模型的预测装置的结构示意图；图7是用来实现本申请实施例的物体检测模型的训练及预测方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。实施例一图1是本申请实施例一提供的物体检测模型的训练方法的流程示意图，该方法可以由物体检测模型的训练装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，物体检测模型的训练方法可以包括以下步骤：S101、当待训练的物体检测模型不满足预先设置的收敛条件时，将当前样本图像输入至待训练的物体检测模型；通过待训练的物体检测模型对当前样本图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数。在本申请的具体实施例中，当待训练的物体检测模型不满足预先设置的收敛条件时，电子设备可以将当前样本图像输入至待训练的物体检测模型；通过待训练的物体检测模型对当前样本图本文档来自技高网...

【技术保护点】
1.一种物体检测模型的训练方法，其特征在于，所述方法包括：/n当待训练的物体检测模型不满足预先设置的收敛条件时，将当前样本图像输入至所述待训练的物体检测模型；通过所述待训练的物体检测模型对所述当前样本图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；/n基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数；/n根据各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数，以及各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数，对所述物体检测模型进行训练，将下一个样本图像作为所述当前样本图像，重复执行上述操作，直到所述物体检测模型满足所述预先确定的收敛条件。/n

【技术特征摘要】
1.一种物体检测模型的训练方法，其特征在于，所述方法包括：
当待训练的物体检测模型不满足预先设置的收敛条件时，将当前样本图像输入至所述待训练的物体检测模型；通过所述待训练的物体检测模型对所述当前样本图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；
基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数；
根据各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数，以及各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数，对所述物体检测模型进行训练，将下一个样本图像作为所述当前样本图像，重复执行上述操作，直到所述物体检测模型满足所述预先确定的收敛条件。


2.根据权利要求1所述的方法，其特征在于，在所述基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数之前，所述方法还包括：
在全部的检测对象中提取出一个检测对象作为当前检测对象；根据所述当前检测对象对应的二维检测框的预测参数和预先确定的所述当前检测对象对应的二维检测框的真实参数，验证所述当前检测对象对应的二维检测框的预测参数和其对应的二维检测框的真实参数是否相匹配；
若所述当前检验对象对应的二维检测框的预测参数和其对应的二维检测框的真实参数相匹配，则将所述当前检测对象确定为匹配的检测对象，重复执行上述操作，直到在全部的检测对象中提取出全部匹配的检测对象；执行基于各个匹配的检测对象的二维预测图像特征和其对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个匹配的检测对象进行三维检测，得到各个匹配的检测对象的三维预测图像特征和其对应的三维检测框的预测参数的操作。


3.根据权利要求1所述的方法，其特征在于，所述二维检测框的预测参数至少包括：所述二维检测框的中心点的预测平面坐标、所述二维检测框的预测宽度和预测高度；所述三维检测框的预测参数至少包括：所述三维检测框的中心点的预测空间坐标、所述三维检测框的预测长度、预测宽度和预测高度、所述三维检测框中的检测对象的朝向角以及相机内参和地面法向量。


4.根据权利要求3所述的方法，其特征在于，所述基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数，包括：
基于各个检测对象对应的二维检测框的中心点的预测平面坐标以及各个检测对象对应的二维检测框的预测宽度和预测高度，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象对应的三维检测框的中心点的预测空间坐标；
基于各个检测对象的二维预测图像特征，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象的三维预测图像特征和其对应的三维检测框的预测长度、预测宽度和预测高度、各个检测对象对应的三维检测框中的检测对象的朝向角以及相机内参和地面法向量。


5.根据权利要求4所述的方法，其特征在于，所述基于各个检测对象的对应的二维检测框的中心点的预测平面坐标以及各个检测对象对应的二维检测框的预测宽度和预测高度，通过所述待训练的物体检测模型对各个检测对象进行三维检测，得到各个检测对象对应的三维检测框的中心点的空间坐标，包括：
根据各个检测对象对应的二维检测框的中心点的预测平面坐标、各个检测对象对应的二维检测框的预测宽度和预测高度以及预先确定的各个检测对象的网络训练目标，得到各个检测对象对应的三维检测框的中心点的预测投影坐标；
根据各个检测对象对应的三维检测框的中心点的预测投影坐标，得到各个检测对象对应的三维检测框的中心点的预测空间坐标。


6.根据权利要求5所述的方法，其特征在于，在所述根据各个检测对象对应的二维检测框的中心点的预测平面坐标、各个检测对象对应的二维检测框的预测宽度和预测高度以及预先确定的各个检测对象的网络训练目标，得到各个检测对象对应的三维检测框的中心点的图像投影坐标之前，所述方法还包括：
根据预先确定的各个检测对象的真实空间坐标，计算出各个检测对象对应的三维检测框的中心点的真实投影坐标；
基于各个检测对象对应二维检测框的中心点的真实投影坐标和各个检测对象的真实空间坐标以及预先确定的各个检测对象对应的二维检测框的真实宽度和真实高度，计算出各个检测对象的网络训练目标。


7.根据权利要求1所述的方法，其特征在于，所述根据各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数，以及各个检测对象的三维图像特征和其对应的三维检测框的预测参数，对所述物体检测模型进行训练，包括：
使用预先设定的二维检测阶段对应的损失函数，计算各个检测对象的二维预测数据与预先确定的各个检测对象的二维真实数据的二维差异；其中，所述二维预测数据包括：各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；所述二维真实数据包括：各个检测对象的二维真实图像特征和其对应的二维检测框的真实参数；
使用预先设定的三维检测阶段对应的损失函数，计算各个检测对象的三维预测数据与预先确定的各个检测对象的三维真实数据的三维差异，其中，所述三维预测数据包括：各个检测对象的三维预测图像特征和其对应的三维检测框的预测参数；所述三维真实数据包括：各个检测对象的三维真实图像特征和其对应的三维检测框的真实参数；
基于所述二维差异和所述三维差异对物体检测模型进行训练。


8.一种物体检测模型的预测方法，其特征在于，所述方法包括：
将待检测图像输入至预先训练的物体检测模型；通过所述预先训练的物体检测模型对所述待检测图像中的至少一个检测对象进行二维检测，得到各个检测对象的二维预测图像特征和其对应的二维检测框的预测参数；
基于各个检测对象的二维预测图像特征以及对应的二维检测框的预测参数，通过...

【专利技术属性】
技术研发人员：叶晓青，谭啸，孙昊，章宏武，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11