目标检测方法和模型训练方法、装置、电子设备和介质制造方法及图纸

本申请公开了一种目标检测模型的训练方法和目标检测方法、装置、电子设备以及介质，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术。目标检测模型的训练方法包括：获取样本数据，样本数据包括样本图像、样本图像中的对象在3D空间中的3D标定信息以及对象的高斯热力图；使用目标检测模型，根据样本图像产生对象在3D空间中的3D标定信息以及对象的高斯热力图；以及根据所产生的3D标定信息与样本数据中的3D标定信息之间的差异、以及所产生的高斯热力图与样本数据中的高斯热力图之间的差异，调整目标检测模型的参数。

【技术实现步骤摘要】
目标检测方法和模型训练方法、装置、电子设备和介质
本申请涉及人工智能领域，尤其涉及计算机视觉和深度学习技术，更具体地，涉及目标检测方法和模型训练方法、装置、电子设备和介质。
技术介绍
随着人工智能领域的快速发展，自动驾驶和智能机器人等技术应用也得到了极大的推进。其中，在技术实现过程中涉及对三维物体的检测任务，相关技术中，三维物体检测方法主要基于车载双目或雷达数据，或者基于二维图像直接通过网络预测三维信息。但是依赖双目的方法对深度估计的精度要求较高，计算复杂度高，无法满足实时性需求，依赖雷达的方法成本较高，且不能满足各种应用场景需求，检测精度也较低，现有的基于二维图像的预测方法不够准确。
技术实现思路
本申请提供了目标检测方法和模型训练方法、装置、电子设备和介质。根据第一方面，本申请提供了一种目标检测模型的训练方法，包括：获取样本数据，上述样本数据包括样本图像、上述样本图像中的对象在3D空间中的3D标定信息以及上述对象的高斯热力图；使用上述目标检测模型，根据上述样本图像产生上述对象在3D空间中的3D标定信息以及上述对象的高斯热力图；以及根据所产生的3D标定信息与上述样本数据中的3D标定信息之间的差异、以及所产生的高斯热力图与上述样本数据中的高斯热力图之间的差异，调整上述目标检测模型的参数。根据第二方面，本申请提供了一种目标检测方法，包括：使用目标检测模型来根据输入图像确定输入图像中的对象在3D空间中的3D包围框的尺寸、上述对象在3D空间中的朝向以及上述对象的高斯热力图，上述目标检测模型是根据上述的方法训练的；根据上述对象的高斯热力图计算上述3D包围框在上述3D空间中的位置；以及基于上述3D包围框在上述3D空间中的位置、上述3D包围框的尺寸以及上述对象的朝向，生成包围上述对象的3D包围框。根据第三方面，本申请提供了一种目标检测模型的训练装置，包括：获取模块，用于获取样本数据，上述样本数据包括样本图像、上述样本图像中的对象在3D空间中的3D标定信息以及上述对象的高斯热力图；检测模块，用于使用上述目标检测模型，根据上述样本图像产生上述对象在3D空间中的3D标定信息以及上述对象的高斯热力图；以及调整模块，用于根据所产生的3D标定信息与上述样本数据中的3D标定信息之间的差异、以及所产生的高斯热力图与上述样本数据中的高斯热力图之间的差异，调整上述目标检测模型的参数。根据第四方面，本申请提供了一种目标检测装置，包括：检测模块，用于使用目标检测模型来根据输入图像确定输入图像中的对象在3D空间中的3D包围框的尺寸、上述对象在3D空间中的朝向以及上述对象的高斯热力图，上述目标检测模型是根据上述的方法训练的；计算模块，用于根据上述对象的高斯热力图计算上述3D包围框在上述3D空间中的位置；以及标定模块，用于基于上述3D包围框在上述3D空间中的位置、上述3D包围框的尺寸以及上述对象的朝向，生成包围上述对象的3D包围框。根据第五方面，本申请提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。根据第六方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1示意性示出了根据本申请实施例的目标检测方法的应用场景；图2示意性示出了根据本申请实施例的目标检测模型的训练方法的流程图；图3示意性示出了根据本申请实施例的高斯热力图的示意图；图4示意性示出了根据本申请实施例的模型训练过程的示意图；图5示意性示出了根据本申请实施例的对象及其3D包围框的示意图；图6示意性示出了根据本申请实施例的目标检测模型的示意图；图7示意性示出了根据本申请实施例的将3D包围框的位置投影到样本图像的示意图；图8示意性示出了根据本申请另一实施例的目标检测模型的示意图；图9示意性示出了根据本申请实施例的目标检测方法的流程图；图10示意性示出了根据本申请实施例的目标检测模型的训练装置的框图；图11示意性示出了根据本申请实施例的目标检测装置的框图；以及图12是用来实现本申请实施例的目标检测模型的训练方法和目标检测方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本申请。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本申请的实施例提供了一种目标检测模型的训练方法，该方法包括：获取样本数据，样本数据包括样本图像、样本图像中的对象在3D空间中的3D标定信息以及对象的高斯热力图。使用目标检测模型，根据样本图像产生对象在3D空间中的3D标定信息以及对象的高斯热力图。根据所产生的3D标定信息与样本数据中的3D标定信息之间的差异、以及所产生的高斯热力图与样本数据中的高斯热力图之间的差异，调整目标检测模型的参数。本申请的实施例的另一方面还提供了一种目标检测方法，该方法包括：使用目标检测模型来根据输入图像确定输入图像中的对象在3D空间中的3D包围框的尺寸、对象在3D空间中的朝向以及对象的高斯热力图，目标检测模型是根据如上的训练方法训练得到。根据对象的高斯热力图计算3D包围框在3D空间中的位置。基于3D包围框在3D空间中的位置、3D包围框的尺寸以及对象的朝向，生成包围对象的3D包围框。图1示意性示出了根据本申请实施例的目标检测方法的应用场景。如图1所示，本申请实施例的目标检测方法例如可以用于自动驾驶场景中。道路上设置有监控摄像头101，监控摄像头101可以拍摄道路监控图本文档来自技高网...

【技术保护点】
1.一种目标检测模型的训练方法，包括：/n获取样本数据，所述样本数据包括样本图像、所述样本图像中的对象在3D空间中的3D标定信息以及所述对象的高斯热力图；/n使用所述目标检测模型，根据所述样本图像产生所述对象在3D空间中的3D标定信息以及所述对象的高斯热力图；以及/n根据所产生的3D标定信息与所述样本数据中的3D标定信息之间的差异、以及所产生的高斯热力图与所述样本数据中的高斯热力图之间的差异，调整所述目标检测模型的参数。/n

【技术特征摘要】
1.一种目标检测模型的训练方法，包括：
获取样本数据，所述样本数据包括样本图像、所述样本图像中的对象在3D空间中的3D标定信息以及所述对象的高斯热力图；
使用所述目标检测模型，根据所述样本图像产生所述对象在3D空间中的3D标定信息以及所述对象的高斯热力图；以及
根据所产生的3D标定信息与所述样本数据中的3D标定信息之间的差异、以及所产生的高斯热力图与所述样本数据中的高斯热力图之间的差异，调整所述目标检测模型的参数。


2.根据权利要求1所述的方法，其中，所述目标检测模型包括特征提取网络、预测全连接模块以及高斯热力图学习模块，所述样本数据中的3D标定信息包括3D包围框的尺寸和所述对象的朝向，所述使用所述目标检测模型，根据所述样本图像产生所述对象在3D空间中的3D标定信息以及所述对象的高斯热力图包括：
利用所述特征提取网络对所述样本图像进行特征提取，得到样本图像的特征图；
利用所述预测全连接模块对得到的特征图施加全连接层，得到3D包围框的尺寸和所述对象的朝向；
利用所述高斯热力图学习模块来基于所述样本图像的特征图产生所述对象的高斯热力图。


3.根据权利要求2所述的方法，其中，所述特征提取网络包括第一子网络和第二子网络，所述利用所述特征提取网络对所述样本图像进行特征提取包括：
利用第一子网络对所述样本图像进行第一特征提取并对所述样本图像中的对象进行分类，得到第一特征图、所述样本图像中包围所述对象的2D包围框和对象的类别信息；
利用第二子网络对所述第一特征图进行第二特征提取，得到第二特征图作为所述样本图像的特征图。


4.根据权利要求2所述的方法，其中，所述样本数据还包括所述3D空间中3D包围框的位置，所述获取样本数据包括：
获取所述样本图像和所述3D包围框的位置；以及
根据所获取的样本图像和所述3D包围框的位置，生成所述对象的高斯热力图。


5.根据权利要求4所述的方法，其中，所述根据所获取的样本图像和所述3D包围框的位置，生成所述对象的高斯热力图包括：
将所述3D包围框的位置投影到所述样本图像中，得到所述3D包围框在所述样本图像中的投影点；
获取所述样本图像中包围所述对象的2D包围框的位置，并以所述2D包围框的位置为中心从所述样本图像中提取第一尺寸的图像块；
根据所述样本图像中的所述投影点的位置以及所述2D包围框的位置，将所述第一尺寸的图像块转换成第二尺寸的图像块；以及
在所述第二尺寸的图像块中，以所述投影点在所述第二尺寸的图像块中的位置为中心计算所述对象的热力分布，得到所述对象的高斯热力图。


6.根据权利要求5中所述的方法，其中，所述样本图像中2D包围框的位置是预先标定的，或者是根据所述样本数据计算得到的。


7.根据权利要求3所述的方法，其中，所述样本数据还包括2D包围框和对象的类别信息，所述调整所述目标检测模型的参数包括：根据以下信息来调整所述目标检测模型的的参数：
利用所述第一子...

【专利技术属性】
技术研发人员：叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11