3D目标检测方法、装置及设备制造方法及图纸

本发明专利技术公开了一种3D目标检测方法、装置及设备，属于智慧交通技术领域，该方法包括：获取包含目标对象的第一目标图片，基于预先训练好的2D目标检测模型对第一目标图片进行检测，得到对应目标对象第一部位的第一2D目标框，基于第一目标图片的透视系数对第一2D目标框进行比例变换，得到对应目标对象第二部位的第二2D目标框，透视系数表征第一目标图片中远近大小的缩放关系，第一部位与第二部位不相邻，基于第一2D目标框和所述第二2D目标框，构建目标对象的3D目标框，通过本发明专利技术解决了检测3D目标框所需硬件较多的技术问题。所需硬件较多的技术问题。所需硬件较多的技术问题。

【技术实现步骤摘要】
3D目标检测方法、装置及设备


[0001]本专利技术属于智慧交通
，尤其涉及一种3D目标检测方法、装置及设备。

技术介绍

[0002]当前道路场景中，2D目标检测只能检测出目标的位置、类别等信息，不能给出目标精准的轮廓与方向信息，对真实场景的描述不足，所以3D目标框检测应用涌现出很多方案，可以填补2D目标检测的不足，但是3D目标框检测往往需要大量的点云数据作为支撑去训练模型，样本获取成本较高。
[0003]现有技术中，通过2D检测获取3D目标框的方式会依赖点云数据来完成，因此，需要添加雷达等3D传感设备来实现3D目标检测。

技术实现思路

[0004]本专利技术实施例提供了一种3D目标检测方法、装置及设备，实现了在不依赖于点云数据的前提下检测3D目标，避免了3D目标检测对3D传感设备的依赖。
[0005]第一方面，本专利技术实施例提供了一种3D目标检测方法，包括：获取包含目标对象的第一目标图片，基于预先训练好的2D目标检测模型对所述第一目标图片进行检测，得到对应所述目标对象第一部位的第一2D目标框，基于所述第一目标图片的透视系数，对所述第一2D目标框进行比例变换，得到对应所述目标对象第二部位的第二2D目标框，所述透视系数表征所述第一目标图片中远近大小的缩放关系，所述第一部位与所述第二部位不相邻，基于所述第一2D目标框和所述第二2D目标框，构建所述目标对象的3D目标框。
[0006]结合本专利技术的第一方面，在一些实施方式下，所述2D目标检测模型包括第一检测子模型和第二检测子模型，所述基于预先训练好的2D目标检测模型对所述第一目标图片进行检测，得到对应所述目标对象第一部位的第一2D目标框，包括：基于所述第一检测子模型对所述第一目标图片进行目标检测，得到对应所述目标对象整体外形的第三2D目标框，从所述第一目标图片中获取所述第三2D目标框所在区域，得到第二目标图片，基于所述第二检测子模型对所述第二目标图片进行目标检测，得到对应所述目标对象第一部位的所述第一2D目标框。
[0007]结合本专利技术的第一方面，在一些实施方式下，所述基于所述第一目标图片的透视系数，对所述第一2D目标框进行比例变换，得到对应所述目标对象第二部位的第二2D目标框，包括：基于像素点位置，获取所述第一2D目标框和所述第三2D目标框的特定顶点距离，基于所述特定顶点距离和预先确定的透视系数，确定出比例关系参数，将所述第一2D目标框按照所述比例关系参数进行比例变换，得到所述第二2D目标框。
[0008]结合本专利技术的第一方面，在一些实施方式下，所述基于所述第一2D目标框和所述第二2D目标框，构建所述目标对象的3D目标框，包括：将所述第一2D目标框和所述第二2D目标框的对应顶点进行连接，形成所述目标对象的3D目标框。
[0009]结合本专利技术的第一方面，在一些实施方式下，在所述构建所述目标对象的3D目标
框之后，还包括：基于所述3D目标框，获取所述目标对象的方向信息。
[0010]结合本专利技术的第一方面，在一些实施方式下，还包括预先训练所述2D目标检测模型的步骤，所述步骤包括：获取第一样本图片集，所述第一样本图片集包含第一类样本图片和第二类样本图片，所述第一类样本图片中标签信息是对所述目标对象的整体外形添加的外接矩形框，所述第二类样本图片中标签信息是对所述目标对象的局部外形添加的外接矩形框，基于所述第一类样本图片训练原始检测模型，得到所述第一检测子模型，基于所述第二类样本图片训练原始检测模型，得到所述第二检测子模型。
[0011]结合本专利技术的第一方面，在一些实施方式下，所述预先训练所述2D目标检测模型的步骤还可以是：获取第二样本图片集，所述第二样本图片集的每张样本图片中标签信息包含对所述目标对象的整体外形添加的外接矩形框，以及对所述目标对象的局部外形添加的外接矩形框，基于所述第二样本图片集对原始检测模型进行训练，得到所述2D目标检测模型。
[0012]结合本专利技术的第一方面，在一些实施方式下，所述获取第一样本图片集，包括：获取原始图片集，针对所述原始图片集中每个原始图片，将所述原始图片中属于所述目标对象的整体外形的区域进行标注，得到所述第一类样本图片，对每个所述第一类样本图片进行截取所述目标对象的整体外形，并将截取的所述目标对象的整体外形中第一部位所在区域进行标注，得到所述第二类样本图片。
[0013]第二方面，本专利技术实施例提供了一种3D目标检测装置，包括：第一图片获取单元，用于获取包含目标对象的第一目标图片，第一目标框获取单元，用于基于预先训练好的2D目标检测模型对所述第一目标图片进行检测，得到对应所述目标对象第一部位的第一2D目标框，第二目标框获取单元，用于基于所述第一目标图片的透视系数，对所述第一2D目标框进行比例变换，得到对应所述目标对象第二部位的第二2D目标框，所述透视系数表征所述第一目标图片中远近大小的缩放关系，所述第一部位与所述第二部位不相邻，3D目标框获取单元，用于基于所述第一2D目标框和所述第二2D目标框，构建所述目标对象的3D目标框。
[0014]第三方面，本专利技术实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述方法。
[0015]本专利技术实施例提供的一个或者多个技术方案，至少实现了如下技术效果或者优点：
[0016]本专利技术实施例通过获取包含目标对象的第一目标图片，基于预先训练好的2D目标检测模型第一目标图片进行检测，得到对应目标对象第一部位的第一2D目标框，基于第一目标图片的透视系数，对第一2D目标框进行比例变换，得到对应目标对象第二部位的第二2D目标框，透视系数表征第一目标图片中远近大小的缩放关系，第一部位与第二部位不相邻，基于第一2D目标框和第二2D目标框构建目标对象的3D目标框。由于是通过结合第一2D目标框和第二2D目标框来获取3D目标框，不需要使用到3D点云数据，因此，实现了在不依赖于点云数据的前提下获得3D目标框，避免了3D目标检测对3D传感设备的依赖，解决了检测3D目标框所需硬件较多的技术问题。
附图说明
[0017]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例中3D目标检测方法的流程图；
[0019]图2为本专利技术实施例中第一目标图片的示意图；
[0020]图3为本专利技术实施例中车辆整体外形的第三2D目标框的示意图；
[0021]图4为本专利技术实施例中第二目标图片的示意图；
[0022]图5为本专利技术实施例中车辆第一部位的第一2D目标框的第一种示意图；
[0023]图6为本专利技术实施例中车辆第一部位的第一2D目标框的第二种示意图；
[0024]图7为本专利技术实施例中第一目标图片添加垂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D目标检测方法，其特征在于，包括：获取包含目标对象的第一目标图片；基于预先训练好的2D目标检测模型对所述第一目标图片进行检测，得到对应所述目标对象第一部位的第一2D目标框；基于所述第一目标图片的透视系数，对所述第一2D目标框进行比例变换，得到对应所述目标对象第二部位的第二2D目标框，所述透视系数表征所述第一目标图片中远近大小的缩放关系，所述第一部位与所述第二部位不相邻；基于所述第一2D目标框和所述第二2D目标框，构建所述目标对象的3D目标框。2.根据权利要求1所述的3D目标检测方法，其特征在于，所述2D目标检测模型包括第一检测子模型和第二检测子模型；所述基于预先训练好的2D目标检测模型对所述第一目标图片进行检测，得到对应所述目标对象第一部位的第一2D目标框，包括：基于所述第一检测子模型对所述第一目标图片进行目标检测，得到对应所述目标对象整体外形的第三2D目标框；从所述第一目标图片中获取所述第三2D目标框所在区域，得到第二目标图片；基于所述第二检测子模型对所述第二目标图片进行目标检测，得到对应所述目标对象第一部位的所述第一2D目标框。3.根据权利要求2所述的3D目标检测方法，其特征在于，所述基于所述第一目标图片的透视系数，对所述第一2D目标框进行比例变换，得到对应所述目标对象第二部位的第二2D目标框，包括：基于像素点位置，获取所述第一2D目标框和所述第三2D目标框的特定顶点距离；基于所述特定顶点距离和所述透视系数，确定出比例关系参数；将所述第一2D目标框按照所述比例关系参数进行比例变换，得到所述第二2D目标框。4.根据权利要求1所述的3D目标检测方法，其特征在于，所述基于所述第一2D目标框和所述第二2D目标框，构建所述目标对象的3D目标框，包括：将所述第一2D目标框和所述第二2D目标框的对应顶点进行连接，形成所述目标对象的3D目标框。5.根据权利要求1
‑
4中任一所述的3D目标检测方法，其特征在于，在所述构建所述目标对象的3D目标框之后，还包括：基于所述3D目标框，获取所述目标对象的方向信息。6.根据权利要求2所述的3D目标检测方法，其特征在于，还包括预先训练所述2...

【专利技术属性】
技术研发人员：候捷，曾帅，
申请(专利权)人：苏州艾氪英诺机器人科技有限公司，
类型：发明
国别省市：