三维目标检测框标注方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种三维目标检测框标注方法、装置、电子设备和存储介质，包括：根据待检测图像，确定各二维目标检测框，根据结合检测数据，确定相机位姿和重建环境信息，针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵和各预设采样航向角角度，确定各消失点集合，针对每个消失点集合，结合二维目标检测框和各上边缘框采样点，确定各角点集合，针对每个角点集合，结合相机内参矩阵、相机位姿和三维地面，确定各三维待处理检测框，针对每个二维目标检测框，结合各后帧二维检测框、各三维待处理检测框和各后帧三维检测框，确定三维目标检测框，并在待检测图像中标注，以实现结合二维目标检测框和检测数据，提高标注的准确性以及速度。准确性以及速度。准确性以及速度。

【技术实现步骤摘要】
三维目标检测框标注方法、装置、电子设备和存储介质


[0001]本公开涉及计算机视觉领域，尤其涉及一种三维目标检测框标注方法、装置、电子设备和存储介质。

技术介绍

[0002]在自动驾驶领域中三维(3D)目标识别是十分重要的一个任务，通常的，3D目标检测任务中的3D目标检测框标注需要很多的先决条件，包括精密的测量设备以及比较繁琐的人工标注，才可以得到比较好的标注结果。
[0003]然而，上述使用精密的测量设备时，需要对外参进行标定，且时间同步要求高，若通过二维(2D)目标检测的纯视觉标注方法使用深度神经网络进行标注，存在算法鲁棒性不强的问题，若重建周围环境并进行实例分割，存在算力要求过高以及处理效率较低的问题。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种三维目标检测框标注方法、装置、电子设备和存储介质，在二维目标检测框的基础上结合检测数据，提高三维目标检测框的标注准确性以及速度，减少人工标注的工作量。
[0005]第一方面，本公开实施例提供了一种三维目标检测框标注方法，该方法包括：
[0006]根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；
[0007]针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；
[0008]针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；
[0009]针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；
[0010]针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。
[0011]第二方面，本公开实施例还提供了一种三维目标检测框标注装置，该装置包括：
[0012]二维目标检测框构建模块，用于根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对
应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；
[0013]消失点集合确定模块，用于针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；
[0014]角点集合确定模块，用于针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；
[0015]三维待处理检测框确定模块，用于针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；
[0016]三维目标检测框标注模块，用于针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。
[0017]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的三维目标检测框标注方法。
[0018]第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的三维目标检测框标注方法。
[0019]本公开实施例提供的一种三维目标检测框标注方法，通过待检测图像，确定各二维目标检测框、其类别以及置信度，并根据待检测图像以及检测数据，确定相机位姿以及重建环境信息，避免使用激光雷达和毫米波雷达数据，针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合，进而，针对每个消失点集合，根据消失点集合、二维目标检测框以及预设的各上边缘框采样点，确定多个角点集合，针对每个角点集合，根据角点集合、相机内参矩阵、相机位姿以及重建环境信息中的三维地面，确定多个三维待处理检测框以及三维待处理检测框的尺寸信息和位姿信息，进一步的，针对每个二维目标检测框，根据二维目标检测框、各后帧二维检测框、各三维待处理检测框以及各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并在待检测图像中标注三维目标检测框，实现了在二维目标检测框的基础上结合检测数据，提高三维目标检测框的标注准确性以及速度，降低了算力要求，减少人工标注的工作量。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0021]图1为本公开实施例中的一种三维目标检测框标注方法的流程图；
[0022]图2为本公开实施例中的一种确定角点集合的示意图；
[0023]图3为本公开实施例中的一种计算顶部角点的三维坐标的示意图；
[0024]图4为本公开实施例中的一种多对三维待处理检测框匹配对的示意图的；
[0025]图5为本公开实施例中的一种三维目标检测框标注装置的结构示意图；
[0026]图6为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
[0027]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0028]需要注意，本公开中提及的“第一”、“第二”等概念仅用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标检测框标注方法，其特征在于，所述方法包括：根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。2.根据权利要求1所述的方法，其特征在于，在所述确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息之后，还包括：针对每个三维待处理检测框，对所述三维待处理检测框的各边缘进行采样，确定各边缘采样点；根据各边缘采样点以及与所述三维待处理检测框对应的二维目标检测框，确定距离误差；根据所述三维待处理检测框的当前长宽比、当前高宽比、预设最大长宽比、预设最小长宽比，预设最大高宽比以及预设最小高宽比，确定形状误差；根据所述距离误差以及所述形状误差，确定所述三维待处理检测框的总误差；针对每个二维目标检测框，根据与所述二维目标检测框对应的各三维待处理检测框的总误差对各三维待处理检测框进行筛选，更新与所述二维目标检测框对应的各三维待处理检测框。3.根据权利要求1所述的方法，其特征在于，所述根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合，包括：针对每个预设采样航向角，通过下述公式确定与所述预设采样航向角角度对应的消失点集合：点集合：
其中，K为相机内参矩阵，R为相机旋转矩阵，yaw为预设采样航向角角度，VP
x
、VP
y
、VP
z
为消失点集合中的各消失点；若消失点集合中至少一个消失点的三个维度中存在0，则通过下述公式确定与所述预设采样航向角角度对应的消失点集合：设采样航向角角度对应的消失点集合：设采样航向角角度对应的消失点集合：其中，roll为预设翻滚角，pitch为预设俯仰角。4.根据权利要求1所述的方法，其特征在于，所述针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息，包括：针对每个角点集合，通过下述公式确定所述角点集合中各底部角点的三维坐标：针对每个角点集合，通过下述公式确定所述角点集合中各底部角点的三维坐标：其中，为第i个底部角点的三维坐标，K
‑1p
i
为三维空间中第i个底部角点对应的反向投影射线，K为相机内参矩阵，[n,m]表示所述重建环境信息中的三维地面，n是所述三维地面在相机坐标系下的法向量，m为相机中心到所述三维地面的距离；根据所述相机位姿以及各底部角点的三维坐标，确定所述角点集合中各顶部角点的三维坐标；根据所述角点集合中各顶部角点的三维坐标以及各底部角点的三维坐标，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理
检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，包括：对所述二维目标检测框进行特征点提取，得到第一特征点集合，对各后帧二维检测框进行特征点提取，得到各第二特征点集合，并根据所述第一特征点集合、各第二特征点集合以及所述二维目标检测框和各后帧二维检测框之间的交并比，确定与所述二维目标检测框对应的匹配二维检测框；根据与所述二维目标检测框对应的各三维待处理检测框的第一待匹配航向角、第一长度、第一宽度以及第一高度、与所述匹配二维检测框对应的各后帧三维检测框第二待匹配航向角、第二长度、第二宽度以及第二高度、匹配航向角阈值、匹配长度阈值、匹配宽度阈值以及匹配高度阈值，确定三维待处理检测框匹配对；其中，所述三维待处理检测框匹配对包括第一三维匹配框以及第二三维匹配框；所述第一三维匹配框为所述待检测图像中的一个三维待处理检测框，所述第二三维匹配框为所述后一帧图像中的一个与所述第一三维匹配框相匹配的三维检...

【专利技术属性】
技术研发人员：周宏涛，何潇，张晶华，张丹，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：