目标标注方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供一种目标标注方法、装置、电子设备及计算机可读存储介质，先根据激光雷达采集的点云数据和点云深度学习模型，输出每帧点云数据对应的点云标注信息，根据与激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧图像数据对应的图像标注信息，再确定待标注目标及待标注目标的类型和测量尺寸信息，根据类型、测量尺寸信息和尺寸数据库，确定待标注目标的目标尺寸信息，其中，尺寸数据库预先存储不同类型的目标的尺寸信息；根据目标尺寸信息更新点云标注信息。因此，本申请使用深度学习模型分别输出点云标注信息和图像标注信息，提升了标注速度，并根据尺寸数据库对点云标注信息进行校准更新，提升了标注的准确性。标注的准确性。标注的准确性。

【技术实现步骤摘要】
目标标注方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及数据处理
，尤其涉及一种目标标注方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]现有的激光点云目标物标注方法依赖于人工，主要过程为，工作人员将图像和点云加载到标注软件后，通过查看对应图像来识别激光点云中目标物的类别，再用一个大致的三维框来包围住物体，把框和包围着的点云投影到X
‑
Y、Y
‑
Z、X
‑
Z三个投影面，根据投影面二维框包围点云情况，微调三维框的大小、方向和位置，使投影面二维框紧紧贴近点云，再根据图像中目标物的头尾朝向确定航向角的方向。这个标注过程需要进行较为繁琐的人工操作，导致标注的速度较慢。尤其是针对一些目标被遮挡或被截断使得只显示部分目标点云的场景，只能依靠标注经验进行猜测标注，准确性较差。
[0003]可见，现有的人工标注激光点云目标物的方案存在标注速度慢、准确性较差的技术问题。

技术实现思路

[0004]为了解决上述技术问题，本申请实施例提供了一种目标标注方法、装置、电子设备及计算机可读存储介质。
[0005]第一方面，本申请实施例提供了一种目标标注方法，所述方法包括：
[0006]根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；
[0007]根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；
[0008]根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；
[0009]根据所述目标尺寸信息更新所述点云标注信息。
[0010]根据本申请的一种具体实现方式，在所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息之前，所述方法还包括：
[0011]判断所述点云数据和所述图像数据是否连续。
[0012]根据本申请的一种具体实现方式，在所述判断所述点云数据和所述图像数据是否连续之后，所述方法还包括：
[0013]若所述点云数据和所述图像数据不连续，则对于每帧所述点云数据，分别执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息
的步骤；
[0014]若所述点云数据和所述图像数据连续，则对于所述点云数据，只执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤。
[0015]根据本申请的一种具体实现方式，若所述点云数据和所述图像数据连续，所述方法还包括：
[0016]校准所述点云标注信息和所述图像标注信息。
[0017]根据本申请的一种具体实现方式，所述校准所述点云标注信息和所述图像标注信息，包括：
[0018]跟踪所述点云标注信息和所述图像标注信息；
[0019]判断对应的所述点云数据或所述图像数据上的所述待标注目标是否存在遮挡；
[0020]若是，则以不存在遮挡的所述图像数据或所述点云数据作为校准数据；
[0021]以所述校准数据对应的标注信息包括的类型作为所述待标注目标的类型。
[0022]根据本申请的一种具体实现方式，所述方法还包括：
[0023]根据校准后的类型更新所述点云标注信息。
[0024]根据本申请的一种具体实现方式，所述方法还包括：
[0025]逐帧以预设格式存储更新后的所述点云标注信息。
[0026]根据本申请的一种具体实现方式，所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，包括：
[0027]根据所述待标注目标的类型和索引尺寸信息，从所述尺寸数据库中检索出与所述待校正尺寸信息对应的检索尺寸信息；
[0028]判断所述待校正尺寸信息和所述检索尺寸信息的差值的绝对值是否小于第一预设阈值；
[0029]若是，则不校正所述待校正尺寸信息；
[0030]若否，则校正所述待校正尺寸信息为所述检索尺寸信息；
[0031]根据校正结果和所述索引尺寸信息，确定所述待标注目标的目标尺寸信息。
[0032]根据本申请的一种具体实现方式，若所述待标注目标位于所述激光雷达的前方或后方，则所述索引尺寸信息为所述待标注目标的宽度，所述待校正尺寸信息为所述待标注目标的长度和高度；
[0033]若所述待标注目标位于所述激光雷达的侧方，则所述索引尺寸信息为所述待标注目标的长度，所述待校正尺寸信息为所述待标注目标的宽度和高度。
[0034]根据本申请的一种具体实现方式，所述根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型，包括：
[0035]根据所述激光雷达与所述摄像头的标定参数，将当前帧所述点云标注信息投影至对应帧的所述图像标注信息上；
[0036]遍历投影后的所述图像标注信息上的目标，以确定待标注目标；
[0037]确定所述待标注目标的类型。
[0038]根据本申请的一种具体实现方式，所述遍历投影后的所述图像标注信息上的目标，以确定待标注目标，包括：
[0039]若某个目标在所述点云标注信息上的目标包围框和在所述图像标注信息上的目
标包围框的中心点的距离小于第二预设阈值，则确定所述目标为待标注目标。
[0040]根据本申请的一种具体实现方式，所述确定所述待标注目标的类型，包括：
[0041]判断所述待标注目标在所述点云标注信息上的类型和在所述图像标注信息上的类型是否相同；
[0042]若是，则以所述点云标注信息上的类型作为所述待标注目标的类型；
[0043]若否，则以所述图像标注信息上的类型作为所述待标注目标的类型。
[0044]根据本申请的一种具体实现方式，所述根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，包括：
[0045]将所述点云数据按照所述激光雷达的频率进行分割；
[0046]将每帧所述点云数据从激光雷达坐标系转换到大地坐标系；
[0047]逐帧将坐标系转换后的所述点云数据输入至所述点云深度学习模型，输出每帧所述点云数据对应的点云标注信息。
[0048]根据本申请的一种具体实现方式，所述根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，包括：
[0049]将所述图像数据按照所述摄像头的帧率分割成若干图片；
[0050]逐帧将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标标注方法，其特征在于，所述方法包括：根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；根据所述目标尺寸信息更新所述点云标注信息。2.根据权利要求1所述的方法，其特征在于，在所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息之前，所述方法还包括：判断所述点云数据和所述图像数据是否连续。3.根据权利要求2所述的方法，其特征在于，在所述判断所述点云数据和所述图像数据是否连续之后，所述方法还包括：若所述点云数据和所述图像数据不连续，则对于每帧所述点云数据，分别执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤；若所述点云数据和所述图像数据连续，则对于所述点云数据，只执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤。4.根据权利要求3所述的方法，其特征在于，若所述点云数据和所述图像数据连续，所述方法还包括：校准所述点云标注信息和所述图像标注信息。5.根据权利要求4所述的方法，其特征在于，所述校准所述点云标注信息和所述图像标注信息，包括：跟踪所述点云标注信息和所述图像标注信息；判断对应的所述点云数据或所述图像数据上的所述待标注目标是否存在遮挡；若是，则以不存在遮挡的所述图像数据或所述点云数据作为校准数据；以所述校准数据对应的标注信息包括的类型作为所述待标注目标的类型。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据校准后的类型更新所述点云标注信息。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述方法还包括：逐帧以预设格式存储更新后的所述点云标注信息。8.根据权利要求1所述的方法，其特征在于，所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，包括：根据所述待标注目标的类型和索引尺寸信息，从所述尺寸数据库中检索出与所述待校正尺寸信息对应的检索尺寸信息；判断所述待校正尺寸信息和所述检索尺寸信息的差值的绝对值是否小于第一预设阈
值；若是，则不校正所述待校正尺寸信息；若否，则校正所述待校正尺寸信息为所述检索尺寸信息；根据校正结果和所述索引尺寸信息，确定所述待标注目标的目标尺寸信息。9.根据权利要求1或8所述的方法，其特征在于，若所述待标注目标位于所述激光雷达的前方或后方，则所述索引尺寸信息为所述待标注目标的宽度，所述待校正尺寸信息为所述待标注目标的长度和高度；若所述待标注目标位于所述激光雷达的侧方，则所述索引尺寸信息为所述待标注目标的长度，所述待校正尺...

【专利技术属性】
技术研发人员：严征，王新锋，
申请(专利权)人：深圳市镭神智能系统有限公司，
类型：发明
国别省市：