一种标注信息确定方法、装置及系统制造方法及图纸

本申请实施例提供了一种标注信息确定方法、装置及系统，方法包括：基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，目标场景中包括目标物体，获得用于针对目标场景采集图像的图像采集设备的物理参数、表示图像采集设备与目标物体之间相对位置的第一位置信息，根据三维标注信息、物理参数和第一位置信息，确定基于第一待标注图像进行标注时目标物体的第一二维标注信息，其中，第一待标注图像为：图像采集设备采集的、与点云数据所记录的对应同一场景的图像。采用本申请实施例提供的方案确定标注信息，可以提高在图像中确定目标物体的标注信息的速度，降低人力成本，从而提高确定标注信息的效率。从而提高确定标注信息的效率。从而提高确定标注信息的效率。

【技术实现步骤摘要】
一种标注信息确定方法、装置及系统


[0001]本申请涉及人工智能
，特别是涉及一种标注信息确定方法、装置及系统。

技术介绍

[0002]在进行三维(3Dimensions，简称3D)目标检测时，可以根据摄像头采集的图像和激光雷达采集的点云数据，确定出目标物体在三维空间中的长宽高、位置坐标等信息，从而实现3D目标检测。在实际应用中，通常采用基于深度学习的3D目标检测方法来进行3D目标检测。对于这种目标检测方法，需要预先进行模型训练得到检测模型，而模型训练过程需要大量的训练数据，该训练数据包括已经进行了目标标注的点云数据和图像。
[0003]相关技术中，通常采用人工在点云数据和图像中识别目标物体的方式，确定目标物体的标注信息。
[0004]然而，由于上述模型训练过程需要大量的训练数据，人工在点云数据和图像中识别目标物体并确定目标物体的标注信息，会使得标注信息确定的速度较慢、人力成本较多、效率较低。

技术实现思路

[0005]本申请实施例的目的在于提供一种标注信息确定方法、装置及系统，以提高在图像中确定目标物体的标注信息的速度，降低人力成本，从而提高标注效率。具体技术方案如下：
[0006]第一方面，本申请实施例提供了一种标注信息确定方法，所述方法包括：
[0007]基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，所述目标场景中包括所述目标物体；
[0008]获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；
[0009]根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。
[0010]可选的，所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率，其中，所述感光器件的各个像素对应的物理尺寸相同；
[0011]所述第一位置信息包括：所述图像采集设备的光轴方向与所述目标物体之间的夹角、所述图像采集设备的中心点与所述目标物体之间的偏移量；
[0012]所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
[0013]根据所述分辨率，确定所述图像采集设备的像主点在所拍摄图像中对应的像素位置；
[0014]根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息。
[0015]可选的，所述根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
[0016]根据所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定用于描述第一映射关系的关系参数；其中，所述第一映射关系表示：所述三维标注信息与第一二维标注信息之间的对应关系，所述第一二维标注信息为：基于第一待标注图像进行标注时所述目标物体的二维标注信息；
[0017]根据所述三维标注信息和确定关系参数后的所述第一映射关系，确定所述第一二维标注信息。
[0018]可选的，所述第一映射关系满足以下关系式：
[0019][0020]其中，f表示所述图像采集设备的焦距；dx、dy表示所述物理尺寸中的物理长与物理宽；x
OI
、y
OI
表示所述像素位置在第一像素坐标系中的坐标；θ表示自身坐标系的X
W
轴与相机坐标系的X
C
轴的夹角；表示自身坐标系的原点O
W
相对于相机坐标系的原点O
C
分别在相机坐标系的X
C
、Y
C
、Z
C
轴上的偏移量；X
W
、Y
W
、Z
W
表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；所述相机坐标系为：以图像采集设备的中心点为原点O
C
，以图像采集设备的光轴为Z
C
轴建立的三维直角坐标系；所述第一像素坐标系为：以图像采集设备采集的图像的长、宽分别为X
I
、Y
I
轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；所述自身坐标系为：以包围所述目标物体的立方体的侧面上的点为原点O
W
、且Y
W
轴与相机坐标系的Y
C
平行的三维坐标系。
[0021]可选的，所述三维标注信息为：根据所述点云数据确定的三维标注点的位置，所述三维标注点为：包围所述目标物体的立方体空间的各个顶点，所述三维标注点的位置为：所述三维标注点在自身坐标系中的坐标，其中，所述自身坐标系为：用于标定所述目标物体位置的参考系；
[0022]所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
[0023]根据所述三维标注点在所述自身坐标系中的坐标、所述物理参数和所述第一位置信息，确定所述三维标注点在第一像素坐标系中对应的二维坐标，其中，所述第一像素坐标系为：以所述图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；
[0024]从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时所述目标物体的二维标注信息。
[0025]可选的，所述图像采集设备为：包括左目相机和右目相机的双目图像采集设备；
[0026]所述图像采集设备采集的图像包括：左视图和右视图；
[0027]所述第一待标注图像为：左视图或右视图；
[0028]在所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息之后，所述方法还包括：
[0029]获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；
[0030]根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻采集的图像中除所述第一待标注图像外的图像。
[0031]可选的，所述第二位置信息包括：
[0032]所述左目相机的光轴和所述右目相机的光轴之间的夹角、所述左目相机的中心点和所述右目相机的中心点之间的偏移量。
[0033]可选的，所述点云数据为三维扫描设备采集的数据。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标注信息确定方法，其特征在于，所述方法包括：基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，所述目标场景中包括所述目标物体；获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。2.根据权利要求1所述的方法，其特征在于，所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率，其中，所述感光器件的各个像素对应的物理尺寸相同；所述第一位置信息包括：所述图像采集设备的光轴方向与所述目标物体之间的夹角、所述图像采集设备的中心点与所述目标物体之间的偏移量；所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：根据所述分辨率，确定所述图像采集设备的像主点在所拍摄图像中对应的像素位置；根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：根据所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定用于描述第一映射关系的关系参数；其中，所述第一映射关系表示：所述三维标注信息与第一二维标注信息之间的对应关系，所述第一二维标注信息为：基于第一待标注图像进行标注时所述目标物体的二维标注信息；根据所述三维标注信息和确定关系参数后的所述第一映射关系，确定所述第一二维标注信息。4.根据权利要求3所述的方法，其特征在于，所述第一映射关系满足以下关系式：其中，f表示所述图像采集设备的焦距；dx、dy表示所述物理尺寸中的物理长与物理宽；x
OI
、y
OI
表示所述像素位置在第一像素坐标系中的坐标；θ表示自身坐标系的X
W
轴与相机坐标系的X
C
轴的夹角；表示自身坐标系的原点O
W
相对于相机坐标系的原点O
C
分别在相机坐标系的X
C
、Y
C
、Z
C
轴上的偏移量；X
W
、Y
W
、Z
W
表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；所述相机坐标系为：以图像采集设备的中心点为原点O
C
，以图像采集设备的光轴为Z
C
轴建立的三维直角坐标系；所述第一像素坐标系为：以图像采集
设备采集的图像的长、宽分别为X
I
、Y
I
轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；所述自身坐标系为：以包围所述目标物体的立方体的侧面上的点为原点O
W
、且Y
W
轴与相机坐标系的Y
C
平行的三维坐标系。5.根据权利要求1所述的方法，其特征在于，所述三维标注信息为：根据所述点云数据确定的三维标注点的位置，所述三维标注点为：包围所述目标物体的立方体空间的各个顶点，所述三维标注点的位置为：所述三维标注点在自身坐标系中的坐标，其中，所述自身坐标系为：用于标定所述目标物体位置的参考系；所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：根据所述三维标注点在所述自身坐标系中的坐标、所述物理参数和所述第一位置信息，确定所述三维标注点在第一像素坐标系中对应的二维坐标，其中，所述第一像素坐标系为：以所述图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时所述目标物体的二维标注信息。6.根据权利要求1所述的方法，其特征在于，所述图像采集设备为：包括左目相机和右目相机的双目图像采集设备；所述图像采集设备采集的图像包括：左视图和右视图；所述第一待标注图像为：左视图或右视图；在所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息之后，所述方法还包括：获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻采集的图像中除所述第一待标注图像外的图像。7.根据权利要求6所述的方法，其特征在于，所述第二位置信息包括：所述左目相机的光轴和所述右目相机的光轴之间的夹角、所述左目相机的中心点和所述右目相机的中心点之间的偏移量。8.根据权利要求1至7任一项所述的方法，其特征在于，所述点云数据为三维扫描设备采集的数据。9.根据权利要求8所述的方法，其特征在于，所述三维扫描设备与所述图像采集设备搭载于无人驾驶设备或机器人上。10.根据权利要求1至9任一项所述的方法，其特征在于，所述目标物体包括：目标车辆、目标行人、目标货物中的至少一种。11.根据权利要求10所述的方法，其特征在于，所述目标场景为以下至少一项：包括所述目标车辆或所述目标行人的目标街道；包括所述目标货物的目标厂区。12.一种标注信息确定装置，其特征在于，所述装置包括：三维信息获取单元，用于基于针对目标场景采集的点云数据，获取目标物体的三维标
注信息，其中，所述目标场景中包括所述目标物体；参数信息获得单元，用于获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；第一二维信息确定单元，用于根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。13.根据权利要求12所述的装置，其特征在于，所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率，其中，所述感光器件的各个像素对应的物理尺寸相同；所述第一位置信息包括：所述图像采集设备的光轴方向与...

【专利技术属性】
技术研发人员：周健，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：