点云标注方法及装置制造方法及图纸

一种点云标注方法及装置

【技术实现步骤摘要】
点云标注方法及装置、计算机可读存储介质、终端


[0001]本专利技术涉及点云目标检测
，尤其涉及一种点云标注方法及装置
、
计算机可读存储介质
、
终端
。

技术介绍

[0002]在自动驾驶领域，常常需要对激光雷达采集的场景点云进行目标检测或标注
。
通过标注场景点云中的目标对象
(
例如，行人
、
车辆
、
建筑物
、
交通标志等障碍物
)
，自动驾驶系统可以精确地定位和感知周围行驶环境，并做出相应的决策，例如，规划合适的行驶路径
、
避让障碍物等
。
研究如何提高点云中目标标注的准确度，对于提升自动驾驶的安全性至关重要
。
[0003]当前，在对点云数据进行标注时，受限于采集环境
、
传感器硬件配置
、
光成像特性等因素影响，所采集的场景点云可能会具有下述问题：
(1)
数据稀疏
。
这会导致无法准确地捕捉到目标的细节信息，特别是对于较小的物体或低反射率的表面；
(2)
噪声和离群点干扰
。
由于激光雷达可能会产生拖点
、
吸点
、
镜像反射等现象，产生异常的干扰数据；
(3)
物体遮挡或部分区域重叠问题
。
上述问题均会降低点云数据质量，进而影响后续基于点云的目标标注结果的准确度
。
[0004]考虑到点云数据的上述局限性，而图像中包含丰富的纹理和色彩，容易对目标种类和边界进行判断，但其缺少深度信息；点云数据中则包含丰富的空间信息，在对物体的三维形状
、
姿态等判断上具有优势
。
因此，现有技术中已有相关研究提出图像与点云的联合标注方法
。
[0005]但是现有的图像和点云联合标注方案，往往过分依赖于对单帧场景图像进行目标识别的结果
。
例如，直接基于单帧场景图像的目标检测框投影至点云中，以获得点云中的目标标注框
。
又如，基于单帧场景图像的目标检测框对点云初步标注的点云标注框进行修正
。
然而，由于场景图像本身的二维平面特性，其不包含现实场景中的深度信息，并且图像中目标识别
(
包括目标的类别和实际尺寸的确定
)
的准确度还很大程度受相机拍摄角度的影响
。
例如，如果建筑物上设有大型海报或大型屏幕，从相机正对建筑物拍摄获得的图像中将很难识别出建筑物这一目标
。
因此，上述这些因素都会影响到后续点云标注结果的准确度
。

技术实现思路

[0006]本专利技术实施例解决的技术问题是如何提高对场景点云中的目标进行标注的准确度
。
[0007]为解决上述技术问题，本专利技术实施例提供一种点云标注方法，包括以下步骤：确定同一时刻针对同一场景采集的场景点云和多帧场景图像，其中，每帧场景图像具有不同的拍摄角度；对所述场景点云进行目标检测，以确定至少一个初步检测框，然后将所述初步检测框分别投影至所述多帧场景图像，得到所述初步检测框在所述多帧场景图像的多个图像投影框；对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影
框相匹配的图像标注框，以得到多对相匹配的图像标注框与图像投影框，其中，各个相匹配的图像标注框指示同一目标类别；确定所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度，并对所得到的多个重叠度进行加权运算；如果加权运算结果大于或等于第一预设阈值，则将各个相匹配的图像标注框指示的目标类别作为所述初步检测框指示的待标注目标的类别，并根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框
。
[0008]可选的，对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框相匹配的图像标注框，以得到多对相匹配的图像标注框与图像投影框，包括：对每帧场景图像进行目标标注，以得到所述场景图像中的至少一个图像标注框及其指示的目标类别；对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框距离最近的图像标注框；从与所述初步检测框的各个图像投影框距离最近的图像标注框中，确定多个指示同一目标类别的图像标注框；将每个指示同一目标类别的图像标注框及其距离最近的图像投影框，作为单对相匹配的图像标注框与图像投影框
。
[0009]可选的，所述多帧场景图像采集自安装于自车车体的多个摄像机，每帧场景图像的拍摄角度用于指示采集该场景图像的摄像机的镜头朝向与自车车体朝向之间的夹角；其中，所述多帧场景图像中至少包含一对拍摄角度之和为
90
°
的场景图像
。
[0010]可选的，所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度的权重，是根据所属场景图像的拍摄角度确定的；其中，所属场景图像的拍摄角度越小，在该场景图像中的图像投影框与相匹配的图像标注框之间的重叠度的权重越大
。
[0011]可选的，所述根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框，包括：从各个相匹配的图像标注框中，选取与图像投影框之间的重叠度最大的图像标注框；将该重叠度最大的图像标注框投影至所述场景点云中，得到第一点云投影框，该第一点云投影框作为所述待标注目标的实际标注框
。
[0012]可选的，所述根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框，包括：从各个相匹配的图像标注框中，选取至少一部分图像标注框；将所述至少一部分图像标注框投影至所述场景点云中，得到每个图像标注框对应的第二点云投影框；对各个第二点云投影框的点云进行累加，并根据点云累加结果确定所述待标注目标的实际标注框
。
[0013]可选的，所述从各个相匹配的图像标注框中，选取至少一部分图像标注框，包括：选取全部所述相匹配的图像标注框；或者，从各个相匹配的图像标注框中，选取与图像投影框之间的重叠度大于等于第二预设阈值的图像标注框
。
[0014]可选的，所述方法还包括：如果所述加权运算结果小于所述第一预设阈值，则确认所述初步检测框指示的待标注目标的类别与各个相匹配的图像标注框指示的目标类别不同
。
[0015]可选的，对所述场景点云进行目标检测，以确定至少一个初步检测框，包括：对所述场景点云进行
kd
树结构转换，以得到
kd
树结构；基于所述
kd
树结构进行目标检测，以确定至少一组检测参数，所述检测参数至少包含目标中心点位置
、
尺寸以及朝向；对于每组检测参数，根据所述目标中心点位置
、
尺寸以及朝向，确定多个顶点位置；基于所述多个顶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种点云标注方法，其特征在于，包括：确定同一时刻针对同一场景采集的场景点云和多帧场景图像，其中，每帧场景图像具有不同的拍摄角度；对所述场景点云进行目标检测，以确定至少一个初步检测框，然后将所述初步检测框分别投影至所述多帧场景图像，得到所述初步检测框在所述多帧场景图像的多个图像投影框；对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框相匹配的图像标注框，以得到多对相匹配的图像标注框与图像投影框，其中，各个相匹配的图像标注框指示同一目标类别；确定所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度，并对所得到的多个重叠度进行加权运算；如果加权运算结果大于或等于第一预设阈值，则将各个相匹配的图像标注框指示的目标类别作为所述初步检测框指示的待标注目标的类别，并根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框
。2.
根据权利要求1所述的方法，其特征在于，对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框相匹配的图像标注框，以得到多对相匹配的图像标注框与图像投影框，包括：对每帧场景图像进行目标标注，以确定所述场景图像中的至少一个图像标注框及其指示的目标类别；对于所述初步检测框的每个图像投影框，在所属场景图像中确定与所述图像投影框距离最近的图像标注框；从与所述初步检测框的各个图像投影框距离最近的图像标注框中，确定多个指示同一目标类别的图像标注框；将每个指示同一目标类别的图像标注框及其距离最近的图像投影框，作为单对相匹配的图像标注框与图像投影框
。3.
根据权利要求1或2所述的方法，其特征在于，所述多帧场景图像采集自安装于自车车体的多个摄像机，每帧场景图像的拍摄角度用于指示采集该场景图像的摄像机的镜头朝向与自车车体朝向之间的夹角；其中，所述多帧场景图像中至少包含一对拍摄角度之和为
90
°
的场景图像
。4.
根据权利要求1所述的方法，其特征在于，所述初步检测框的每对相匹配的图像标注框与图像投影框之间的重叠度的权重，是根据所属场景图像的拍摄角度确定的；其中，所属场景图像的拍摄角度越小，在该场景图像中的图像投影框与相匹配的图像标注框之间的重叠度的权重越大
。5.
根据权利要求1所述的方法，其特征在于，所述根据各个相匹配的图像标注框，在所述场景点云中确定所述待标注目标的实际标注框，包括：从各个相匹配的图像标注框中，选取与图像投影框之间的重叠度最大的图像标注框；将该重叠度最大的图像标注框投影至所述场景点云中，得到第一点云投影框，该第一点云投影框作为所述待标注目标的实际标注框
。6.
根据权利要求1所述的方法，其特征在于，所述根据各个相匹配的图像标注框，在所
述场景点云中确定所述待标注目标的实际标注框，包括：从各个相匹配的图像标注框中，选取至少一部分图像标注框；将所述至少一部分图像标注框投影至所述场景点云中，得到每个图像标注框对应的第二点云投影框；对各个第二点云投影框的点云进行累加，并根据点云累加结果确定所述待标注目标的实际标注框
。7.
根据权利要求6所述的方法，其特征在于，所述从各个相匹配的图像标注框中，选取...

【专利技术属性】
技术研发人员：黄超，何泽颖，
申请(专利权)人：上海仙途智能科技有限公司，
类型：发明
国别省市：