一种基于PnP的3D物体标注方法及工具技术

本发明专利技术属于计算机视觉检测的技术领域，尤其涉及一种基于PnP的3D物体标注方法及工具，方法包括以下步骤：S1、设置一个将待测物体包围的三维空间框；S2、设置世界坐标系；S3、通过3D深度感知相机分别提取同一时刻或同一位置下三维空间框的RGB图和深度图，并提取两张图像中立体框对应位置显著性角点，及该角点的世界坐标和像素坐标；S4、通过引入PnP算法进行3D物体位姿求解；S5、基于获取的位姿将所有待测3D物体由深度图转换的点云数据校正与地平线平行。本申请将3D物体位姿求解问题转换为相机相对位姿求解，并根据三维空间框将不规则3D物体转换成规则3D物体进行位姿求解。体转换成规则3D物体进行位姿求解。体转换成规则3D物体进行位姿求解。

【技术实现步骤摘要】
一种基于PnP的3D物体标注方法及工具


[0001]本专利技术属于计算机视觉检测的
，尤其涉及一种基于PnP的3D物体标注方法及工具。

技术介绍

[0002]3D目标检测是一种将图像几何特征和语义特征相结合的3D分析方法，其主要包括定位和分类两个任务。通过对传感数据的处理分析，从中可以直接高效的获取特定目标物体的3D包围框，及目标物体类别、中心点位置、尺寸、方向等信息。相比于2D目标检测，3D目标检测从考虑目标物的深度信息角度出发，更能满足机器人导航避障等实际应用需求。作为一种数据驱动的技术，样本丰富的数据集将有助于提升3D目标检测网络的检测精度和泛化能力。
[0003]目前，现有的多数3D物体标注方法和标注工具仍需要通过搭建网络来进行标注，如申请号为CN202010822668.X的专利《一种基于弱标注的三维点云目标检测方法及标注工具》，因此操作复杂且不具有通用性。此外，大多数的3D物体标注方法和标注工具主要面向自动驾驶等基于激光雷达的点云数据处理，及室外汽车、行人等少数物体标注，如申请号为CN201810973255.4的专利《一种3D点云数据中物体的标注方法和装置》和申请号为202010757787.1的专利《一种3D点云数据中物体的标注方法和装置、存储介质》等，而面向室内复杂环境的基于视觉数据处理的3D物体标注方法和工具仍然有限。

技术实现思路

[0004]为了解决了上述技术问题，本专利技术提出了一种基于PnP的3D物体标注方法及工具，具体技术方案如下：
[0005]一种基于PnP的3D物体标注方法，包括以下步骤：
[0006]S1、根据待标注物体的实际尺度，设置一个将待测物体包围的三维空间框，所述三维空间框的朝向与待标注物体的朝向相同；
[0007]S2、设置世界坐标系；将三维空间框的一个角点作为世界坐标系的原点，以从原点出发的三维空间框的边作为三个坐标轴，以右手坐标系原理创建世界坐标系；
[0008]S3、通过3D深度感知相机分别提取同一时刻或同一位置下三维空间框的RGB图和深度图，并提取两张图像中立体框对应位置显著性角点，及该角点的世界坐标和像素坐标；
[0009]S4、通过引入PnP算法进行3D物体位姿求解；将三维空间框的世界坐标和像素坐标作为PnP算法的输入进行位姿求解，获取该时刻相机的位姿，进而转化为三维空间框在相机坐标系下的位姿，并根据物体实际尺度获取其3D中心点在相机坐标系下的坐标；
[0010]S5、基于获取的位姿将所有待测3D物体由深度图转换的点云数据校正与地平线平行。
[0011]具体地说，所述三维空间框为与待测物体具有相同尺度和朝向的立体框。
[0012]具体地说，步骤S3中所述三维空间框的角点用特殊颜色进行标记。
[0013]具体地说，步骤S3中所述三维空间框的角点选择不少于3个。
[0014]具体地说，所述3D深度感知相机包括可同时采集RGB图和深度图的RGB
‑
D相机和双目立体相机，或是多种传感器的组合。
[0015]具体地说，步骤S4中三维空间框在相机坐标系下的位姿为R＝[(α,β,γ)，T]；
[0016]步骤S5具体操作为：令β＝0，将点云数据的位姿*R，即获得校正后的数据。
[0017]实现上述的一种基于PnP的3D物体标注方法的工具，包括：
[0018]输入端口，输入端口输入的数据包括3D深度感知相机的内部参数、三维空间框的实际尺度信息、选择的角点、目标物体的语义属性。
[0019]具体地说，还包括存储器，用于存储所要求格式的数据集。
[0020]具体地说，所述三维空间框的实际尺度。
[0021]具体地说，所述目标物体的语义属性包括类别、颜色、操作属性、动静态属性、纹理属性。
[0022]本专利技术的优点在于：
[0023](1)本申请根据三维空间框的方式表示物体的尺度及位姿，将不规则3D物体转换成规则立体物体进行3D位姿求解。
[0024](2)通过引入PnP算法，将3D物体位姿求解问题转换为相机相对位姿求解问题来获取精确的3D位姿。
[0025](3)本申请保护实现上述方法的工具，通过限定各输入让标注结果更加简单、准确。
附图说明
[0026]图1为一种基于PnP的3D物体标注方法的流程图。
[0027]图2为基于PnP的3D物体标注方法的案例示意图。
[0028]图3为待标注物体立体框搭建案例图。
[0029]图4为待标注物体标注结果图。
具体实施方式
[0030]如图1
‑
2所示，一种基于PnP的3D物体标注方法，包括以下步骤：
[0031]S1、根据待标注物体的实际尺度，设置一个将待测物体包围的三维空间框，在本方案中以凳子为例，为了方便计算，三维空间框为立方体框，所述立方体框的朝向与待标注物体的朝向相同；可选地，所述立体框是针对具有规则立方体结构的物体，其他结构的物体可使用其他结构的框代替，比如其他多面体框。
[0032]S2、设置世界坐标系；将立方体框的一个角点作为世界坐标系的原点，以从原点出发的立体框的边作为三个坐标轴，以右手坐标系原理创建世界坐标系；具体地说，所述角点是具有显著特征且易于提取的立体框上的点，如立体框的八个角点。同时可用特殊颜色进行标记，从而增加区分度。
[0033]S3、通过3D深度感知相机分别提取同一时刻或同一位置下立体框的RGB图和深度图，并提取两张图像中立体框对应位置显著性角点，及该角点的世界坐标和像素坐标；具体地说，从八个角点中选择不少于3个。在该方案中，如图3中以3号角点为原点，以3号角点指
向2号角点为Z轴，以3号角点指向4号角点为X轴，以3号角点指向7号角点为Y轴。为了更好的提取角点，在设计立方体框时可以讲八个角点使用特殊颜色标记，如红色角点。所述3D深度感知相机包括可同时采集RGB图和深度图的RGB
‑
D相机和双目立体相机，或是多种传感器的组合实现。
[0034]S4、通过引入PnP算法进行3D物体位姿求解；将三维空间框的世界坐标和像素坐标作为PnP算法的输入进行位姿求解，获取该时刻相机的位姿，进而转化为三维空间框在相机坐标系下的位姿R＝[(α,β,γ)，T]，并根据物体实际尺度获取其3D中心点在相机坐标系下的坐标；
[0035]S5、基于获取的位姿将所有待测3D物体由深度图转换的点云数据校正与地平线平行,具体步骤为令β＝0，将点云数据的位姿*R，即获得校正后的数据。
[0036]可选地，所述3D深度感知相机包括可同时采集RGB图和深度图的RGB
‑
D相机和双目立体相机，或是多种传感器的组合实现。
[0037]可选地，所述PnP(Perspective
‑
n
‑
Points)求解方法是指利用3D和2D对应点的关系求解相机位姿问题的方法，也称之为透视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PnP的3D物体标注方法，其特征在于，包括以下步骤：S1、根据待标注物体的实际尺度，设置一个将待测物体包围的三维空间框，所述三维空间框的朝向与待标注物体的朝向相同；S2、设置世界坐标系；将三维空间框的一个角点作为世界坐标系的原点，以从原点出发的三维空间框的边作为三个坐标轴，以右手坐标系原理创建世界坐标系；S3、通过3D深度感知相机分别提取同一时刻或同一位置下三维空间框的RGB图和深度图，并提取两张图像中立体框对应位置显著性角点，及该角点的世界坐标和像素坐标；S4、通过引入PnP算法进行3D物体位姿求解；将三维空间框的世界坐标和像素坐标作为PnP算法的输入进行位姿求解，获取该时刻相机的位姿，进而转化为三维空间框在相机坐标系下的位姿，并根据物体实际尺度获取其3D中心点在相机坐标系下的坐标；S5、基于获取的位姿将所有待测3D物体由深度图转换的点云数据校正与地平线平行。2.根据权利要求1所述的一种基于PnP的3D物体标注方法，其特征在于，所述三维空间框为与待测物体具有相同尺度和朝向的立体框。3.根据权利要求1所述的一种基于PnP的3D物体标注方法，其特征在于，步骤S3中所述三维空间框的角点用特殊颜色进行标记。4.根据权...

【专利技术属性】
技术研发人员：王凡，张超凡，刘勇，张文，夏营威，高震宇，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：