一种在三维重建辅助下进行点云中物体快速标注的方法技术

本发明专利技术涉及人工智能领域，具体涉及一种在三维重建辅助下进行点云中物体快速标注的方法，在获取待标注的RGB

【技术实现步骤摘要】
一种在三维重建辅助下进行点云中物体快速标注的方法


[0001]本专利技术涉及人工智能领域，具体涉及一种在三维重建辅助下点云中物体快速标注的方法。

技术介绍

[0002]监督学习仍然是深度学习算法的主流方法之一，它对数据的需求非常大，需要大量的标记样本进行训练和评估。例如流行的目标检测算法yolov4，yoloX使用大约40GB数据集MS COCO进行训练，实现从RGB图像中检测物体。3D物体检测如VoteNet，Group
‑
Free使用SUN RGB
‑
D数据集进行训练，获得从点云中检测3D物体的能力。同样，庞大的数据集Nuscene也用以支持自动驾驶智能算法的研究。
[0003]除了公共数据集之外，算法在某些特定行业的应用还需要准备特定任务相关的数据集。众包是目前比较流行的一种方法，众包将很多人同时组织起来进行人工标注工作，最后所有完成标记的样本构成最终的数据集，但这项工作费时并且成本昂贵。
[0004]针对这一问题，提高标注的效率至关重要。一类方法利用无监督或弱监督学习来加速物体注释。通过一种无监督的方法从RGB样本中提取特征，基于这些特征人工注释一小部分样本，然后将标签传播到其他未标记的RGB样本中。此外，为了降低在点云中标注物体的难度，现有的一种方式是通过标注对齐后的RGB图像中的物体，间接实现点云的标注。其过程是只在RGB图像上标注物体的2D方框，然后运行一个自动标注器，可以从2D方框导出的子点云中自动估计出一个高质量的3D方框，从而实现对自动驾驶使用的点云中物体的自动标注。
[0005]虽然上述已有方法中有其自身的优点，但是一般室内场景RGB
‑
D样本采集密集，相邻采集位置的视野重叠明显，环境中的同一物体会在多个RGB
‑
D样本的视野中重复出现。这种情况下，传统的物体标注需要在多个RGB
‑
D样本中多次标注同一物体，大大增加了非必要的人工标注的成本。

技术实现思路

[0006]有鉴于此，为了解决上述技术问题，本专利技术提供一种在三维重建辅助下进行点云中物体快速标注的方法。
[0007]本专利技术采用以下技术方案：
[0008]一种在三维重建辅助下进行点云中物体快速标注的方法，包括如下步骤：
[0009]获取待标注的RGB
‑
D样本序列；
[0010]根据RGB
‑
D样本采集位置序列构建SE(3)位姿图，并利用RGB
‑
D样本之间的匹配关系构建采样位置之间的空间约束，进而优化SE(3)位姿图，得到RGB
‑
D样本优化后的采集位置序列；基于优化后的采集位置序列，将RGB
‑
D样本序列融合为全局3D地图；
[0011]采用人工标注的方式，在全局3D地图中进行物体标注；
[0012]根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐
标中的位姿，得到在每个采集位置，即RGB
‑
D样本下各物体的位姿，进而与物体类别和尺寸一起构成RGB
‑
D样本下的物体标签。
[0013]进一步地，在所述获取待标注的RGB
‑
D样本序列之后，所述点云中物体快速标注方法还包括：通过构建和优化SE(3)位姿图，实现对环境的三维重建。
[0014]进一步地，所述根据RGB
‑
D样本采集位置序列构建SE(3)位姿图，包括：
[0015]SE(3)位姿图具体如下：
[0016][0017][0018]其中，和ε分别是顶点Vertex和边Edge的缩写；是SE(3)位姿图中待优化的变量，是所有RGB
‑
D样本的采集位置序列；ε是优化问题的约束集，每个约束表示两个顶点s
*
和点之间的空间约束；设定RGB
‑
D样本序列Q＝{f
i
|i＝1
…
n}，其中f
i
是一个RGB
‑
D样本，包括一个RGB彩色图像I
i
和一个与深度图像等价的3D点云D
i
,f
i
＝(I
i
,D
i
)；采集位置序列为P＝{s
i
∣i＝0,
…
,n}，s
i
是一个3D空间6自由度位置和姿态点，用SE(3)变量表示。
[0019]进一步地，所述利用RGB
‑
D样本之间的匹配关系构建采样位置之间的空间约束，进而优化SE(3)位姿图，得到RGB
‑
D样本优化后的采集位置序列，包括：
[0020]通过点云配准确定采集位置之间的空间约束：
[0021][0022]其中，<p,q>表示D
★
和之间的点对，s
′
＊
和分别是s
★
和的初始值，作为变量e的初始值；
[0023]通过下面的方程预测采集位置s
★
和之间的偏移量：
[0024][0025]根据上述空间约束条件和预测偏移量，得到SE(3)位姿图的优化目标如下：
[0026][0027][0028]其中，X＝{s1,s2,
…
,s
n
}是待优化参数的向量，每个为一个误差项的信息矩阵；使用g2o解决上述优化问题并获得优化的采集点
[0029]进一步地，所述基于优化后的采集位置序列，将RGB
‑
D样本序列融合为全局3D地图，包括：
[0030]将所有RGB
‑
D样本转换到世界坐标系中：
[0031][0032]所有RGB
‑
D样本都表示在同一个世界坐标系中，共同构成了环境的3D地图M:
[0033][0034][0035]进一步地，所述采用人工标注的方式，在全局3D地图中进行物体标注，包括：
[0036]将上述三维地图M载入进行物体标注的软件，并进行人工物体标注，对于任意一个物体o
j
，物体形状用一个3D bounding box(3D
‑
BBox)表示，物体标签格式如下：
[0037][0038]其中，c
j
是物体的类别，S
j
＝[w
j
,l
j
,h
j
]是3D
‑
BBox的大小，BBox的大小，是物体在世界坐标系中的位姿。
[0039]进一步地，所述根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐标中的位姿，即得到各样本中各物体的位姿，进而获得与RGB
‑
D样本相对应的物体标签，包括：
[0040]采用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，包括如下步骤：获取待标注的RGB
‑
D样本序列；根据RGB
‑
D样本采集位置序列构建SE(3)位姿图，并利用RGB
‑
D样本之间的匹配关系构建采样位置之间的空间约束，进而优化SE(3)位姿图，得到RGB
‑
D样本优化后的采集位置序列；基于优化后的采集位置序列，将RGB
‑
D样本序列融合为全局3D地图；采用人工标注的方式，在全局3D地图中进行物体标注；根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐标中的位姿，得到在每个采集位置，即RGB
‑
D样本下各物体的位姿，进而与物体类别和尺寸一起构成RGB
‑
D样本下的物体标签。2.根据权利要求1所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，在获取所述待标注的RGB
‑
D样本序列之后，所述点云中物体快速标注方法第一步：通过构建和优化SE(3)位姿图，实现对环境的三维重建。3.根据权利要求1或2所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述根据RGB
‑
D样本采集位置序列构建SE(3)位姿图，包括：SE(3)位姿图具体如下：其中，和ε分别是顶点Vertex和边Edge的缩写；是SE(3)位姿图中待优化的变量，是所有RGB
‑
D样本的采集位置序列集合；ε是优化问题的约束集，每个约束表示两个顶点s
*
和点之间的空间约束；设定RGB
‑
D样本序列Q＝{f
i
|i＝1
…
n}，其中f
i
是一个RGB
‑
D样本，包括一个RGB彩色图像I
i
和一个与深度图像等价的3D点云D
i
,f
i
＝(I
i
,D
i
)；采集位置序列为P＝{s
i
∣i＝0,
…
,n}，s
i
是一个3D空间6自由度位置和姿态点，用SE(3)变量表示。4.根据权利要求3所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述利用RGB
‑
D样本之间的匹配关系构建采样位置之间的空间约束，进而优化SE(3)位姿图，得到RGB
‑
D样本优化后的采集位置序列，包括：通过点云配准确定采集位置对之间的空间约束：其中，〈p,q〉表示D
★
和之间的点对，s
′
＊
和分别是s
＊
和的初始值，作为变量e的初始值；通过下面的方程预测采集位置s
★
和之间的偏移量：根据上述空间约束条件和预测偏移量，得到SE(3)位姿图的优化目标如下：
其中，X＝{s1,s2,
…
,s
n
}是待优化参数的向量，每个为一个误差项的信息矩阵；使用g2o解决上述优化问题并获得优化的采集位置序列5.根据权利要求4所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述基于优化后的采集位置序列X
*
...

【专利技术属性】
技术研发人员：郭帅，石磊，闻媛，胡亚洲，刘起东，姜晓恒，徐明亮，
申请(专利权)人：郑州大学，
类型：发明
国别省市：