【技术实现步骤摘要】
本专利技术实施例涉及计算机视觉和图像处理领域，具体来说，涉及一种6d数据集构建方法及装置。
技术介绍
1、近年来，随着计算机视觉算法不断发展，人们开始使用二维视觉图像辅助算法作为分析问题和解决问题的方法，尤其在一些工件检测上具有相对广泛的应用，由于在二维领域中深度、尺寸等物理世界信息的缺失，导致了对周围环境的检测过程中存在明显的局限性。因此，三维传感器在计算机视觉领域的需求被提出，三维成像技术也不断的发展。三维领域的计算机视觉逐渐成为研究热点，而6d位姿估计在三维领域中也成为了一个新兴的发展方向。
2、在实际应用中，为了能够准确的实现物体的6d位姿估计，首先需要能精确的识别物体。相比于得到物体的目标框，分割有助于在后续的6d位姿估计中更精确的定位物体，二维图像的分割研究已相对成熟，基于rgb数据和深度数据的协同处理是现在研究的难点问题。通过分割得到物体的掩模，然后才能够实现物体的6d位姿估计，物体的6d位姿估计在未来的工业机器人、协作机器人、人形机器人、无人驾驶等方面将具有无可限量的研究价值。
3、目前，数据集的标注信息主要包括场景中每个物体的类别和三维位姿；在实际数据集建设时，现有技术主要采用传统人工标注和3d max建模，效率较低。
技术实现思路
1、基于现有技术的上述情况，本专利技术实施例的目的在于提供一种6d数据集构建方法及装置，利用图像数据和位姿变换矩阵对目标物体进行三维重建，并利用三维重建的结果通过倒推方法得到标注的数据集，提高了6d数据集的构建
2、为达到上述目的，根据本专利技术的第一个方面，提供了一种6d数据集构建方法，包括步骤：
3、获取目标物体的图像数据，所述图像数据包括以预定帧速对齐的rgb图像数据、深度图像数据和相机内参数据；
4、基于所述rgb图像数据，构建位姿变换矩阵；
5、基于所述图像数据和位姿变换矩阵对目标物体进行三维重建；
6、根据三维重建的结果生成6d姿态标注框。
7、进一步的，获取目标物体的图像数据，包括：
8、将目标物体设置于转盘上，使二维码标签均匀分布于目标物体周围；
9、启动转盘自转，采用固定相机以预定速度记录对齐后的rgb图像数据、深度图像数据和相机内参数据。
10、进一步的，基于所述图像数据和位姿变换矩阵对目标物体进行三维重建，包括：
11、基于所述rgb图像数据和相机内参数据，得到每一帧图像数据中目标物体的原始点云；
12、利用所述位姿变换矩阵对第一帧至第n-1帧图像数据的原始点云进行变换，以将第一帧至第n-1帧图像数据的原始点云变换至第n帧图像数据的点云坐标系；
13、对变换后的图像数据进行点云融合，得到位于第n帧图像数据的点云坐标系下的目标物体点云。
14、进一步的，所述方法还包括：
15、基于所述图像数据和位姿变换矩阵对目标物体的场景进行三维重建。
16、进一步的，基于所述图像数据和位姿变换矩阵对目标物体的场景进行三维重建，包括：
17、结合深度图像数据和相机内参数据得到场景的原始点云，重建得到第一场景；
18、检测第一帧rgb图像数据中二维码标签角点的像素坐标，并根据所述像素坐标索引得到角点的空间坐标；
19、基于所述空间坐标，利用最小二乘方法拟合出第二平面；
20、将所述第二平面融合至第一场景。
21、进一步的，根据三维重建的结果生成6d姿态标注框，包括：
22、根据生成的目标物体点云生成包围框；
23、获取所述包围框八个角以及中心点的三维坐标；
24、根据位姿变换矩阵倒推得到第一帧至第n-1帧的包围框标签。
25、根据本专利技术的另一个方面，提供了一种6d数据集构建装置，包括：
26、图像数据获取模块，用于获取目标物体的图像数据，所述图像数据包括以预定帧速对齐的rgb图像数据、深度图像数据和相机内参数据；
27、位姿变换矩阵构建模块，用于基于所述rgb图像数据，构建位姿变换矩阵；
28、三维重建模块，用于基于所述图像数据和位姿变换矩阵对目标物体进行三维重建；
29、标注框生成模块，用于根据三维重建的结果生成6d姿态标注框。
30、进一步的，所述图像数据获取模块获取目标物体的图像数据，包括：
31、将目标物体设置于转盘上，使二维码标签均匀分布于目标物体周围；
32、启动转盘自转，采用固定相机以预定速度记录对齐后的rgb图像数据、深度图像数据和相机内参数据。
33、进一步的，所述三维重建模块基于所述图像数据和位姿变换矩阵对目标物体进行三维重建，包括：
34、基于所述rgb图像数据和相机内参数据，得到每一帧图像数据中目标物体的原始点云；
35、利用所述位姿变换矩阵对第一帧至第n-1帧图像数据的原始点云进行变换，以将第一帧至第n-1帧图像数据的原始点云变换至第n帧图像数据的点云坐标系；
36、对变换后的图像数据进行点云融合，得到位于第n帧图像数据的点云坐标系下的目标物体点云。
37、进一步的，所述标注框生成模块根据三维重建的结果生成6d姿态标注框，包括：
38、根据生成的目标物体点云生成包围框；
39、获取所述包围框八个角以及中心点的三维坐标；
40、根据位姿变换矩阵倒推得到第一帧至第n-1帧的包围框标签。
41、综上所述，本专利技术实施例提供了一种6d数据集构建方法及装置，所述方法包括：获取目标物体的图像数据，所述图像数据包括以预定帧速对齐的rgb图像数据、深度图像数据和相机内参数据；基于所述rgb图像数据，构建位姿变换矩阵；基于所述图像数据和位姿变换矩阵对目标物体进行三维重建；根据三维重建的结果生成6d姿态标注框。本专利技术实施例提供的技术方案，通过xmem方法得到目标物体的掩码，从而从整个场景中得到三维空间的目标物体模型，不需要使用其他建模软件进行物体建模，也不需要在泊松重建之前，手动剪裁得到目标物体点云，实现目标物体点云的自动化获取，并且可以同时得到多个目标物体模型，提高了掩码获取的效率；使用倒推的方法得到标注数据，使得标注框的获取更加稳定和快速，免去使用物体模型一帧一帧匹配标注，并且可实现多个物体同时标注，进一步提高了数据集构建的效率。
本文档来自技高网...【技术保护点】
1.一种6D数据集构建方法，其特征在于，包括步骤：
2.根据权利要求1所述的方法，其特征在于，获取目标物体的图像数据，包括：
3.根据权利要求2所述的方法，其特征在于，基于所述图像数据和位姿变换矩阵对目标物体进行三维重建，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，基于所述图像数据和位姿变换矩阵对目标物体的场景进行三维重建，包括：
6.根据权利要求5所述的方法，其特征在于，根据三维重建的结果生成6D姿态标注框，包括：
7.一种6D数据集构建装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，所述图像数据获取模块获取目标物体的图像数据，包括：
9.根据权利要求8所述的装置，其特征在于，所述三维重建模块基于所述图像数据和位姿变换矩阵对目标物体进行三维重建，包括：
10.根据权利要求9所述的装置，其特征在于，所述标注框生成模块根据三维重建的结果生成6D姿态标注框，包括：
【技术特征摘要】
1.一种6d数据集构建方法，其特征在于，包括步骤：
2.根据权利要求1所述的方法，其特征在于，获取目标物体的图像数据，包括：
3.根据权利要求2所述的方法，其特征在于，基于所述图像数据和位姿变换矩阵对目标物体进行三维重建，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，基于所述图像数据和位姿变换矩阵对目标物体的场景进行三维重建，包括：
6.根据权利要求5所述...
【专利技术属性】
技术研发人员：吴波，战秋成，郑随兵，
申请(专利权)人：睿尔曼智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。