用于确定物体的6D位姿的方法和装置制造方法及图纸

本发明专利技术公开了一种用于确定物体的6D位姿的方法和装置。所述方法包括：通过物体的RGB

【技术实现步骤摘要】
用于确定物体的6D位姿的方法和装置


[0001]本专利技术涉及图像处理领域，特别是，涉及一种用于确定物体的6D位姿的方法和装置。

技术介绍

[0002]随着机器人的普及，在使用机器人来抓取物体、例如工件等时，通常需要机器人通过“无序抓取(bin
‑
picking)”来抓取物体。因此，精确地确定物体的6D位姿对于机器人操作的高效性和安全性至关重要。
[0003]在确定物体的6D位姿时，通常通过物体的RGB图像来估计物体的6D位姿。
[0004]例如，可通过将RGB图像输入到用于估计6D位姿的神经网络来估计物体的6D位姿。然而，由于在训练该神经网络的过程中，难以获得充足的训练数据、例如难以获得真实环境中各种6D位姿、各种背景环境下的物体的RGB图像，因此通过这种方式确定的6D位姿通常不够精确。
[0005]此外，还可通过使用RGB数据来获得物体的局部点云，进而通过局部点云来估计物体的6D位姿。然而，这种方式需要从物体的局部点云来估计物体的整体状态，即仅通过物体的局部2D图像来估计物体的3D状态进而估计物体的6D位姿，因而估计的6D位姿精确度不高。此外，这种估计6D位姿的方式的计算量较大，导致估计6D位姿的效率较低。
[0006]因此，需要能够精确且快速地确定物体的6D位姿的方式。

技术实现思路

[0007]本专利技术的目的在于提供一种用于确定物体的6D位姿的方法和装置。
[0008]根据本专利技术的一方面，提供了一种用于确定物体的6D位姿的方法，所述方法包括：通过物体的RGB
‑
D图像获得物体的RGB图像以及对应的图像点云；根据RGB图像通过预先训练的掩膜神经网络，获得与物体对应的掩膜和物体类型；根据获得的掩膜和/或物体类型，从图像点云分割出实际物体点云，并获得基于物体的3D模型的预估6D位姿点云；将所述预估6D位姿点云与实际物体点云进行匹配，以确定物体的6D位姿。
[0009]根据本专利技术的另一方面，提供了一种用于确定物体的6D位姿的装置，所述装置包括：图像处理单元，其被配置为能够通过物体的RGB
‑
D图像获得物体的RGB图像以及对应的图像点云；神经网络单元，其被配置为能够根据RGB图像通过预先训练的掩膜神经网络，获得与物体对应的掩膜和物体类型；位姿预估单元，其被配置为能够根据获得的掩膜和/或物体类型，从图像点云分割出实际物体点云，并获得基于物体的3D模型的预估6D位姿点云；位姿确定单元，其被配置为能够将所述预估6D位姿点云与实际物体点云进行匹配，以确定物体的6D位姿。
[0010]根据本专利技术的另一方面，提供了一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时，使得处理器能够实施根据本专利技术的用于确定物体的6D位姿的方法。
[0011]根据本专利技术的用于确定物体的6D位姿的方法和装置，能够基于RGB
‑
D图像使用神经网络而精确、快速地获得物体的掩膜和物体类型，从而能够根据获得的掩膜和物体类型而基于物体的原始3D模型精确地确定物体的6D位姿，提高了确定物体6D位姿的效率和精确度。
附图说明
[0012]通过以下结合附图所作的详细描述，将更全面地理解本专利技术的前述和其他方面，附图包括：
[0013]图1示出了根据本专利技术的一个示例性实施例的用于确定物体的6D位姿的方法的流程图。
[0014]图2示出了根据本专利技术的一个示例性实施例的物体的RGB图像的示例示图。
[0015]图3示出了根据本专利技术的一个示例性实施例的物体的图像点云的示例示图。
[0016]图4示出了根据本专利技术的一个示例性实施例的物体的掩膜的示例示图。
[0017]图5示出了根据本专利技术的一个示例性实施例的物体的实际物体点云的示例示图。
[0018]图6示出了根据本专利技术的一个示例性实施例的获得基于物体的3D模型的预估6D位姿点云的步骤的流程图。
[0019]图7示出了根据本专利技术的一个示例性实施例的物体的3D模型的示例示图。
[0020]图8示出了根据本专利技术的一个示例性实施例的物体的预估6D位姿点云的示例示图。
[0021]图9示出了根据本专利技术的一个示例性实施例的匹配点云的示例示图。
[0022]图10示出了根据本专利技术的一个示例性实施例的用于确定物体的6D位姿的装置的框图。
具体实施方式
[0023]为了使本专利技术所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，而不是用于限定本专利技术的保护范围。
[0024]图1示出了根据本专利技术的一个示例性实施例的用于确定物体的6D位姿的方法的流程图。
[0025]这里描述的物体可以是任意目标物体、例如需要通过机器人抓取的物体、例如工件等。
[0026]参照图1，在步骤S1，通过物体的RGB
‑
D图像获得物体的RGB图像以及对应的图像点云。
[0027]例如，可通过3D相机对目标物体、例如需要通过机器人抓取的物体进行拍摄，来获得该物体的RGB
‑
D图像。应该理解，该RGB
‑
D图像可包括该物体以及该物体所处的背景环境的信息。
[0028]RGB
‑
D图像中的RGB图像可以直接作为以上RGB图像。此外，可通过任意方式将RGB
‑
D图像中的深度图像转换为对应的点云(图像点云)。
[0029]图2示出了根据本专利技术的一个示例性实施例的物体的RGB图像的示例示图。
[0030]图2中部示出的较大的弯曲物体可以是被拍摄的目标物体，即需要确定6D位姿的物体。图2中该物体周围的背景环境中还存在多个其他物体、例如图2中示出的螺丝刀、笔等。
[0031]图3示出了根据本专利技术的一个示例性实施例的物体的图像点云的示例示图。
[0032]参照图3，图3以与图2所示的RGB图像不同的视角(即，不同于图2的拍摄视角)，示出了通过RGB
‑
D图像获得的图像点云，图3中部较大的弯曲物体是图2中的目标物体、即需要确定6D位姿的物体。
[0033]由于RGB
‑
D图像具有深度信息，因此获得的图像点云能够反应物体的立体(3D)状态，因而该图像点云可以以不同的视角被示出。
[0034]应该理解，图3以与图2不同的视角示出图像点云仅用于说明图像点云能够表示物体的立体状态，为了便于确定物体的6D位姿，通常可以以与图2相同的视角示出图像点云。
[0035]返回参照图1，在步骤S2，根据RGB图像通过预先训练的掩膜神经网络，获得与物体对应的掩膜和物体类型。
[0036]在一个实施例中，所述掩膜神经网络可以为循环卷积神经网络(例如，Mask
‑
RCNN)。通过将步骤S1获得的RG本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定物体的6D位姿的方法，所述方法包括：通过物体的RGB
‑
D图像获得物体的RGB图像以及对应的图像点云(S1)；根据RGB图像通过预先训练的掩膜神经网络，获得与物体对应的掩膜和物体类型(S2)；根据获得的掩膜和/或物体类型，从图像点云分割出实际物体点云，并获得基于物体的3D模型的预估6D位姿点云(S3)；将所述预估6D位姿点云与实际物体点云进行匹配，以确定物体的6D位姿(S4)。2.根据权利要求1所述的方法，其中，根据获得的掩膜和/或物体类型，获得基于物体的3D模型的预估6D位姿点云的步骤(S3)包括：从位姿数据库获得与获得的掩膜对应的6D位姿作为预估6D位姿(S31)；从模型数据库获得与获得的物体类型对应的物体的3D模型(S32)；将获得的3D模型光投影变换到所述预估6D位姿，以获得在所述预估6D位姿下的3D模型的点云作为所述预估6D位姿点云(S33)；其中，位姿数据库包括多个掩膜以及与所述多个掩膜分别对应的多个6D位姿，模型数据库包括分别对应于多种物体类型的物体的多个3D模型。3.根据权利要求1所述的方法，其中，根据获得的掩膜和/或物体类型，从图像点云分割出实际物体点云的步骤(S3)包括：通过获得的掩膜将图像点云分割为物体点云和背景环境点云，并将分割的物体点云作为实际物体点云。4.根据权利要求1
‑
3中任一项所述的方法，其中，将所述预估6D位姿点云与实际物体点云进行匹配，以确定物体的6D位姿的步骤(S4)包括：通过迭代最近点算法，以所述预估6D位姿点云为初始值，来将所述预估6D位姿点云匹配到实际物体点云，以获得匹配点云；将所述匹配点云所对应的6D位姿确定为物体的6D位姿。5.根据权利要求2所述的方法，其中，所述方法还包括：使用多组RGB图像作为输入数据，并使用与每组RGB图像中的每个RGB图像对应的标注掩膜和标注物体类型作为标注数据，来训练掩膜神经网络，其中，所述多组RGB...

【专利技术属性】
技术研发人员：丁凯，王炜，丁万，
申请(专利权)人：罗伯特，
类型：发明
国别省市：