确定场景中的对象的三维姿态的方法和系统技术方案

本发明专利技术涉及确定场景中的对象的三维姿态的方法和系统。根据在改变包括多个对象的场景中的照明时所获取的所述场景的一组图像确定多个深度边缘。连接所述深度边缘来形成多个轮廓。根据所述轮廓来将所述图像划分成多个区域。使用所述区域来构造遮挡图。所述遮挡图包括代表场景中的未被遮挡对象的未被遮挡区域的源节点。将与所述未被遮挡区域相关的轮廓与所述多个对象的一组廓影进行比较，其中，每一个廓影都具有已知姿态。选择最佳匹配的廓影的已知姿态作为所述未被遮挡对象的姿态。

【技术实现步骤摘要】

本专利技术总体上涉及三维对象的检测和识别，更具体地说，涉及确定对象的姿态(pose)。本方法的实际输出(即，对象的姿态)使得能够进 行多种有用的应用，尤其是用于制造现场(setting)的料箱提取机械(bin picking machine)。
技术介绍
工业机器人通常被设计用来以高准确度和高精确度来重复执行相同 任务。在多种工业应用中(诸如制造和装配中)，机器人用于从料箱中 '提取'零件(零件获取)，并以正确的位置和方向(姿态)来放置这 些零件，用于后续处理。机器人依赖于要提取的零件的一致姿态。任何偏差都会导致机器人 或者零件的损坏，这会增加成本。通常，定制设计的机械及机电系统用 于以特定的姿态向机器人供给零件。在有些情况下，零件是由人工预先 定位的，使得机器人能够容易地提取零件。最近，计算机视觉技术已经被用于使零件定位及提取的过程自动化。 大多数传统的自动化技术只能提取单个非封闭(non-occluding)零件，或 者彼此间隔放置的零件(例如，零散地分散在传送带上的零件)。虽然一些视觉辅助系统能够提取堆叠(stacked)的零件，但是这只 能在使用复杂的机械系统或者人工干预的情况下实现。大多数视觉辅助 系统缺乏可靠性、准确度和鲁棒性，并且使用昂贵的视觉传感器和硬件。 当零件被随机放置、被以随意的方式彼此上下放置成一堆或放置在料箱 中时，传统的视觉辅助系统缺乏三维零件获取的能力。三维姿态估计及零件获取的问题是公知的。手工零件获取包括人工 地进行获取、放置以进行装配。对于对沉重的零件进行工作的人是存在风险的。另外，要求人类操作者具备特定水平的一系列技巧。期望通过 取代人类操作者来降低成本。自动的零件获取系统通常使用机电装置，诸如装备有特别设计的用于提取零件的抓取器(gmsper)的机械手。然而，机器人需要了解要提 取零件的姿态。诸如精确固定(precision fixturing)的一些方法能够用于 以特定的姿态将零件递交给机械手。这些系统是昂贵的，缺乏互操作性 (即，需要针对特定的零件专门地设计这些系统)，而且不能处理成箱的 随机堆叠的零件。计算机视觉系统能够用于确定对象的姿态。这些系统通常使用一个 或更多个照相机。能够对由这些照相机所获取的图像进行分析，以对这 些对象进行定位，并为机械手提供用于进行后续操作的反馈。大多数视 觉系统是二维的，并且只能用于二维的任务，诸如检查和简单的零件获 取。那些系统只能够确定该零件在平面内的方向和位置，但是不能确定 在平面外的任何旋转和到该零件的距离。通常，那些二维系统要求零件 没有交叠，并且放置在平坦的表面上。所以，那些系统不能对成堆(pile) 的随机放置的对象进行操作。一些系统通过使得到该对象的距离基于在图像中该对象的尺寸，来 改进二维视觉系统。但是，那些2.5维系统不能估计平面外的旋转，而且 它们的距离估计通常不可靠。三维视觉系统通常使用传感器来估计场景(scene)的三维几何尺寸。 立体(stereo)系统使用两个照相机来估计到对象的距离。首先，相应的 特征都位于立体图像中。这些照相机之间的几何关系能够用于识别这些 特征的深度(距离)。然而，对相应的特征进行定位本身就是一个挑战性 的问题，尤其是对于在外表上通常具有高反射性并相似(homogeneous) 的机器零件。如果图像关于特征是嘈杂的，则立体系统可能会错误地估 计深度。立体系统的另一个问题在于，只针对特征、而不是覆盖整个对 象来恢复深度。所降低的准确度不足以进行准确的料箱提取。激光三角测量(triangulation)使用结构光(structured light)来生成 其全部图像都通过照相机获取的对象表面的模型(pattem)。激光三角测量能够恢复该对象表面的三维形状。这种技术例如已经被用于包括对柔性的且尺寸不稳定的零件进行焊接(wdding)、密封(sealing)、胶浆淀 积(glue deposition )、研磨(grinding )、水射流切割(waterjet cutting )以 及去毛剌(deburring)的边缘跟踪(edge tracking)的应用。激光三角测量要求图像配准(image registration),并考虑阴影 (shadow)和遮挡(occlusion)。那些系统对于一般、随机的料箱提取应 用还不够完善。另外，当在人类操作者附近设置激光时经常会引起安全 问题。
技术实现思路
本专利技术的实施方式提供一种用于检测和识别在场景中的对象的系统 和方法。此外，这些实施方式确定了各个对象的三维姿态。这里将姿态 定义为对象的三维位置和方向。在实际应用的示例中，这些对象在料箱中彼此上下成堆。距离照相 机最近的对象位于堆的顶部，并且能够从料箱中被提取出来而不干扰其 它对象。当使用光源对该场景进行照明时，照相机获取该场景的图像。光源 投下阴影。这些阴影用于获得该场景中的对象的深度边缘和阴影边缘。 使用深度边缘与阴影边缘之间的物理及几何约束来将这些深度边缘连接 起来，得到闭合轮廓(contour)。这些轮廓用于将该图像场景划分成多个 区域。构造一个"遮挡图(occlusiongraph)"。该图针对每个所划分的区域 都具有一个节点。如果与一个节点相关的区域将阴影投到(遮挡)与另 一节点相关的区域上，则将这两个节点通过边(edge)连接起来。遮挡 图标识出该场景中的未被遮挡对象。未被遮挡对象对应于该堆顶部的对 象，该对象具有完整的连接轮廓。使用这些对象的三维计算机辅助设计(CAD)模型来生成对象廓影 (silhouette)的数据库(存储器)。这些廓影针对不同的视角。该数据库 还包括针对不同视角的该对象的部分廓影。这些廓影也表示为深度边缘。对该遮挡图进行遍历以找到潜在的候选未被遮挡对象。将顶层(未 遮挡)对象的轮廓与该数据库的这些廓影进行匹配，以估计该未被遮挡 对象的三维位置和方向(三维姿态)。可以将所估计的三维姿态与机械手一起用于多种机器人任务，包括 用于处理或装配的零件获取。该系统使得能够进行没有约束的三维料箱 提取。附图说明图1是示出根据本专利技术实施方式的定位和提取对象的系统和方法的框图2是示出根据本专利技术实施方式的一个对象及该对象所投下阴影的 示意图；以及图3是示出根据本专利技术一个实施方式的遮挡图。具体实施方式 系统结构图1示出了根据本专利技术实施方式的定位和提取对象的系统和方法。 在本专利技术的一个实施方式中，这些对象在外观和形状上相似。在另一实 施方式中，这些对象不同。料箱101装有机器人103要提取的对象102。由多个光源104对该 料箱进行照明。这些光源在该料箱上投下多个阴影。照相机105获取110 当照明发生变化时该料箱中的这些对象的一组(多个)图像lll。例如， 如图2中所示，根据光源104的位置，阴影201-202可以是对象102的任确定120由于图像111中的阴影201-202而造成的深度边缘121及 阴影边缘122。连接深度边缘121以形成130经连接的轮廓131。这些轮 廓用于将该图像划分140成多个区域141。然后，将这些区域141用于构 造150遮挡图151。该图用于对预先存储在数据库(存储器)162中的廓影161进行定位160。这些廓影也采用深度边缘的形本文档来自技高网...

【技术保护点】
一种用于确定场景中的对象的三维姿态的方法，该方法包括以下步骤：　在变化包括多个对象的场景中的照明时根据所获取的所述场景的一组图像确定多个深度边缘；　连接所述深度边缘，来形成多个轮廓；　根据所述轮廓来将所述图像划分成多个区域；　使用所述区域来构造遮挡图，其中，所述遮挡图包括源节点，该源节点代表在所述场景中的未被遮挡对象的未被遮挡区域；　将与所述未被遮挡区域相关的轮廓与所述多个对象的一组廓影进行比较，其中，每一个廓影都具有已知的姿态；以及　选择最佳匹配的廓影的已知姿态，作为所述未被遮挡对象的姿态。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：阿米特K阿格拉瓦尔，拉梅什拉什卡尔，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]