本发明专利技术提供一种即使在制造现场中使用的通用的组装装置中也能够实施的、能够以小的计算成本识别物品的三维位置姿势的物品的三维位置姿势的识别装置以及识别方法。用照相机取得散装有多个物品的区域全体的二维图像，用距离传感器取得和照相机大体相同范围的三维信息。根据取得的三维信息，将对象空间粗略限定为可能存在应该取出的物品的空间，根据该对象空间设定用于在二维图像处理中检索物品的检索条件，根据该检索条件取得物品的图像上的二维位置信息。接着使用该二维位置信息选定要在物品的三维位置姿势的识别中使用的三维点数据，计算从照相机的焦点朝向该物品的三维空间上的视线，根据该三维点数据和视线计算物品的三维的位置姿势。
【技术实现步骤摘要】
本专利技术涉及用机器人取出物品时等中使用的、识别。
技术介绍
在使用机器人进行物品的取出的几种机器人系统中，使用在信息处理装置或者机器人控制装置上连接的摄像机或者三维视觉传感器取得关于物品的信息，用于取出物品的机器人的动作的修正或者物品的检查。作为三维视觉传感器，公知例如能够测量到被测量对象物的距离的各种距离传感器。几种距离传感器能够取得比较宽的范围的三维信息。这些距离传感器能够以距离图像或者高度图这样的形式取得照相机等摄影装置不能得到的关于物品的三维形状的信息。在公开点(spot)光扫描型三维视觉传感器的日本特开平7 - 270137号公报中，记载有“三维视觉传感器，通过组合光点投射单元和与光学式位移传感器相当的单元构成测量系统，能够高效率地进行与被测量对象物的远近、大小、形状或者必要的三维位置信息对应的自如的测量，所述光点投射单元通过二维的随机扫描控制能够高速、自由地改变投光方向，所述与光学式位移传感器相当的单元利用具有一维位置检测功能的位置检测型的检测器(PSD:Position Sensing Detector的简称。以下使用该简称)”。另外，在公开了物品形状获得方法的日本特开平9 一 196636号公报中，记载有“在使用由对于测定对象物品W照射缝隙光I的缝隙光源2和摄影上述缝隙光I的图像的照相机3组成的位置检测器I进行该位置检测器I的校准和物品形状的获得时，通过使上述位置检测器I移动预定次数，决定把上述测定对象物品W的坐标系变换为通过上述照相机3得到的图像上的坐标系的透视变换式中的照相机参数、照射上述测定对象物品W的缝隙光I的平面式中的缝隙光参数和表现上述测定对象物品W的形状的形状表现式中的模型参数，能够自动对机器人的坐标系统一进行缝隙光/照相机校准和测定对象物品W的形状数据的获得”。另外，在公开物品形状测定装置的日本特开2005 - 62063号公报中，记载有“通过投影仪2对于测定物体照射照射图形，通过照相机8摄影照射图形在测定物体I上的反射摄影图形，通过形状运算部13根据反射图形运算测定物体I的表面形状，通过可信度运算部14把照射图形的光量下限值设为Plb、把光量上限值设为Pub、把照射图形的光量设为Ia，根据Ia/(Pub — Plb)运算表示测定物体的测定可信度的对比度比，通过数据输出单元输出表面形状数据和对比度比数据，能够广泛确实地对应各种图形投影法高精度地进行检测，能够对于摄影图像的每一像素确实掌握受多重反射的影响的测定物体I的形状测定数据的可靠性”。进而在日本特开2004 - 272841号公报中公开了一种物体判别装置，该物体判别装置具有在道路的宽度方向上扫描激光脉冲的扫描单元；检测在上述扫描单元在道路的宽度方向上扫描激光脉冲时的该激光脉冲的反射光的反射光检测单兀；和使用上述扫描单兀用激光脉冲在宽度方向上扫描道路的照射定时和上述反射光检测单元检测在道路的宽度方向上扫描的激光脉冲的反射光的检测定时的时间差，取得位于由上述扫描单元进行的扫描脉冲的扫描线上的物体的高度以及宽度，判别该物体的种类的判别单元，其中，上述判别单元，如果在道路的边侧部设定的预定宽度的步行者检测区域内检测出的物体的高度以及宽度分别在预定的范围内，则判定该物体是步行者。另一方面，也公开了几种使用距离传感器识别物品的位置姿势的方法。例如在公开了物体识别装置以及机器人装置的日本特开2009 — 128191号公报中，记载有“根据本专利技术的物体识别装置，通过进行旋转图像等的特征量基础的高速定位，核对对象物体的三维形状数据(模型)和从距离传感器得到的距离数据(场景)，能够迅速地识别对象物体的三维位置姿势”。在公开了三维视觉传感器的日本特开2004 — 144557号公报中，记载有“传感器本体部Iio由在机器人40的手指部上安装的投光器130和视频摄像机30构成。投光器130在作业空间50内放置的对象物W的面上投射缝隙光131，视频摄像机30接受反射光，用图像处理装置2解析，求出具有缝隙光131的面。接着通过视频摄像机30的通常摄影取得图像，使用校准数据求出通过测量点Q的视线”。进而，公开了几种从图像检测物品的位置的方法。例如在公开了放射线图像的对位的方法的日本特开平6 - 165036号公报中，记载有“在X线图像4a上设定模板区域8、8’，在X线图像4b上设定基准区域9、9’。这里使用相关法进行使模板区域8、8’与基准区域9、9’吻合的模板匹配”。作为使用距离传感器识别物品的位置姿势的典型的方法，有在日本特开2009 -128191号公报中记载的、使从距离传感器得到的三维信息和物品的三维形状数据匹配的方法。以往提出的识别方法，一般计算成本非常高，需要具有大的处理能力的处理器和大容量的存储器。实际情况是在实用水平的短的时间内进行这样的识别处理非常困难。进而，虽然为使机器人进行适当的取出作业需要以相应的精度识别物品，但是为此必须提高从距离传感器得到的三维信息的空间密度。但是如果要提高三维信息的空间密度，则距离传感器的测量时间延长，进而与物品的三维形状数据的匹配处理的计算成本也增大，不能实现实用的取出。另外，如在日本特开2004 — 272841号公报中记载那样的、根据激光脉冲的飞行时间求出三维信息的方式的传感器一般存在其规模大、不能用实用的价格提供传感器这样的问题。基于这样的理由，在现时点，距离传感器在制造现场、特别在用机器人取出对象物的领域中尚未实用化。另一方面,如日本特开2004 — 144557号公报记载的、组合三维传感器和二维传感器的方法，不是设想利用距离传感器的方法，但是与上述的识别处理相比，能够用比较小的计算成本/存储器容量实现物品的三维位置姿势的识别。但是，在日本特开2004 — 144557号公报中表示的方法，虽然能够降低处理三维信息的计算成本，但是因为需要使用在日本特开平6 — 165036号公报中记载的二维图像从传感器的测量范围内找出物品的处理，所以后者的处理的计算成本有时增加。在日本特开平6 — 165036号公报中，公开了从二维图像识别高度或者斜率不同的对象物的二维位置的方法，但是因为需要进行把模板放大/缩小到各种尺寸的同时进行模板匹配，所以处理花费时间，难以实现实用的取出。
技术实现思路
因此，本专利技术的目的是为解决上述问题而提供一种即使在制造现场使用的通用的插入装置中也能够实施的、能够以小的计算成本识别。为实现上述目的，本申请专利技术的一种方式提供物品的三维位置姿势的识别装置，其具有:取得散装有多个同类物品的区域全体的二维图像的照相机；取得与上述照相机大体相同范围的三维信息的距离传感器；和进行通过上述照相机取得的二维图像以及通过上述距离传感器取得的三维信息的处理的信息处理装置，上述信息处理装置具有:根据上述三维信息将在上述二维图像上检索物品的图像的区域设定为检索条件的检索条件设定部；在设定的检索条件内进行上述二维图像的图像处理，检测物品的图像，取得上述二维图像上的物品的二维位置信息的二维位置取得部；根据取得的二维位置信息，求出从上述照相机朝向物品的三维空间上的视线的视线计算部；根据取得的二维位置信息或者求出的视线从上述三维信息中选定在该物品的三维位置姿势的识别中使用的第一三维点数据的三维点数据选定本文档来自技高网...
【技术保护点】
一种物品的三维位置姿势的识别装置，其特征在于，具有：取得散装有多个同类物品（22）的区域全体的二维图像的照相机（20）；取得和上述照相机（20）大体相同范围的三维信息的距离传感器（18）；和进行通过上述照相机（20）取得的二维图像以及通过上述距离传感器（18）取得的三维信息的处理的信息处理装置（16），上述信息处理装置（16）具有：根据上述三维信息将在上述二维图像上检索物品的图像的区域设定为检索条件的检索条件设定部；在设定的检索条件内进行上述二维图像的图像处理，检测物品的图像，取得上述二维图像上的物品的二维位置信息的二维位置取得部；根据取得的二维位置信息，求出从上述照相机（20）朝向物品（22）的三维空间上的视线的视线计算部；根据取得的二维位置信息或者求出的视线，从上述三维信息中选定在该物品的三维位置姿势的识别中使用的第一三维点数据的三维点数据选定部；和根据选定的第一三维点数据以及上述视线，计算物品的三维的位置以及姿势的一方或者双方的三维位置姿势计算部。
【技术特征摘要】
2011.11.08 JP 2011-2447611.种物品的三维位置姿势的识别装置，其特征在于， 具有: 取得散装有多个同类物品(22)的区域全体的二维图像的照相机(20)； 取得和上述照相机(20)大体相同范围的三维信息的距离传感器(18);和 进行通过上述照相机(20)取得的二维图像以及通过上述距离传感器(18)取得的三维信息的处理的信息处理装置(16)， 上述信息处理装置(16)具有: 根据上述三维信息将在上述二维图像上检索物品的图像的区域设定为检索条件的检索条件设定部； 在设定的检索条件内进行上述二维图像的图像处理，检测物品的图像，取得上述二维图像上的物品的二维位置信息的二维位置取得部； 根据取得的二维位置信息，求出从上述照相机(20)朝向物品(22)的三维空间上的视线的视线计算部； 根据取得的二维位置信息或者求出的视线，从上述三维信息中选定在该物品的三维位置姿势的识别中使用的第一三维点数据的三维点数据选定部；和 根据选定的第一三维点数据以及上述视线，计算物品的三维的位置以及姿势的一方或者双方的三维位置姿势计算部。2.根据权利要求1所述的物品的三维位置姿势的识别装置，其特征在于， 上述距离传感器(18)由至少一个照相机和投影图形光的装置构成，将上述距离传感器(18)的照相机中的一个兼用作二维图像取得用的照相机。3.根据权利要求1所述的物品的三维位置姿势的识别装置，其特征在于， 上述距离传感器(18)由多个照相机和投影图形光的装置构成，该图形光仅用于为了在通过上述多个照相机取得的图像间使同一被测量物彼此对应。4.根据权利要求1所述的物品的三维位置姿势的识别装置，其特征在于， 上述距离传感器(18)由至少一个照相机和投影图形光的装置构成，并使用红外光作为该图形光的光源。5.根据权利要求1所述的物品的三维位置姿势的识别装置，其特征在于， 上述检索条件设定部从通过上述距离传感器(18)取得的三维信息中选定高度值比预定的值大的第二三维点数据，求出与包含该第二三维点数据的空间对应的、通过上述照相机取得的二维图像上的区域，把在二维图像上检索物品的范围限定在该区域内。6.根据权利要求5所述的物品的三维位置姿势的识别装置，其特征在于， 上述检索条件设定部还基于根据上述预定的值决定的高度值或者包含上述选定的第二三维点数据的空间的高度值的范围，限定在二维图像上检索的物品的外观的大小的范围。7.根据权利要求1所述的物品的三维位置姿势的识别装置，其特征在于， 上述检索条件设定部从通过上述距离传感器(18)取得的三维信...
【专利技术属性】
技术研发人员：泷泽象太，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。