位置姿势推断装置、位置姿势推断方法及记录介质制造方法及图纸

本发明专利技术提供位置姿势推断装置、位置姿势推断方法及记录介质，其在使用3D数据和2D图像两者的信息的同时，能够比现有更为提高物体的位置姿势的推断精度。三维详细位置姿势推断装置(140)具备进行三维位置姿势推断的第一位置姿势推断部(145)及第二位置姿势推断部(146)。第一位置姿势推断部(145)使用3D数据对六参数(平移x、y、z及旋转Φ、γ、θ)进行最优化，另一方面，第二位置姿势推断部(146)基于第一位置姿势推断部(145)中使用3D数据的三维位置姿势推断的结果，仅对能以2D图像高精度地推断的三参数(平移x、y及旋转θ)进行最优化。

【技术实现步骤摘要】
位置姿势推断装置、位置姿势推断方法及记录介质
本专利技术涉及推断物体的位置及姿势的位置姿势推断装置、位置姿势推断方法及程序。
技术介绍
随着近年来的机器人技术的飞跃发展，通过机器人使由人工进行的组装、加工等作业自动化的对策不断增加。在通过机器人使组装、加工自动化时，有时需要对零部件、输送物等机器人把持的物体(以下，也称为“工件”。)的位置及姿势(以下，也称为“位置姿势”。)进行推断。目前，为了推断工件的位置姿势，通过照相机对工件进行拍摄并基于得到的图像(二维图像。以下，也称为“2D图像”。)推断工件的位置姿势的各种方法被提出。专利文献1中公开了一种在推断三维形状已知的工件的位置姿势时，将由距离传感器计测得到的工件表面的三维坐标数据(3D数据)和由照相机拍摄到的图像(2D图像)的信息汇总为一个误差函数，并对六个参数(具体地，沿x、y、z轴的三个平移参数和绕x、y、z轴的三个旋转参数)进行最优化，从而推断对3D数据和2D图像两者拟合最好的工件的位置姿势的方法。需要注意的是，以下为了便于说明，将沿x、y、z轴的三个平移参数分别称为平移x、y、z，将绕x、y、z轴的三个旋转参数分别称为旋转Φ、γ、θ。专利文献1：日本特许第5393318号但是，一般地，2D图像难以显现物体大小的变化、即照相机的进深方向的变化，因此如果使用2D图像来推断工件的位置姿势，则作为照相机的进深方向的参数的平移z和旋转Φ及旋转γ的推断精度变低。因此，在如专利文献1那样还使用2D图像来推断包括照相机的进深方向的工件的位置姿势的方法的情况下，存在所推断的位置姿势在照相机的进深方向的推断精度低的问题。
技术实现思路
本专利技术鉴于以上说明的问题而提出，其目的在于提供与现有相比能够提高对于照相机的进深方向的物体的位置姿势的推断精度的位置姿势推断装置等。本专利技术的一方面所涉及的位置姿势推断装置其要点在于，是推断物体的位置姿势的推断装置，并具备：第一获取部，获取物体的二维图像；第二获取部，获取表示物体的三维形状的三维模型；第三获取部，获取表示对物体推断出的更新前的位置姿势的位置姿势信息；第二位置姿势推断部，使用三维模型和二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴方向各自的平移以及以与该x轴和y轴正交的z轴为中心的旋转，对位置姿势信息进行更新；以及输出部，将由更新后的位置姿势信息表示的位置姿势作为物体的位置姿势而输出。根据这样的结构，第二位置姿势推断部在接收到表示对物体推断出的更新前的位置姿势的位置姿势信息时，仅对能够以二维图像高精度地推断的x轴及y轴方向各自的平移(即平移x、y)和以与x轴及y轴正交的z轴为中心的旋转(即，旋转θ)进行最优化。由此，能够将使用二维图像的三维位置姿势推断的缺点、即无法高精度地对照相机的进深方向的位置(即，平移z)和旋转(即，旋转Φ及旋转γ)这三参数进行推断的现有方法的问题防范于未然，与现有相比，能够提高对照相机的进深方向的物体的位置姿势的推断精度。在上述结构中，也可以是以下方式：第二位置姿势推断部具备：二维模型生成部，生成基于位置姿势信息将三维模型投影到与二维图像共同的平面而得的二维模型；最优化部，通过进行二维图像和二维模型的对位，从而对x轴和y轴方向各自的平移参数以及以z轴为中心的旋转参数进行最优化；以及更新部，使用经最优化的三个参数，对位置姿势信息进行更新。在上述结构中，也可以是以下方式：还具备：第四获取部，获取表示对物体计测得到的物体表面的三维坐标的三维坐标数据；以及第一位置姿势推断部，通过使用三维模型和三维坐标数据进行对位来更新位置姿势信息，由第三获取部获取到的位置姿势信息被输入第一位置姿势推断部，经第一位置姿势推断部更新后的位置姿势信息被传送到第二位置姿势推断部。在上述结构中，也可以是以下方式：还具备：第四获取部，获取表示对物体计测得到的物体表面的三维坐标的三维坐标数据；以及第一位置姿势推断部，通过使用三维模型和三维坐标数据进行对位来更新位置姿势信息，经第二位置姿势推断部更新后的位置姿势信息被输入第一位置姿势推断部，经第一位置姿势推断部更新后的位置姿势信息被传送到输出部。在上述结构中，也可以是以下方式：还具备：第四获取部，获取表示对物体计测得到的物体表面的三维坐标的三维坐标数据；以及第一位置姿势推断部，通过使用三维模型和三维坐标数据进行对位来更新位置姿势信息，由第三获取部获取到的位置姿势信息被分别传送到第一及第二位置姿势推断部，经第一及第二位置姿势推断部分别更新后的位置姿势信息被传送到所述输出部，输出部基于经第一及第二位置姿势推断部更新后的各位置姿势信息输出物体的位置姿势。在上述结构中，也可以是以下方式：第一位置姿势推断部在进行对位时，以使与三维坐标数据的各点对应的三维模型的各点接近对应的三维坐标数据的各点的方式，对x轴、y轴和z轴方向各自的平移参数以及以x轴、y轴和z轴为中心的各旋转参数进行最优化，并使用经最优化的六个参数，对位置姿势信息进行更新。在上述结构中，也可以是以下方式：第一位置姿势推断部在进行对位时，以使与三维坐标数据的各点对应的三维模型的各点接近对应的三维坐标数据的各点的方式，对z轴方向的平移参数以及以x轴和y轴为中心的各旋转参数进行最优化，并使用经最优化的三个参数，对位置姿势信息进行更新。本专利技术也可以作为位置姿势推断方法、以及存储有用于使计算机推断物体的位置姿势的程序的记录介质而实现。根据本专利技术，能够在使用3D数据和2D图像两者的信息的同时，比现有更为提高工件的位置姿势的推断精度。附图说明图1是示出物体识别装置的整体结构的图。图2是示出物体识别装置的硬件结构的图。图3是示出图像处理装置的结构的图。图4是示出第一对位处理的流程图。图5是示出第二对位处理的流程图。图6是例示了工件的位置姿势的图。附图标记说明：1物体识别装置2工件3托盘4PLC10图像处理装置113D传感器11a照相机12显示器13鼠标14存储卡120模板创建装置130三维粗略位置姿势识别装置140三维详细位置姿势推断装置141图像获取部1423D模型获取部143更新前位置姿势获取部144照相机参数获取部145第一位置姿势推断部146第二位置姿势推断部147三维对位结果输出部。具体实施方式下面，参照附图，对本专利技术的实施方式进行详细说明。A.本实施方式A-1.应用例参照图1，对应用本专利技术的场景的一例进行说明。物体识别装置1是设置于具备拣选系统的生产线等上，使用从照相机11a取入的图像，通过模板匹配来识别托盘3上的物体2的位置/姿势(三维的物体识别)的系统。在托盘3上零散地堆积着识别对象的物体(即，工件)2。物体识别装置1以规定的时间间隔从照相机11a取入图像，通过图像处理装置10执行识别图像中包含的各工件2的位置及姿势的处理，并将其结果输出到例如PLC(可编程逻辑控制器)4、显示器12等。作为物体识别装置1的输出的识别结果例如被用于拣取机器人的控制、加工装置或打印装置的控制、工件2的检查或计测等。A-2.硬件结构参照图2，对物体识别装置1的硬件结构进行说明。物体识别装置1大致由3D传感器11和图像处理装置10构成。3D传感器11是用于对工件2进行三维计测的传感器，具备照相机11a。照相机11a是用于将工件2的数字图像取入本文档来自技高网...

【技术保护点】
1.一种位置姿势推断装置，推断物体的位置姿势，所述位置姿势推断装置具备：第一获取部，获取所述物体的二维图像；第二获取部，获取表示所述物体的三维形状的三维模型；第三获取部，获取表示对所述物体推断出的更新前的位置姿势的位置姿势信息；第一位置姿势推断部，使用所述三维模型和所述二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴的方向各自的平移以及以与所述x轴和所述y轴正交的z轴为中心的旋转，对所述位置姿势信息进行更新；以及输出部，将由更新后的所述位置姿势信息表示的位置姿势作为所述物体的位置姿势而输出。

【技术特征摘要】
2017.12.19 JP 2017-2428101.一种位置姿势推断装置，推断物体的位置姿势，所述位置姿势推断装置具备：第一获取部，获取所述物体的二维图像；第二获取部，获取表示所述物体的三维形状的三维模型；第三获取部，获取表示对所述物体推断出的更新前的位置姿势的位置姿势信息；第一位置姿势推断部，使用所述三维模型和所述二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴的方向各自的平移以及以与所述x轴和所述y轴正交的z轴为中心的旋转，对所述位置姿势信息进行更新；以及输出部，将由更新后的所述位置姿势信息表示的位置姿势作为所述物体的位置姿势而输出。2.根据权利要求1所述的位置姿势推断装置，其中，所述第一位置姿势推断部具备：二维模型生成部，生成基于所述位置姿势信息将所述三维模型投影到与所述二维图像共同的平面而得的二维模型；最优化部，通过进行所述二维图像和所述二维模型的对位，从而对所述x轴和所述y轴的方向各自的平移参数以及以所述z轴为中心的旋转参数进行最优化；以及更新部，使用经最优化的三个参数，对所述位置姿势信息进行更新。3.根据权利要求1所述的位置姿势推断装置，其中，所述位置姿势推断装置还具备：第四获取部，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及第二位置姿势推断部，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，由所述第三获取部获取到的位置姿势信息被输入所述第二位置姿势推断部，经所述第二位置姿势推断部更新后的位置姿势信息被传送到所述第一位置姿势推断部。4.根据权利要求1所述的位置姿势推断装置，其中，所述位置姿势推断装置还具备：第四获取部，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及第二位置姿势推断部，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，经所述第一位置姿势推断部更新后的位置姿势信息被输入所述第二位置姿势推断部，经所述第二位置姿势推断部更新后的位置姿势信息被传送到所述输出部。5.根据权利要求1所述的位置姿势推断装置，其中，所述位置姿势推断装置还具备：第四获取部，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及第二位置姿势推断部，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，由所述第三获取...

【专利技术属性】
技术研发人员：服部宏祐，小西嘉典，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP