图像处理装置和图像处理方法制造方法及图纸

本发明专利技术的图像处理装置具备：模型图案存储部，其存储由多个模型特征点构成的模型图案；图像数据获取部，其获取通过拍摄检测对象物而得到的多个图像；对象物检测部，其使用模型图案，从图像中检测检测对象物；模型图案变换部，其对位置姿势进行变换，以使得模型图案与检测对象物的像重叠；对应点获取部，其获取与模型特征点对应的图像数据上的点；对应点组选择部，其选择多个图像上的对应点的组；三维位置计算部，其计算检测对象物的像的三维位置。

Image processing device and image processing method

【技术实现步骤摘要】
图像处理装置和图像处理方法
本专利技术涉及图像处理装置和图像处理方法，具体涉及根据从通过多个照相机拍摄的与对象物有关的各个输入图像检测出的对象物的特征点求出各个特征点的三维位置的图像处理装置和图像处理方法。
技术介绍
在使用图像处理装置从照相机的视野内的图像中检测特定的对象物的像的情况下，在表示对象物的基准信息(一般称为模型图案、模板等。以下称为“模型图案”)和通过摄像装置获取的输入图像之间进行特性量的匹配。一般在进行特征量的匹配的结果是吻合度超过规定的水平时，判断为对象物的检测成功了。在进行这样的模型图案和输入图像之间的匹配处理时，有时边缘点成为表示图像的特征的特征点之一。图14是表示图像内(模型图案区域内)的检测对象物和边缘点的例子的图。边缘点是图像上的亮度的变化量大的点。一般，检测对象物的轮廓线的像的亮度梯度大。因此，通过使用边缘点作为特征量，进行检测对象物的轮廓线形状的匹配。预先将从包含应该检测的对象物的图像中提取的边缘点组存储为模型图案，根据从通过摄像装置获取的输入图像中提取的边缘点组与模型图案的边缘点组的吻合度，来检测对象物。例如，作为这类的方法，已知广义哈弗(hough)变换。例如，在日本特开2017-091079号公报中，公开了这样从图像中检测对象物的现有技术。在日本特开2017-091079号公报所记载的现有技术中，通过照相机拍摄的模型图案与输入图像重叠。进而，进行模型图案的边缘点与输入图像的边缘点的匹配。进而，选择与构成模型图案的边缘点对应的输入图像的边缘点。由此来检测对象物。在日本特开2017-091079号公报所公开的技术中，在模型图案与输入图像重叠时，修正模型图案的边缘点的位置姿势(向量)，以使得模型图案的边缘点所形成的形状成为输入图像所映现的对象物的像的一般形状。另外，在专利第5911934号公报中，公开了与利用立体照相机测量对象物的轮廓线的图像处理装置有关的技术。在专利第5911934号公报所记载的技术中，根据对象物的三维形状数据，向立体照相机的各个照相机的拍摄面投影基准轮廓线。进而，从通过立体照相机的各个照相机拍摄的图像中，提取边缘线。进而，求出作为核线与边缘线的交点的边缘点，从各个照相机的图像的边缘点中选择与基准轮廓线的同一部位对应的边缘点作为对应点。最后，根据对应点进行计算(立体计算)，求出三维点的位置。一般，作为在机器人进行工作时为了检测对象物而使用的视觉传感器，使用了二维照相机。用图像坐标系表现检测出的对象物的位置(边缘的位置、特征点的位置等)。因此，为了对通过视觉传感器检测出的对象物进行工作，必须将用图像坐标系表现的二维的对象物的位置(坐标)变换为用机器人坐标系表现的三维(坐标)的位置。为了实现它，基于检测出的对象物的位置存在于特定的平面上的前提，将图像上的对象物的位置(坐标)投影到该特定的平面。在该情况下，必须预先准确地求出对象物的位置被投影的特定的平面。例如，通过三维视觉传感器、机器人的修饰来求出平面上的3点的三维位置。根据该3点的位置信息来计算平面。但是，在该情况下，需要特别的传感器。另外，存在额外地花费设置的工时的问题。另外，在对象物的位置姿势三维地变化的情况下，特定的平面的位置姿势也伴随着该变化而变化。因此，就必须每次进行平面的检测。其结果是，对象物的检测花费时间。因此，本专利技术的目的在于：提供一种图像处理装置和图像处理方法，其能够求出从通过至少一个照相机拍摄的与对象物有关的输入图像中检测出的对象物的三维位置。
技术实现思路
本专利技术的图像处理装置和图像处理方法使用检测对象物的模型图案的多个特征点，确认对该检测对象物拍摄的多个图像(立体图像)所映现的检测对象物的像的各部的对应关系，根据所确定的检测对象物的像的各部的对应关系，求出检测对象物的三维位置，由此解决上述课题。另外，本专利技术的一个实施例是一种图像处理装置，其根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，该图像处理装置具备：模型图案存储部，其存储与上述检测对象物对应的由多个模型特征点构成的模型图案；图像数据获取部，其获取通过上述照相机拍摄同一上述检测对象物而得到的多个图像；特征点提取部，其从上述多个图像中提取第一特征点；对象物检测部，其通过进行从上述多个图像中提取出的第一特征点与存储于上述模型图案存储部的模型图案之间的匹配，从上述多个图像中检测检测对象物的像；模型图案变换部，其对上述模型图案的模型特征点的位置姿势进行变换，使得上述模型图案的模型特征点与上述对象物检测部检测出的上述多个图像内的检测对象物的像重叠；对应点获取部，其获取与由上述模型图案变换部变换后的上述模型图案的模型特征点对应的上述图像上的点作为对应点；对应点组选择部，其从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组；以及三维位置计算部，其根据上述对应点组选择部选择出的对应点组，来计算上述检测对象物的各特征点的三维位置。本专利技术的另一个实施例是一种图像处理方法，其根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，在该图像处理方法中，执行以下步骤：获取由上述照相机拍摄同一上述检测对象物而得到的多个图像的第一步骤；从上述多个图像中提取第一特征点的第二步骤；通过进行从上述多个图像中提取出的第一特征点和与上述检测对象物对应的由多个模型特征点构成的模型图案之间的匹配，从上述多个图像中检测检测对象物的像的第三步骤；对上述模型图案的模型特征点的位置姿势进行变换，以使得上述模型图案的模型特征点与在第三步骤中检测出的上述多个图像内的检测对象物的像重叠的第四步骤；获取与在上述第四步骤中变换后的上述模型图案的模型特征点对应的点的第五步骤；从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组的第六步骤；以及根据在上述第六步骤中选择出的对应点组，来计算上述检测对象物的各特征点的三维位置的第七步骤。根据本专利技术，能够求出从通过多个照相机拍摄的与对象物有关的输入图像各自的图像中检测出的对象物的三维位置。附图说明根据参照附图的以下的实施例的说明，能够了解本专利技术的上述和其他目的和特征。其中，图1是表示一个实施方式的图像处理装置的结构的图。图2是一个实施方式的图像处理装置的概要硬件结构图。图3是一个实施方式的图像处理装置的概要功能框图。图4是表示检测对象物的例子的图。图5是表示通过2个照相机拍摄的检测对象物的图像的例子的图。图6是表示从2个图像中检测对象物的例子的图。图7是表示对模型图案进行变换的例子的图。图8是表示选择从2个图像中检测出的对象物上的对应点的例子的图。图9是表示其他实施方式的选择对象物上的对应点的例子的图。图10是表示确定2个图像内的多个对象物的对应关系的例子的图。图11是表示其他实施方式的图像处理装置的结构的图。图12是表示其他实本文档来自技高网...

【技术保护点】
1.一种图像处理装置，该图像处理装置根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，/n其特征在于，/n上述图像处理装置具备：/n模型图案存储部，其存储与上述检测对象物对应的由多个模型特征点构成的模型图案；/n图像数据获取部，其获取通过上述照相机拍摄同一上述检测对象物而得到的多个图像；/n特征点提取部，其从上述多个图像中提取第一特征点；/n对象物检测部，其通过进行从上述多个图像中提取出的第一特征点与存储于上述模型图案存储部的模型图案之间的匹配，从上述多个图像中检测检测对象物的像；/n模型图案变换部，其对上述模型图案的模型特征点的位置姿势进行变换，以使得上述模型图案的模型特征点与上述对象物检测部检测出的上述多个图像内的检测对象物的像重叠；/n对应点获取部，其获取与由上述模型图案变换部变换后的上述模型图案的模型特征点对应的上述图像上的点作为对应点；/n对应点组选择部，其从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组；以及/n三维位置计算部，其根据上述对应点组选择部选择出的对应点组，来计算上述检测对象物的各特征点的三维位置。/n...

【技术特征摘要】
20180920 JP 2018-1760261.一种图像处理装置，该图像处理装置根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，
其特征在于，
上述图像处理装置具备：
模型图案存储部，其存储与上述检测对象物对应的由多个模型特征点构成的模型图案；
图像数据获取部，其获取通过上述照相机拍摄同一上述检测对象物而得到的多个图像；
特征点提取部，其从上述多个图像中提取第一特征点；
对象物检测部，其通过进行从上述多个图像中提取出的第一特征点与存储于上述模型图案存储部的模型图案之间的匹配，从上述多个图像中检测检测对象物的像；
模型图案变换部，其对上述模型图案的模型特征点的位置姿势进行变换，以使得上述模型图案的模型特征点与上述对象物检测部检测出的上述多个图像内的检测对象物的像重叠；
对应点获取部，其获取与由上述模型图案变换部变换后的上述模型图案的模型特征点对应的上述图像上的点作为对应点；
对应点组选择部，其从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组；以及
三维位置计算部，其根据上述对应点组选择部选择出的对应点组，来计算上述检测对象物的各特征点的三维位置。


2.根据权利要求1所述的图像处理装置，其特征在于，
上述对应点获取部获取由上述模型图案变换部变换后的上述模型图案的模型特征点作为对应点。


3.根据权利要求1所述的图像处理装置，其特征在于，
上述对应点获取部针对由上述模型图案变换部变换后的上述模型图案的模型特征点，搜索该模型特征点的附近的第一特征点并将其获取为对应点。


4.根据权利要求1所述的图像处理装置，其特征在于，
上述对应点获取部针对由上述模型图案变换部变换后的上述模型图案的模型特征点，获取该模型...

【专利技术属性】
技术研发人员：并木勇太，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本;JP