基于由多个照相机拍摄到的图像来生成物体表面的位置信息的三维测定装置制造方法及图纸

提供一种物体表面的位置信息的精度得到提高的三维测定装置。控制装置(2)具备对第一照相机(31)拍摄到的第一图像和第二照相机(32)拍摄到的第二图像进行处理的处理部(51)。处理部(51)进行块匹配的控制。预先决定了与块匹配的得分有关的第一判定值和比第一判定值大的第二判定值。处理部(51)使用第一判定值生成第一距离图像，使用第二判定值生成第二距离图像。处理部(51)在与工件的轮廓对应的区域中，采用第一距离图像中包含的像素的距离信息，在与轮廓对应的区域以外的区域中，采用第二距离图像中包含的像素的距离信息，来生成合成距离图像。成距离图像。成距离图像。

【技术实现步骤摘要】
【国外来华专利技术】基于由多个照相机拍摄到的图像来生成物体表面的位置信息的三维测定装置


[0001]本专利技术涉及基于由多个照相机拍摄到的图像来生成物体表面的位置信息的三维测定装置。

技术介绍

[0002]在以往的技术中，已知有利用视觉传感器拍摄图像，并基于得到的图像来检测物体表面的位置信息的三维测定装置。作为检测3维位置的视觉传感器，已知有包含2台2维照相机的立体照相机。在由立体照相机拍摄到的图像的处理中，基于由一方的照相机拍摄到的图像和由另一方的照相机拍摄到的图像中的物体位置的视差，计算从立体照相机到物体的距离。另外，能够基于到物体的距离以及2台照相机的位置，计算设定在物体表面的测定点的3维的位置。
[0003]在立体照相机的图像的处理中，需要以与一方的照相机拍摄到的图像中包含的物体的位置对应的方式，检测另一方的照相机拍摄到的图像中包含的物体的位置。因此，已知一种控制，其在一个图像中设定预定大小的块，搜索另一个图像中的与该块对应的位置(例如，日本特开2001
‑
82927号公报)。这样的方法因为对每个块进行搜索而被称为块匹配。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：日本特开2001
‑
82927号公报

技术实现思路

[0007]专利技术要解决的课题
[0008]在立体照相机的图像处理中，在进行块匹配的情况下，用一方的照相机拍摄第一图像，用另一方的照相机拍摄第二图像。判定在第一图像中选定的块是否与在第二图像中选定的块对应。该块包含多个像素。在第二图像中存在与第一图像的块对应的块的情况下，针对块中包含的像素计算视差。
[0009]在使用块匹配来计算距离图像等表面的位置信息的控制中，有时难以准确地测定物体的小的台阶、物体彼此之间的微小的间隙、或者物体的细小的形状等的轮廓。例如，在利用立体照相机生成距离图像的情况下，有时物体的小的台阶或物体彼此之间的间隙等消失。或者，有时在物体的小的台阶或物体彼此间的间隙等中无法取得准确的距离信息。这样，在立体照相机中存在以下问题：在图像中的形状的变化细微的部分，难以准确地取得物体表面的位置信息。
[0010]用于解决课题的手段
[0011]本公开的第一方式的三维测定装置具备：视觉传感器，其包含拍摄第一图像的第一照相机以及拍摄第二图像的第二照相机；以及轮廓检测传感器，其用于检测物体的轮廓。三维测定装置具备基于第一图像以及第二图像来检测物体表面的位置信息的处理部。处理
部包含轮廓检测部，该轮廓检测部基于轮廓检测传感器的输出来检测物体的轮廓。处理部包含块搜索部，该块搜索部在第一图像中设定由包含所选定的1个选定像素的多个像素构成的选定块，在第二图像中搜索与选定块对应的特定块。处理部包含计算部，该计算部基于选定块中的选定像素的位置与特定块中的与选定像素对应的特定像素的位置之间的视差，来计算像素的距离信息。处理部包含生成部，该生成部生成包含多个像素的距离信息的物体表面的位置信息。处理部包含对在互不相同的条件下生成的物体表面的位置信息进行合成的合成部。块搜索部计算对选定块中包含的像素的值与特定块中包含的像素的值之间的差的大小或者差的平方值进行累计而得到的累计值。块搜索部在累计值小于预先决定的判定值的情况下，判定为特定块中包含的像素与选定块中包含的像素对应。块搜索部在累计值超过预先决定的判定值的情况下或者未检测到与选定块对应的特定块的情况下，设定是无效像素的信息来作为选定像素的距离信息。预先确定了与累计值相关的第一判定值和比第一判定值大的与累计值相关的第二判定值。块搜索部、计算部以及生成部使用第一图像、第二图像以及第一判定值来生成第一表面的位置信息，使用第一图像、第二图像以及第二判定值来生成第二表面的位置信息。合成部基于轮廓检测部检测出的轮廓来设定与轮廓对应的区域，针对与轮廓对应的区域中包含的像素，采用第一表面的位置信息中包含的像素的距离信息，针对与轮廓对应的区域以外的区域中包含的像素，采用第二表面的位置信息中包含的像素的距离信息，由此生成将第一表面的位置信息和第二表面的位置信息合成后的表面的位置信息。
[0012]本公开的第二方式的三维测定装置具备：视觉传感器，其包含拍摄第一图像的第一照相机以及拍摄第二图像的第二照相机；以及轮廓检测传感器，其用于检测物体的轮廓。三维测定装置具备基于第一图像以及第二图像来检测物体表面的位置信息的处理部。处理部包含轮廓检测部，该轮廓检测部基于轮廓检测传感器的输出来检测物体的轮廓。处理部包含块搜索部，该块搜索部在第一图像中设定由包含所选定的1个选定像素的多个像素构成的选定块，在第二图像中搜索与选定块对应的特定块。处理部包含计算部，该计算部基于选定块中的选定像素的位置和特定块中的与选定像素对应的特定像素的位置之间的视差，生成像素的距离信息。处理部包含生成部，该生成部生成包含多个像素的距离信息的物体表面的位置信息。处理部包含对在互不相同的条件下生成的物体表面的位置信息进行合成的合成部。预先决定了第一选定块和与第一选定块相比包含更多像素的第二选定块。块搜索部、计算部以及生成部使用第一图像、第二图像以及第一选定块来生成第一表面的位置信息，使用第一图像、第二图像以及第二选定块来生成第二表面的位置信息。合成部基于轮廓检测部检测出的轮廓来设定与轮廓对应的区域，针对与轮廓对应的区域中包含的像素，设定第一表面的位置信息中包含的像素的距离信息，针对与轮廓对应的区域以外的区域中包含的像素，设定第二表面的位置信息中包含的像素的距离信息，由此生成将第一表面的位置信息和第二表面的位置信息合成后的表面的位置信息。
[0013]专利技术效果
[0014]根据本公开的方式，能够提供一种物体表面的位置信息的精度提高的三维测定装置。
附图说明
[0015]图1是实施方式的机器人装置的立体图。
[0016]图2是机器人装置的框图。
[0017]图3是实施方式的视觉传感器的概略图。
[0018]图4是第一图像中的选定块和第二图像中的搜索区域以及搜索块的图。
[0019]图5是对搜索与选定块对应的特定块的控制的第一工序进行说明的选定块以及搜索区域的图。
[0020]图6是对搜索与选定块对应的特定块的控制的第二工序进行说明的选定块以及搜索区域的图。
[0021]图7是对利用视觉传感器拍摄工件的例子进行说明的视觉传感器和工件的立体图。
[0022]图8是拍摄工件而得到的距离图像的例子。
[0023]图9是由机器人装置的第一照相机拍摄到的2维图像。
[0024]图10是设定用于从2维图像中检测轮廓的对比度阈值的方法的流程图。
[0025]图11是实施方式中的第一控制的流程图。
[0026]图12是对与轮廓对应的区域进行说明的图像的放大图。
[0027]图13是生成合成距离图像的控制的流程图。
[0028]图14是通过第一控制生成的距离图像。
[0029]图15是通过比较例的控制生本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种三维测定装置，其特征在于，具备：视觉传感器，其包含拍摄第一图像的第一照相机和拍摄第二图像的第二照相机；轮廓检测传感器，其用于检测物体的轮廓；处理部，其基于第一图像和第二图像来检测物体表面的位置信息，所述处理部包含：轮廓检测部，其基于所述轮廓检测传感器的输出来检测物体的所述轮廓；块搜索部，其在第一图像中设定由包含所选定的1个选定像素的多个像素构成的选定块，在第二图像中搜索与选定块对应的特定块；计算部，其根据选定块中的选定像素的位置和特定块中的与选定像素对应的特定像素的位置之间的视差，来计算像素的距离信息；生成部，其生成包含多个像素的距离信息的物体表面的位置信息；以及合成部，其将在互不相同的条件下生成的物体表面的位置信息进行合成，所述块搜索部计算对选定块中包含的像素的值与特定块中包含的像素的值之间的差的大小或所述差的平方值进行累计而得到的累计值，在所述累计值小于预先决定的判定值的情况下，判定为特定块中包含的像素与选定块中包含的像素对应，在所述累计值超过预先决定的判定值的情况下或未检测到与选定块对应的特定块的情况下，设定是无效像素的信息来作为选定像素的距离信息，预先决定了与所述累计值相关的第一判定值和比第一判定值大的与所述累计值相关的第二判定值，所述块搜索部、所述计算部和所述生成部使用第一图像、第二图像以及第一判定值来生成第一表面的位置信息，并且使用第一图像、第二图像以及第二判定值来生成第二表面的位置信息，所述合成部基于所述轮廓检测部检测出的所述轮廓来设定与所述轮廓对应的区域，针对与所述轮廓对应的区域中包含的像素，采用第一表面的位置信息中包含的像素的距离信息，针对与所述轮廓对应的区域以外的区域中包含的像素，采...

【专利技术属性】
技术研发人员：井航太，吉田顺一郎，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：