三维测量装置、三维测量方法以及存储介质制造方法及图纸

本发明专利技术提供一种三维测量装置、三维测量方法以及存储介质，测量对象物的三维点群数据的再现性和图像的清晰度比现有技术高。对于测量对象物投影具有混合图案(Ph)的图案光进行三维测量。混合图案(Ph)是在结构光图案(Ps)上重叠不规则图案(Pr)而形成的图案，并以不规则图案(Pr)与结构光图案(Ps)不会相互干涉的方式配置图案。由此，能够享受在图像清晰度这一点上优异的结构光图案、和在三维点群数据的再现性这一点上优异的不规则图案两者的优点。

Three-dimensional measuring device, three-dimensional measuring method and storage medium

The invention provides a three-dimensional measuring device, a three-dimensional measuring method and a storage medium. The reproducibility of the three-dimensional point group data of the measuring object and the clarity of the image are higher than those of the prior art. Three-dimensional measurement is carried out for the pattern light with mixed pattern (Ph) projection of the measured object. Mixed pattern (Ph) is a pattern formed by overlapping irregular pattern (Pr) on structured light pattern (Ps), and the pattern is arranged in a way that irregular pattern (Pr) and structured light pattern (Ps) do not interfere with each other. Thus, we can enjoy the advantages of structured light pattern which is excellent in image clarity and irregular pattern which is excellent in reproducibility of three-dimensional point group data.

【技术实现步骤摘要】
三维测量装置、三维测量方法以及存储介质
本专利技术涉及投影图案光(patternlight)来测量测量对象物的三维位置的三维测量技术。
技术介绍
作为测量对象物的三维形状的测量方法，已知有主动测量(activemeasurement)。在主动测量中，在对测量对象物投影了图案光的状态下进行拍摄，并利用三角测量的原理根据拍摄的图像上的图案的位置求出测量对象物的三维形状(各像素的三维位置)。在主动测量中，能够仅利用一张图像测量出三维形状的单次主动形状测量，因为仅利用一张图像而能够实时测量等理由，作为有益的技术而备受关注。作为进行单次主动形状测量的方法，已知有使用结构光图案的方法。在使用结构光图案的方法中，在对测量对象物投影了图案光的状态下进行拍摄，并根据拍摄的图像上的图案的位置求出测量对象物的三维形状。使用结构光图案的方法，具有精度高(尤其在近距离中)、视野广、成本低等优点。作为使用结构光图案的方法的一例，非专利文献1中公开了使用被实施空间编码(coding)的图案光的方法。非专利文献1中的二维图案具有被称为基元(primitive)的图案构成要素呈二维状铺开的结构。包含多个基元的窗口(例如由2×3的基元构成)，可以通过该窗口所包含的多个基元进行确定。因此，通过从拍摄图像检测基元的排列，从而能够算出三维位置。另一方面，作为被动测量(passivemeasurement)，已知有使用两台照相机(所谓的立体相机)求出测量对象物的三维形状的方法。在使用立体相机的方法中，利用下述方法，即：将照相机左右配置并同时拍摄测量对象物，从得到的图像搜索对应的像素对、即对应点，求出左右图像的对应点彼此在左右方向上的分离距离(即，视差)，对该视差使用三角测量的原理，算出得到的图像的各像素的三维位置(利用立体方式的三维测量法)。但是，在利用立体方式的三维测量法中，由于测量精度直接受到测量对象物的表面的纹理(texture)的影响，因而在纹理少的平坦面或反射面上，对应点的检测或三维位置的积算非常困难。为了解决上述问题，提出了下述方法，即：使用立体相机和一台投影仪，从投影仪投射图案光，对测量对象物的表面赋予纹理，并进行模板匹配，从而提高对应点的检测或三维位置的计算的精度。现有技术文献非专利文献非专利文献1：P.VuylstekeandA.Oosterlinck,RangeImageAcquisitionwithaSingleBinary-EncodedLightPattern,IEEEPAMI12(2),pp.148-164,1990.
技术实现思路
但是，在非专利文献1公开的使用结构光图案的方法中，由于对测量对象物投射具有编码图案的图案光，因此，当测量对象物小时，不易高精度地将测量对象物的拍摄图像中映出的图案光的符号解码(decode)，存在将测量对象物的三维形状复原的点群(以下，也称为“三维点群数据”)的再现性低这一问题。关于这一点，在使用立体相机的方法中，通过投影图案光得到的纹理用于搜索对应点，从而不需要对图案光的符号进行解码这一处理。因此，即使测量对象物小，使用立体相机时的三维点群数据的再现性也比使用结构光图案时的三维点群数据的再现性高。但是，在使用立体相机的方法中，由于三维点群数据的精度低，因而得到的图像不清晰。图14是对使用立体相机时的图像的清晰度(图14中的左图)与使用结构光图案时的图像的清晰度(图14中的右图)进行比较的图。如图14所示，在使用立体相机的方法中，由于三维点群数据的精度低于使用结构光图案时的精度，因而图像的清晰度低于使用结构光图案时的图像的清晰度。本专利技术是鉴于以上所说明的情况而完成的，其目的在于提供一种测量对象物的三维点群数据的再现性和图像的清晰度高于现有技术的三维测量技术。本专利技术的一方式涉及的三维测量装置用于测量测量对象物的三维形状，其具备：投影部，其对测量对象物投影混合图案的图案光，该混合图案是将二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，该二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，该不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄部，其具备对被投影了图案光的测量对象物进行拍摄的第一照相机和第二照相机；图案存储部，其用于存储二维编码图案；第一计算部，其从通过第一照相机或第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个对象像素而提取像素上显现的图案光的字，根据提取出的字和存储在图案存储部中的二维编码图案求出各个对象像素的三维位置；以及第二计算部，其在将通过第一照相机和第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从基准图像提取出与各个不规则片对应的各特征点，并使用提取出的各个特征点进行相对于比较图像的立体匹配，根据立体匹配结果求出各个特征点的三维位置。根据上述构成，对测量对象物投影具有混合图案的图案光进行三维测量。在此，混合图案是使不规则图案与将能够相互区别的多种字呈二维状地进行配置而形成的二维编码图案(即结构光图案)重叠而形成的图案，并且以不规则图案与结构光图案不会相互干涉的方式配置图案。由此，能够享受结构光图案和不规则图案两者的优点。即，能够享受在图像清晰度这一点上优异的结构光图案、和在三维点群数据的再现性这一点上优异的不规则图案两者的优点。本专利技术的另一方式涉及的三维测量方法用于测量测量对象物的三维形状，其包括：投影步骤，对测量对象物投影混合图案的图案光，混合图案是将二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄步骤，通过具备第一照相机和第二照相机的拍摄部，对于被投影了图案光的测量对象物进行拍摄；第一计算步骤，从通过第一照相机或第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个对象像素而提取像素上显现的图案光的字，根据提取出的字和存储在存储部中的二维编码图案求出各个对象像素的三维位置；以及第二计算步骤，在将通过第一照相机和第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从基准图像提取出与各个不规则片对应的各特征点，并使用提取出的各个特征点进行相对于比较图像的立体匹配，根据立体匹配结果求出各个特征点的三维位置。本专利技术的另一方式涉及存储介质，存储有程序，该程序用于使具备存储二维编码图案的存储部和包含第一照相机和第二照相机的拍摄部的计算机测量测量对象物的三维形状，该程序使计算机执行；投影步骤，对测量对象物投影混合图案的图案光，混合图案是将所述二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄步骤，通过拍摄部对被投影了图案光的测量对象物进行拍摄；第一计算步骤，从通过第一照相机或第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个对象像素而提取该像素上显现的图案光的字，根据提本文档来自技高网...

【技术保护点】
1.一种三维测量装置，用于测量测量对象物的三维形状，所述三维测量装置具备：投影部，对所述测量对象物投影混合图案的图案光，所述混合图案是将二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，所述二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，所述不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄部，具备对被投影了所述图案光的所述测量对象物进行拍摄的第一照相机和第二照相机；图案存储部，用于存储所述二维编码图案；第一计算部，从通过所述第一照相机或所述第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个所述对象像素而提取该像素上显现的图案光的字，根据提取出的所述字和存储在所述图案存储部中的所述二维编码图案求出各个所述对象像素的三维位置；以及第二计算部，在将通过所述第一照相机和所述第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从所述基准图像提取出与各个所述不规则片对应的各特征点，并使用提取出的各个所述特征点进行相对于所述比较图像的立体匹配，根据立体匹配结果求出各个所述特征点的三维位置。...

【技术特征摘要】
2017.11.01 JP 2017-2118401.一种三维测量装置，用于测量测量对象物的三维形状，所述三维测量装置具备：投影部，对所述测量对象物投影混合图案的图案光，所述混合图案是将二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，所述二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，所述不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄部，具备对被投影了所述图案光的所述测量对象物进行拍摄的第一照相机和第二照相机；图案存储部，用于存储所述二维编码图案；第一计算部，从通过所述第一照相机或所述第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个所述对象像素而提取该像素上显现的图案光的字，根据提取出的所述字和存储在所述图案存储部中的所述二维编码图案求出各个所述对象像素的三维位置；以及第二计算部，在将通过所述第一照相机和所述第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从所述基准图像提取出与各个所述不规则片对应的各特征点，并使用提取出的各个所述特征点进行相对于所述比较图像的立体匹配，根据立体匹配结果求出各个所述特征点的三维位置。2.根据权利要求1所述的三维测量装置，其中，对于通过所述第一照相机拍摄的拍摄图像和通过所述第二照相机拍摄的拍摄图像而言，从所述投影部投影至所述测量对象物上的所述图案光为相同的图案光。3.根据权利要求1所述的三维测量装置，其中，各个所述二维编码图案中设有多个矩形区域，多个所述矩形区域用于分别与多个所述不规则片重叠，所有的所述不规则片的大小分别被设定为小于所述矩形区域的大小。4.根据权利要求1至3中任一项所述的三维测量装置，其中，从所述第一照相机至所述投影部为止的距离与从所述第二照相机至所述投影部为止的距离不同。5.根据权利要求1所述的三维测量装置，其中，所述第一计算部生成表示各个所述对象像素的三维位置的三维点群数据，所述第二计算部生成表示各个所述特征点的三维位置的三维点群数据，所述三维测量装置还具备精细化部，所述精细化部通过对于通过所述第一计算部生成的三维点群数据和通过所述第二计算部生成的三维点群数据进行精细化，从而生成最终点群数据。6.根据权利要求5所述的三维测量装置，其中，所述精细化部在判断为构成通过所述第二计算部计算出的所述三维点群数据的点位于构成通过所述第一计算部计算出的所述三维点群数据的任意一个点的附近时，对于构成通过所述第二计算部计算出的所述三维点群数据的点以第一权重进行加权，对于构成通过所述第一计算部计算出的所述三维点群数据的任意一个点以大于所述第一权重的第二权重进行加权，从而进行滤波，由此进行所述精细化。7.根据权利要求1至3中任一项所述的三维测量装置，其中，所述第一计算部具备：第一辅助计算部，从通过所述第一照相机拍...

【专利技术属性】
技术研发人员：付星斗，诹访正树，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP