确定物体上3D表面特征和不平度的系统和方法技术方案

本发明专利技术提供了一种确定物体上3D表面特征和不平度的系统和方法，用于确定含有相对于物体上光滑周围表面而言的上升或凹陷区域的某些表面特征的位置和特性的系统和方法。滤波器对场景的距离图像起作用。滤波器在每个像素周围限定环形或其他周长形状，在所述像素内建立最佳拟合表面。所述像素的法线允许导出局部位移高度。所述位移高度用于建立所述物体的高度偏差，通过所述高度偏差，可以确定凸块、凹部或者其他高度位移特征。所述凸块滤波器用于通过将最小不平度映射到网格中并随后将所述网格阈值化以在具有这种不平度的表面上定位区域。具有最小成本的区域是应用标签和其他物品的可接受的候选区域，在所述区域内，一平滑表面满足需要。

【技术实现步骤摘要】
确定物体上3D表面特征和不平度的系统和方法分案申请本申请为申请号为201510041524X、申请日为2015年1月27日、题为“确定物体上3D表面特征和不平度的系统和方法”的分案申请。
本专利技术涉及用于在三维(3D)空间中确定成像的物体表面位移的机器视觉系统。
技术介绍
在制造和组装工艺中，通常可取地分析物体表面，以确定特征和/或不平度的性质。可以使用具有激光位移传感器(在本文中也称为激光束“断面仪”)的形式的机器视觉系统(在本文中也称为“视觉系统”)，来确定物体表面的位移(或“轮廓”)。激光位移传感器在与光束传播路径垂直的特定平面中使用激光束的平面幕状物或“风扇”来捕捉并且确定扫描的物体表面的(三维)轮廓。在传统的设置中，视觉系统相机组件定向为从平面的外面观看光束的平面。这种设置捕捉在物体表面上的投影线(例如，沿着物理x轴延伸)的轮廓，由于在光束(风扇)平面与相机之间的基线(即，沿着y轴的相对间隔)，所以这促使成像线表现为根据成像点的物理z轴高度(沿着图像x轴)在y轴方向变化。这种偏差表示表面的轮廓。激光位移传感器可用于广泛的检查和制造操作中，其中，用户期望通过三角测量法来测量和表征扫描的物体的表面细节。激光位移传感器的一种形式使用具有可以基于CCD或CMOS设计的透镜组件和图像传感器(或“成像器”)的视觉系统相机。成像器在通过透镜从成像场景中接收聚焦光的图像平面上限定预定的灰度场或颜色传感像素。在典型的设置中，位移传感器和/或物体进行相对运动(通常在物理y坐标方向)，以便由相机扫描物体表面，并且通过期望的空间间隔(通常与编码器或其他运动测量装置相关联)(或者替换地，通过基于时间的间隔)，获得激光线的一系列图像。通常从单个获取的图像中取得这些单轮廓线中的每个。这些线路共同描述成像物体和周围成像场景的表面，并且限定“距离图像”或“深度图像”。其他相机组件还可以用于在场景中捕捉物体的3D图像(距离图像)。例如，可以使用结构光系统、立体视觉系统、DLP计量以及其他设置。这些系统均生成将高度值(即，z坐标)提供给像素的图像。由各种类型的相机组件(或其组合)生成的3D(距离)图像可以用于定位和确定在物体表面上的特定特征的存在和/或特性。对于视觉系统，识别和定位这种特征是一种挑战，尤其是在该表面本身限定一个不同的表面轮廓的情况下。进一步的挑战是定位适合于放置某些物品以及应用某些工艺(例如，标签和/或印刷品)的物体的区域，其中，3D表面不平度可以危害令人满意的放置。
技术实现思路
通过提供一种用于相对于在总体物体上的光滑的周围表面确定通常包括上升或凹陷区域的某些3D表面特征的位置和相对特性的系统和方法，本专利技术克服了现有技术的缺点。该系统和方法使用对场景的距离(深度)图像起作用的滤波器。滤波器可以在每个像素周围限定环形或其他合适的周长形状，从所述像素中建立最佳拟合表面(例如，最佳拟合平面)。最佳拟合表面用于在像素中生成法线。该法线用于相对于最佳拟合平面的平均高度导出局部位移高度。位移高度用于建立物体的总体“凸块”或高度偏差图像，通过该图像，可以使用合适的视觉系统工具(例如，blob工具、边缘工具、卡尺工具等)，来定位和分析凸块、凹部或者其他高度位移/偏差特征。在一个说明性实施方式中，提供了一种用于根据距离图像确定在物体上的表面法线高度变化(特征)的系统。相机组件生成包含物体的场景的距离图像。可操作地连接至相机组件和/或与相机组件相关联的视觉系统分析距离图像。运行与相机传感器工艺相关联的过滤工艺或者在获取来源之后从来源中接收图像的滤波器(a)在距离图像内的每个所选像素周围生成具有平均高度的最佳拟合表面(例如，最佳拟合平面)，(b)分别为每个像素建立最佳拟合表面的法线，并且(c)相对于最佳拟合表面，在每个像素周围确定区域的相对高度位移。与传感器工艺相关联的视觉系统工具分析由滤波器定位的高度位移特征。通过说明的方式，滤波器包括在每个所选像素周围的后台区域，从所选像素中建立最佳拟合表面。滤波器包括前台区域，其位于后台区域附近。在前台区域内，该工艺确定至少一个所选像素的相对高度位移。在一个说明性实施方式中，根据物体的尺寸和形状中的至少一个，由用户定义后台区域和前台区域中的至少一个的尺寸和形状中的至少一个。而且，通过说明的方式，相机组件包括位移传感器，所述传感器在物体上投射光线并且通过在高度方向限定多个位移值的方式在成像器中接收投射线的光(例如，激光位移传感器)。在另一个说明性实施方式中，提供了一种用于确定表面不平度的区域的系统和方法。该系统和方法可以用于定位完全没有不平度的在物体表面上的区域，以便能够令人满意地放置/应用标签、印刷品或其他物品和增强物。通过将最小不平度映射到网格中，然后，将该网格阈值化，以生成价值函数，该系统和方法使用上述凸块滤波器(bumpfilter)来在具有这种不平度的表面上定位区域。具有最小成本的区域是应用标签和其他物品的可接受的候选区域，在所述区域内，平滑表面可取。在一个说明性实施方式中，提供了一种用于在具有低表面不平度的表面上确定区域的系统和方法。该系统和方法使用视觉系统工具，该工具定位表面并且获取至少一部分表面的3D图像。(凸块)滤波器在3D图像上所选的一组像素中的每个像素周围为区域确定相对高度位移。在说明性实施方式中，映射部件使在图像上的多个区域中的每个区域的高度位移分解为具有高度值的网格部件。这个高度值可以阈值化(例如，成为二进制1和0值)。然后，定位部件直接根据由凸块滤波器提供的结果或者根据阈值化结果，计算每个区域的高度位移的成本价值，并且确定容纳预定区域的最小成本区域。阈值化结果可以是映射网格的一部分。这个预定区域(如果有的话)可以具有适合于容纳标签、印刷品或其他装饰品的的尺寸。阈值化部件根据高度值高于还是低于至少一个预定参数，将每个高度值分解为二进制值。预定参数是(a)高于或低于在区域中的周围表面的高度位移和(b)相对于在区域中的周围表面的不同的高度位移的区域中的至少一个。通过说明的方式，定位部件确定是否具有合适的最小成本区域。此外，每个网格部件可以包括在图像上具有预定密度的规则网格的一部分，和/或在图像上可以包括从最小成本区域中省略的至少一个排斥区域。这个排斥区域可以在表面上包括标签、印刷品以及装饰品中的至少一个。该表面可以包括至少一部分封装，并且最小成本区域适合于接收应用的标签和印刷品中的至少一个。附图说明本专利技术的说明书下面参照附图，其中：图1为根据一个说明性实施例在扫描方向在其间发生相对运动时获取具有需要分析的表面法线凸块/小块特征的物体的图像的激光位移传感器系统的示意性透视图；图2为具有非平面表面和多个凸块/高度偏差特征的一个示例性物体(例如，土豆)的距离图像的示图，说明了从未过滤的图像中分解这种特征的困难；图3为根据一个说明性实施例用于分解高度位移的表面高度变化(例如，凸块和凹部)的过滤工艺的流程图；图4为包含具有凸块和凹部(即，高度偏差特征)的变化表面的一个示例性物体(例如，土豆)的本文档来自技高网...

【技术保护点】
1.一种基于距离图像确定物体表面高度变化的系统，包括：/n相机组件，生成距离图像；/n视觉系统，分析所述距离图像；/n滤波器，(a)生成所述距离图像内每一选择的像素周围的、具有平均高度的最佳拟合表面，(b)分别为所述像素中每一个建立最佳拟合表面的法线，并且(c)相对于最佳拟合表面确定所述像素中的每一个周围的区域的相对高度位移；以及/n视觉系统工具，分析由所述滤波器定位的高度位移特征；/n其中，在所述距离图像中每一选择的像素是各个独立的像素。/n

【技术特征摘要】
20140127 US 61/932,221;20140711 US 14/329,7521.一种基于距离图像确定物体表面高度变化的系统，包括：
相机组件，生成距离图像；
视觉系统，分析所述距离图像；
滤波器，(a)生成所述距离图像内每一选择的像素周围的、具有平均高度的最佳拟合表面，(b)分别为所述像素中每一个建立最佳拟合表面的法线，并且(c)相对于最佳拟合表面确定所述像素中的每一个周围的区域的相对高度位移；以及
视觉系统工具，分析由所述滤波器定位的高度位移特征；
其中，在所述距离图像中每一选择的像素是各个独立的像素。


2.根据权利要求1所述的系统，其中所述滤波器包括每个所选像素周围的后台区域，其中从所选像素中建立最佳拟合表面。


3.根据权利要求2所述的系统，其中所述滤波器包括前台区域，所述前台区域位于所述后台区域附近并且包括至少一个所选像素，其中从所选像素中确定相对高度位移。


4.根据权利要求3所述的系统，其中根据物体的尺寸和形状中的至少一个，由用户定义所述后台区域和所述前台区域中的至少一个的尺寸和形状中的至少一个。


5.根据权利要求1所述的系统，其中所述相机组件包括位移传感器，所述传感器在物体上投射光线并且以在高度方向定义多个位移值的方式在成像器中接收投射线的光。


6.根据权利要求1所述的系统，其中所述最佳拟合表面包括最佳拟合平面。


7.一种根据距离图像确定在物体表面高度变化的方法，包括：
(a)生成距离图像内的每一选择的像素周围的、具有平均高度的最佳拟合表面；
(b)分别针对所述像素中的每一个建立最佳拟合表面的法线；
(c)确定所述像素中的每一个周围的区域相对于最佳拟合表面的相对高度位移；以及
(d)通过视觉系统工具分析定位的高度位移特征；
其中，在所述距离图像中每一选择的像素是各个独立的像素。


8.一种在具有低表面不平度的表面上确定区域的系统，包括：
视觉系统工具，定位所述表面并且获取所述表面至少一部分的3D图像；
滤波器，确定所述3D图像上选择的一组像素中的每一个像素周围的区域的相对高度位移；以及
定位部件，基于所述滤波器提供的结果计算每一区域的高度位移的成本价值，并且确定容纳一预定区域的最小成本区域。


9.根据权利要求8所述的系统，其中所述预定区域...

【专利技术属性】
技术研发人员：M·阿科皮扬，L·D·雅各布森，R·A·沃尔夫，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国;US