本发明专利技术提供一种使用视觉系统处理器将表示模型的第一三维(3D)点云图像与表示目标的第二3D点云图像对准的方法和系统。为所述第一3D点云图像与第二3D点云图像的可能对准建立合格总分。为所述第一3D点云图像与第二3D点云图像的至少一种对准估计覆盖分数，使得所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量。估计杂波分数，使得杂波分数描述了第二3D点云中的无关特征。将所述总分计算为所述覆盖分数和所述杂波分数之间的差。
【技术实现步骤摘要】
视觉系统中用于3D点云匹配的杂波评分系统及方法
本专利技术涉及用于在成像场景中对准和检查对象的机器视觉系统及其相关方法。
技术介绍
机器视觉系统，在本文也称为“视觉系统”，其用于在制造环境中执行多种任务。一般来说，视觉系统由一个或多个具有图像传感器(或“成像器”)的二维(2D)相机组成，该图像传感器获取包含制造中的对象的场景灰度或者彩色图像。能够对对象的2D图像进行分析，以提供数据/信息给用户以及相关的制造工艺。2D相机产生的数据通常由一个或多个视觉系统处理器(其能够是专用的)中的视觉系统、或者在通用计算机(例如，PC、笔记本、平板电脑或智能手机)内实例化的一个或多个软件应用程序的一部分来分析和处理。常见的视觉系统任务包括对准和检查。在对准任务中，视觉系统工具，如可从内蒂克郡(Natick)、马尔迈松市(MA)的康耐视公司购买的公知的系统，将场景的2D图像中的特征与经训练的(使用实际或合成模型)2D图案进行比较，并且确定2D成像场景中的2D图案的存在/不存在以及姿态。该信息能够用在随后的检查(或其它的)操作中，以搜索缺陷和/或执行其它操作，如部分拒绝。利用视觉系统的特定任务为，基于经训练的三维(3D)模型形状于运行期间对3D目标形状进行对准。3D相机能够基于各种技术-例如，激光位移传感器(分析器)、立体相机、声纳、激光或者激光雷达测距相机、以及各种其它被动或主动测距技术。此类相机产生深度图像，其中产生图像像素阵列(通常表征为沿着正交x和y轴的位置)，对于每一像素，还包含第三(高度)维度(通常表征为沿着垂直于x-y平面的z轴)。替代地，此类相机能够产生成像对象的点云表示。点云为空间中的3D点的集合，其中每一点i能够表示为(Xi,Yi,Zi)。点云能够表示完整的3D对象，这包括对象的背面和侧面、顶面和底面。3D点(Xi,Yi,Zi)表示对象对相机为可见的空间中的位置。在这种表示中，空的空间表示没有点存在。通过比较，3D深度图像表示Z(x,y)类似于2D图像表示I(x,y)，其中深度或高度Z取代图像中的位置x、y处的亮度/强度I。深度图像专门表示直接面向相机的对象正面，因为仅有单一深度与任一点位置x、y关联。深度图像通常不能表示对象的背面或侧面、顶面或底面。深度图像通常具有每一位置(x,y)处的数据，即使该相机没有此类位置处的信息。有时，相机图像数据在某些位置处通过包括“丢失像素”标签直接表示不存在信息。“丢失像素”能够意味着图像中的该位置处的成像条件很差，或者其能够意味着对象中的该位置处存在孔。3D深度图像有时能够使用常规2D图像处理技术来处理，其中高度维度Z被亮度/强度I所取代，并且以特殊的方式来处理丢失像素或者将它们忽略。作为进一步的背景，在3D的深度图像表示和3D点云表示之间转换3D图像能够通过适当的技术来完成，但是并非没有信息损失和/或精度损失。一些3D相机能够在获取图像时(同时)直接产生3D点云图像或3D深度图像。一旦获取图像，即使在来自能够产生任一表示的相机的表示之间转换图像也可能导致精度的损失。因此，当由相机以该相应模式获取时，3D点云或者深度图像是最精确的。在将目标图像(获取或者通过合成过程生成的)与模型图像(也是或者合成的)对准的过程中，一种方法涉及目标中的3D点云与模型中的3D点云的匹配/比较，以努力找到最佳匹配姿态。该比较可能涉及目标相对于模型的覆盖分数。高于某一阈值的分数被认为是可接受的匹配/姿态估计，并且使用该信息生成对准结果。然而，基于3D图像精确和有效地产生对准结果是有挑战性的，并且采用模型3D点云匹配目标3D点云的实际的、通用的技术通常是不可用的。
技术实现思路
通过提供了一种使用3D(点云)图像中的杂波将3D目标图像与3D模型图像对准的系统和方法，从而提供了一种用于在各种表面形状上操作的3D匹配的通用技术，本专利技术克服了现有技术的缺点。在目标图像中识别杂波，其表示不期望出现于图像中的元素，并且用于计算杂波分数，该杂波分数用于匹配来自各种姿态的对准候选者。如果在3D图像中观测到太多杂波，则不建议匹配。该姿态因此对分数产生负面影响，并且这样的姿态被拒绝作为候选者。相反，满足预定阈值的那些分数被认为是能够用于生成对准结果的姿态候选者(posecandidate)。在说明性实施例中，提供了一种使用视觉系统处理器将第一3D点云图像与第二3D点云图像对准的系统和方法，其包括第一3D点云图像(通常为对象资源(称为“模型”)的图像)以及第二3D点云图像(通常为运行时的对象(称为“目标”)的图像)。为所述第一3D点云图像与第二3D点云图像的可能对准建立合格总分。为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计覆盖分数，使得所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量。同样地，为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计杂波分数，使得所述杂波分数描述第二3D点云图像中的无关(extraneous)特征。将所述总分计算为所述覆盖分数和所述杂波分数之间的差。说明性地，使用3D相机和3D计算机辅助设计描述中的至少一个来定义所述模型。以及使用3D相机和3D计算机辅助设计描述中的至少一个来定义所述目标。说明性地，所述系统和方法定义了围绕第一3D点云图像的包围体，以计算所述覆盖分数和杂波分数。能够自动地或基于用户指定的定义来定义所述包围体。该体积可以例如限定具有成直角侧面的长方体或任何其它期望形状。在实施例中(根据某些标准)，其能够是轴对准的和/或设置为包围/界定(包含)3D点云图像的最小体积。作为初始步骤，基于所述第一3D点云图像和第二3D点云图像中的每一个的预定排列的点的匹配，执行所述第一3D点云图像和第二3D点云图像的粗略配准。说明性地，所述第一3D点云图像和第二3D点云图像中的每一点能够定义用于分数计算的覆盖权重，其中所述覆盖权重的值能够定义在0和1之间。另外，能够基于杂波分数乘以杂波率常数来估计总分。所述杂波率常数能够由用户(例如)使用GUI来设置并且其值能够为1或更小(例如0.5)。附图说明本专利技术下文的描述参考以下附图，其中：图1为视觉系统的示意图，该视觉系统设置为用于为对准目的而获取对象(示例性的平截头体)表面的3D(点云)图像；图2示出了训练时的视觉系统的示意图，该视觉系统设置为用于定义围绕无杂波区的示例性模型对象(平截头体)的合适大小的包围体；图3示出了运行时的视觉系统的示意图，其中图2中经训练的3D包围体位于示例性的运行时的对象(平截头体)的周围，该对象包括凹陷在对象顶部内的杂波区，使得经训练的包围体的大小为包括该杂波；图4示出了训练时的视觉系统的示意图，该视觉系统设置为用于定义围绕无杂波区的示例性模型对象(平截头体)的合适大小的包围体；图5示出了运行时的视觉系统的示意图，其中图4中经训练的3D包围体位于示例性的运行时的对象(平截头体)的周围，该对象包括在对象顶部上方突起的杂波区，使得经训练的包围体的大小为包括该杂波；图6为使用估计的覆盖分数和杂波分数将模型3D点云图像与目标3D点云图像对准的过程的流程图；以及图7为手动或自动设置包围体以计算3D点云图像的杂波分数的过程的流程图。具体实施方式图1示出了机器视觉系统装置(本本文档来自技高网...
【技术保护点】
一种将第一三维(3D)点云图像与第二3D点云图像对准的方法，包括：将来自模型的第一3D点云图像提供给视觉系统处理器；将来自目标的第二3D点云图像提供给视觉系统处理器；为所述第一3D点云图像与第二3D点云图像的可能对准建立合格总分；为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计覆盖分数，使得所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量；以及为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计杂波分数，使得所述杂波分数描述第二3D点云图像中的无关特征；以及将所述总分估计为覆盖分数和杂波分数之间的差。
【技术特征摘要】
2015.11.12 US 14/938,9811.一种将第一三维(3D)点云图像与第二3D点云图像对准的方法，包括：将来自模型的第一3D点云图像提供给视觉系统处理器；将来自目标的第二3D点云图像提供给视觉系统处理器；为所述第一3D点云图像与第二3D点云图像的可能对准建立合格总分；为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计覆盖分数，使得所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量；以及为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计杂波分数，使得所述杂波分数描述第二3D点云图像中的无关特征；以及将所述总分估计为覆盖分数和杂波分数之间的差。2.根据权利要求1所述的方法，其中，使用3D相机和3D计算机辅助设计描述中的至少一个来定义所述模型和所述目标中的至少一个。3.根据权利要求2所述的方法，其中，所述第一3D点云图像为模型图像。4.根据权利要求3所述的方法，其中，所述第二3D点云图像为目标图像。5.根据权利要求1所述的方法，进一步包括定义围绕所述第一3D点云图像的包围体，以计算所述覆盖分数和杂波分数。6.根据权利要求5所述的方法，其中，自动地或基于用户指定的定义来定义所述包围体的大小。7.根据权利要求6所述的方法，其中，将所述自动定义的包围体设置为完全包含第一3D点云图像的最小体积形状。8.根据权利要求1所述的方法，进一步包括基于所述第一3D点云图像和第二3D点云图像的每一个中的预定排列的点的匹配，执行所述第一3D点云图像和第二3D点云图像的初始配准。9.根据权利要求1所述的方法，其中...
【专利技术属性】
技术研发人员：贾洪骏，D·J·迈克尔，A·瓦格曼，A·赫尔舍，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。