在引导装配环境中将机器视觉坐标空间关联的系统和方法技术方案

本发明专利技术提供了一种在标定时间期间利用运行时工件的特征代替标定板将两个位置的坐标空间关联在一起的系统和方法。预计其存在三种可能的方案：其中，在二者位置上拍摄具有相同特征的工件的图像并进行识别；其中，拍摄到的运行时工件的特征图像在各个位置上均不同(可采用CAD或工件测量再现)；并且其中，利用手眼标定将含有运动平台的第一位置标定到运动平台，并通过在位置之间往复传送运行时零件，将第二位置手眼标定至相同的运动平台。举例来说，可通过运行多个运行时工件(每个工件姿态不同)，以提取特征，并累积每个位置上的此类特征，然后利用累积到的特征关联两个坐标空间，以提高前两种技术的质量。

【技术实现步骤摘要】
在引导装配环境中将机器视觉坐标空间关联的系统和方法分案申请本申请为申请号201610639067.9、申请日2016年08月05日、提案名称为“在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法”、现已修改名称为“在引导装配环境中将机器视觉坐标空间关联的系统和方法”的分案申请。相关申请本申请基于申请号为62/201,723、名称为在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法、申请日为2015年8月6日的美国共同未决临时专利申请提出，并要求该临时专利申请的优先权，本专利申请的教导示例在此明确引入本文中作为参考。
本专利技术涉及一种机器视觉系统，尤其涉及在制造和引导装配环境中用于引导工件及其他对象的装配的视觉系统。
技术介绍
在机器视觉系统(本文中也称作“视觉系统”)中，一个或多个相机用于在图像场景中在对象或表面上执行视觉系统流程。这些流程包括检查、符号解码、对齐以及若干其他自动化任务。尤其是，该视觉系统可用于检测通过图像场景的扁平物体。通常情况下，场景由包括内部或外部视觉系统处理器的一个或多个视觉系统相机进行拍摄，其中的视觉系统处理器运行相关的视觉系统进程，以生成结果。标定一个或多个相机，使其足够准确和可靠地执行视觉任务。可采用标定板标定相机并建立公共(全局)坐标空间(也称作坐标“系”)，以使全部相机的像素位置映射至该坐标空间中的相关坐标点，从而将所有相机中的特征图像定位于该坐标空间内。在采用运动平台引导对象装配的专利申请中，标定流程包括在运动平台(也称作“运动坐标空间”)与公共坐标空间之间建立关联。此类标定可采用已知的“手眼”标定技术完成。视觉系统的一个显著任务是通过自动装配机构帮助引导和验证对象(也称作“工件”)的装配，其中，自动装配机构包括滑台(运动平台)，用于将工件准确支撑在装配位置；操纵器(如：执行“拾取和放置”操作的机械手或机械臂，或者其他类型的运动设备或运动平台)，用于将另一个处于“装配运动”状态的工件移动至用于安装该工件的重叠对齐位置。特殊的拾放操作包括将一个工件与另一个工件对齐。举例来说，操纵器可通过拾放操作拾取触摸屏并将其放入置于运动平台上的手机凹槽中，其中，操纵器从拾取位置移动各触摸屏，并将其放置在待装配手机机体上的放置位置(有时也称作“放置站点”)。这就要求触摸屏与手机机体适当且准确地对齐。由于一些示例性系统经过初始校准，因此，各工件在系统运行操作期间可与其他工件正确对齐。在校准期间，这些工件被定位在其各自的位置或站点，因此，校准后，在装配时，已装配的工件具有了预定的相互位置关系。之后，为了体现所有的放置或尺寸偏差，在运行期间利用视觉系统控制位置上的相关运动平台，将一个工件或二者工件重新定位到各自的位置，然后再进行装配。因此，通过调整运动平台，可使工件处于与其校准时期相同的相互位置关系(预期位置关系)。其他示例性系统可忽略校准流程，举例来说，可在运行期间利用装配件的几何形状的系统，如：当第一矩形件以第二矩形件为中心时。作为最后用于计算运动平台运动参数的流程的一部分，在拍摄工件场景后，应提取各工件的所属特征并映射至公共坐标空间，其中的运动参数可能会用于实现预期装配。公共坐标空间映射是出于标定流程的需要。在许多装配系统中，标定流程包括：利用传送零件的重复型操纵器在位置之间传送特殊标定板，并在二者位置上拍摄标定板图像。该技术存在若干缺点。举例来说，由于工件与标定板在形状、重量或其他特征方面存在差异，因此，用于传送零件的拾放抓手可能无法用于传送标定板。也就是说，标定板与抓手参数不匹配。在此类系统中，用户须手动输入公共坐标空间的映射参数，这常常会造成标定效果不理想。此外，由于零件和标定板的特征差异(如厚度差异或其他特征差异)，在标定和运行期间拾放操纵器的运行路径可能不同。这样将导致标定出现误差，这是因为操纵器在运行期间和校准期间的运行步骤存在差异。概括地说，由于需额外步骤进行设置等操作，因此，给用户在标定期间使用单独的标定板造成极大方便。此外，现有标定技术的缺点还在于其对某些机械原理和/或反复试验及误差原则的依赖，这些原理和原则存在局限性和/或操作不方便，并且耗时。例如：在某一技术中，允许构建机械系统，因而，第一位置的坐标空间与第二位置的坐标空间之间的关系是已知且既定的。该技术对灵活性形成了限制，并且不能体现位置随时间变化而可能出现的移动或变化。在另一技术中，需初步估算两位置之间的关系，并利用装配件的质量反复优化该位置关系。该技术耗时，且需依赖多重迭代才可达到预期准确度。
技术实现思路
本专利技术通过提供一种利用运行时工件的特征在标定期间将两个位置的坐标空间关联在一起的标定系统和方法，克服了现有技术中由于采用操纵器(和相关抓手)在拾取与放置位置之间传送标定板所产生的问题导致的缺点。该系统和方法至少累积了三种不同的方案或技术：一种是可在二者位置上拍摄具有相同特征的工件的图像并进行识别；另一种是拍摄到的运行时工件的特征图像在各个位置均不同(其中，可采用CAD或工件测量再现)；再一种是利用手眼标定将含有运动平台的第一位置标定到运动平台，并通过在位置之间往复传送运行时零件，将第二位置手眼标定至相同的运动平台。举例来说，可通过运行多个运行时工件(每个工件姿态不同)，提取特征并累积每个位置上的此类特征，然后利用累积的特征将两个坐标空间关联起来，以提高前两种技术的质量。概括地说，该系统和方法对两个位置进行独立标定，并通过工件传送利用工件的特征(而非标定板的特征)将两个位置的坐标空间关联在一起，其中，在装配期间，构建、设置/利用操纵器来传送工件。在一说明性实施例中，提供了一种在操纵器将第一位置的第一工件传送至第二位置的环境中用于标定视觉系统的系统和方法。在第一工件上执行操作，该操作依赖于将第一位置和第二位置的坐标空间关联在一起。至少设置一个视觉系统相机，当第一工件定位于第一位置时，用于拍摄第一工件的图像，并且当第一工件定位于第二位置时，用于拍摄第一工件的图像。相对于第一位置标定至少一个视觉系统相机，以获得限定第一坐标空间的第一标定数据，以及相对于第二位置标定至少一个视觉系统相机(可能为同一或相同的相机)，以获得限定第二坐标空间的第二标定数据。至少第一工件的特征可根据第一工件的第一图像在第一位置进行识别。基于第一图像中的识别特征，在相对于第一位置的第一坐标空间中定位第一工件。第一工件至少被操纵器抓取和移动一次至第二位置上的操纵器预定位置，并在第二位获得第一工件的第二图像。基于第二图像中的识别特征，在相对于第二位置的第二坐标空间中定位第一工件。为此，第一坐标空间和第二坐标空间被关联在一起。举例来说，如果第一图像中的识别特征与第二图像中的识别特征相同，那么该系统和方法包括：(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)映射相对于第二标定数据的第二图像中的识别特征的位置，以及(c)计算将第二位置的映射特征映射至第一位置的映射特征的变换。或者，如果第一图像中的某些识别特征与第二图像中的识别特征不同，那么该系统和方法包括：(a)映射相对于第一标定本文档来自技高网...

【技术保护点】
1.一种在操纵器将第一位置上的第一工件传送至第二位置的环境中用于标定视觉系统的方法，其中，第一工件的操作依赖于将第一位置和第二位置的坐标空间关联在一起，所述方法的步骤包括：/n至少设置一个视觉系统相机，当第一工件定位在第一位置时，用于拍摄第一工件的图像，以及当第一工件定位在第二位置时，拍摄第一工件的图像；/n相对于第一位置标定至少一个视觉系统相机，以获得限定第一坐标空间的第一标定数据，以及相对于第二位置标定至少一个视觉系统相机，以获得限定第二坐标空间的第二标定数据；/n根据第一工件的第一图像至少识别在第一位置上的第一工件的特征；/n基于第一图像中的识别特征，在相对于第一位置的第一坐标空间中定位第一工件；/n通过操纵器至少抓取并移动第一工件至第二位置的预定操纵器位置一次；/n获得第一工件在第二位置上的第二图像；以及/n基于第二图像中的识别特征，在相对于第二位置的第二坐标空间中定位第一工件，并将第一坐标空间和第二坐标空间关联在一起。/n

【技术特征摘要】
20150806 US 62/201,723;20160729 US 15/223,4361.一种在操纵器将第一位置上的第一工件传送至第二位置的环境中用于标定视觉系统的方法，其中，第一工件的操作依赖于将第一位置和第二位置的坐标空间关联在一起，所述方法的步骤包括：
至少设置一个视觉系统相机，当第一工件定位在第一位置时，用于拍摄第一工件的图像，以及当第一工件定位在第二位置时，拍摄第一工件的图像；
相对于第一位置标定至少一个视觉系统相机，以获得限定第一坐标空间的第一标定数据，以及相对于第二位置标定至少一个视觉系统相机，以获得限定第二坐标空间的第二标定数据；
根据第一工件的第一图像至少识别在第一位置上的第一工件的特征；
基于第一图像中的识别特征，在相对于第一位置的第一坐标空间中定位第一工件；
通过操纵器至少抓取并移动第一工件至第二位置的预定操纵器位置一次；
获得第一工件在第二位置上的第二图像；以及
基于第二图像中的识别特征，在相对于第二位置的第二坐标空间中定位第一工件，并将第一坐标空间和第二坐标空间关联在一起。


2.根据权利要求1所述的方法，其中，第一图像中的识别特征与第二图像中的识别特征相同，并且所述方法进一步包括：(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)映射相对于第二标定数据的第二图像中的识别特征的位置，以及(c)计算将第二位置的映射特征映射至第一位置的映射特征的变换。


3.根据权利要求1所述的方法，其中，第一图像中的某些识别特征与第二图像中的识别特征不同，并且所述方法进一步包括：(a)映射相对于第一标定数据的第一图像中的识别特征的位置，(b)计算相对于存储的第一工件特征位置规范的变换，(c)映射相对于第二标定数据的第二图像中的识别特征的位置，(d)工件在第一位置上时，利用步骤(b)中计算得出的映射变换，从第一坐标空间中的第二图像中得出识别特征的位置，以及(e)计算将第二位置的映射特征映射至第一位置的相应转换特征的变换。


4.根据权利要求3所述的方法，其中，所述规范基于第一工件的CAD模型。


5.根据权利要求3所述的方法，其中，所述规范基于第一工件的测量模型。


6.根据权利要求1所述的方法，进一步包括：(a)通过促动装置在第一位置或第二位置迭代移动第一工件，使其形成若干不同的姿态，(b)识别第一位置和第二位置中的每一个位置上的每种姿态的特征，以及(c)累积特征识别信息，以增强准确性；其中，第一工件可以是相同的工件或为若干离散工件中的一个。


7.根据权利要求1所述的方法，进一步包括提供从图像坐标系至第一位置的标定坐标系的映射，并且其中该映射为一整体。


8.根据权利要求1所述的方法，其中，所述第二位置上具有第二工件，在第二工件中，第一工件以预定对齐方式与第二工件啮合。


9.根据权利要求8所述的方法，其中，所述第二工件是用于进一步处理第一工件的零件、容器或框架。


10.根据权利要求1所述的方法，其中，所述操作是相对于另一对象的对齐操作、第一工件的打印操作和第一工件的应用操作中的至少一个。


11.根据权利要求10所述的方法，其中，至少应当在远离第一位置和第二位置的位置上部...

【专利技术属性】
技术研发人员：G·希瓦拉姆，C·C·小马里恩，刘力峰，李拓拓，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国;US