机器人运动视觉系统的自动手眼标定系统与方法技术方案

本发明专利技术提供一种自动确定手眼标定的运动参数，并且在最小的人为干预下执行标定过程的系统和方法。该系统和方法在预标定期间自动计算手眼标定运动参数和空间位置，使标定图案可以始终保持在视觉系统相机的整个视场内并覆盖视场，从而提供全自动手眼标定处理。该系统和方法有利于在基于机器人的手眼标定环境中工作，并能补偿标定目标和视场之间的悬臂效应。手眼标定计算从机器人坐标空间到相机坐标空间的转换。这大体避免了通过一组空间位置来手动移动机器人，相机随后在空间位置获取图像并将标定特征定位在每个位置的对象上，以建立机器人和相机之间的关系的需要。

【技术实现步骤摘要】
机器人运动视觉系统的自动手眼标定系统与方法
本专利技术涉及机器视觉系统，更具体地，涉及与机器人操作器配合来对系统进行标定的系统和方法。
技术介绍
在机器视觉系统(在此也称为“视觉系统”)中，使用一个或多个相机在成像场景中的对象或表面上执行视觉系统处理。这些处理可以包括检查、符号解码、对准和各种其他自动化任务(例如对用于操作的机器人手臂或运动台的运动进行控制，以及对相对于一个或多个自由度和/或尺寸的对象的运动进行控制)。更具体地，视觉系统可用于检查在成像场景中操作的平坦工件。场景通常由可包括内部或外部视觉系统处理器的一个或多个视觉系统相机来进行成像，这些处理器操作相关的视觉系统处理来产出的结果(例如部件对齐)。为了保障执行视觉任务的充分的精确度和可靠性，通常需要标定一个或多个相机。可以使用标定对象来标定相机。标定对象(通常配置为平面的“板”)可以是平面对象，其表面具有明显的图案(通常是棋盘图案)。通过精心且精确的设计，这种独特的图案可以使用户轻松地识别出通过相机获取的板上图像的每个可见特征。一些示例性图案包括但不限于点网格、线网格、十字或可以想象的蜂窝图案、三角形棋盘等。通常，每个可见特征的特点都是从板的设计中获知的(例如相对于设计中暗含的参考位置和/或坐标系的位置和/或方向)。标定对象用于以各种方式获得关于视觉系统的所需标定参数。通过非限制性示例，可以相对于机器人的操作器(或端部执行器)安装标定对象。机器人将标定对象移动到多个离散位置，以便为机器人的坐标空间生成相对于视觉系统的坐标空间的所需标定参数。然而，由于所谓的悬臂效应，操作器的运动有时会将标定对象的全部或部分定位在视觉系统视场之外。这会限制标定过程的速度、精度和/或鲁棒性。
技术实现思路
本专利技术通过提供一种自动确定手眼标定的运动参数，并且在最小的人为干预下执行标定过程的系统和方法，来克服现有的技术问题。更具体地，该系统和方法在预标定期间自动计算手眼标定运动参数和空间位置，使标定图案可以连续(始终)保持在视觉系统相机的整个视场(fieldofview，FOV)内并覆盖视场，从而提供全自动手眼标定处理。该系统和方法有利于在基于机器人的手眼标定环境中工作，并能补偿标定目标和视场之间的悬臂效应。手眼标定计算从机器人坐标空间到相机坐标空间的转换。这大体避免了(由用户)通过一组空间位置来手动移动机器人，相机随后在空间位置获取图像并将标定特征定位在每个位置的对象上，以建立机器人和相机之间的关系(空间转换)的需要。在一个说明性实施例中，提供了一种系统和方法，用于与机器人操作器一起操作来执行视觉系统的手眼标定，其中，在标定对象和视觉系统相机的视场(FOV)之间存在相对运动。预标定处理在视场中执行三点标定，并计算从机器人操作器的坐标空间到视觉系统相机的所获取图像的坐标空间的粗略转换。基于该粗略转换，系统和方法在多个适合用于进行手眼标定的各个位置计算标定对象上的特征的空间点。然后，手眼标定模块使用空间点执行手眼标定。说明性地，基于机器人操作器的一组迭代运动和对空间点之间的机器人运动步长的调整来计算粗略转换，以将标定对象的特征保持在视场内并提供空间点之间的最小分隔距离。可以基于可选用户输入来选择部分空间点。一般来说，可以考虑到机器人操作器在标定对象和视场之间会引起悬臂效应，并且预标定处理布置用来补偿悬臂效应。因此，预标定处理计算空间位置，以将标定对象保持在视场中。在一个示例中，将视觉系统相机相对于机器人操作器安装并使其与机器人操作器一起移动。在另一示例中，将标定对象相对于机器人操作器安装并使其与机器人操作器一起移动。说明性地，机器人操作器包括多轴机器人和运动台中的一个。所述手眼标定可以在一系列运动步长中执行，所述运动步长分别定义了其间的运动步长大小，并且其中，所述运动步长大小是基于(a)所述视觉系统相机的所获取图像像素的大小和(b)所述视觉系统相机的视场的大小中的至少一个，所述视场的大小是根据直到当前运动步长为止所获取的所述标定对象的图像中的至少一个来确定。粗略转换是基于(a)三步运动处理和(b)由机器人操作器的一组迭代运动以及对空间点之间的机器人运动步长的调整中的至少一个来进行计算，以将所述标定对象的特征保持在视场内，并提供空间点之间的最小间隔距离。附图说明参考以下附图对本专利技术进行说明，其中：图1是根据一示例实施例的具有安装在端部执行器上的视觉系统相机的机器人操作器组件的示意图，用于对标定板进行成像；图2是根据另一示例实施例的具有远程安装的视觉系统相机的机器人操作器组件的示意图，以对由机器人端部执行器操纵的标定板进行成像；图3示出了由于视觉系统相机视场(FOV)和机器人操作器之间的相对运动而在标定目标上产生悬臂效应的俯视图，包括本文的系统和方法所执行的用于补偿悬臂的调整；图4是具有相关标定特征(例如交叉线)的示例性标定对象的俯视图，其具有根据本文的预标定处理来提供特征位置之间的平移和旋转的一系列移动步骤；图5是在存在悬臂效应的情况下执行手眼标定的过程的流程图，包括提供粗略空间位置的预标定处理，从而在标定运动步长期间将标定对象持续保持在视场内；以及图6是更详细地显示图5的预标定处理中执行的步长大小调整的流程图。具体实施方式一、系统概述A、安装在机器人上的相机和固定的标定对象图1示出了机器人操作器布置100，其中具有端部执行器112的多轴(例如六轴)机器人臂110在固定基部111上，端部执行器112适于携带视觉系统相机组件120。在工作空间周围操作相机120以将相机120的光轴OA和视场对准到标定对象/板130上。对象130可以定义任何适当的标定图案和相关基准(例如交叉线132)。相机可以按照沿多个轴实现全范围运动的方式安装在端部执行器112上。端部执行器112还可以包括操作器(夹持器、吸盘等)来移动有用对象(例如正在对准或拾取放置的部件)。通过这种方式，视觉系统相机组件120与端部执行器操作器一起移动，并且当端部执行器围绕工作空间移动时，视觉系统相机组件120的运动被引导(并且对象被对齐)。相机组件120包括图像传感器S和相关的固定或可变光学元件O。相机组件120通过适当的数据链路(有线和/或无线)与视觉系统处理(处理器)140互连。处理(处理器)140可以实例化为多种方式，包括作为相机组件外壳120的一部分(全部或部分)，和/或配置在如PC、膝上型计算机、服务器、平板电脑或智能手机的独立计算设备150内。如本文所述，该计算设备150还可用于帮助用户设置和/或标定视觉系统。作为示例，计算设备150包括显示器和/或触摸屏152、键盘功能154和(例如)鼠标156。通常，处理(处理器)140从相机组件传感器S接收图像数据141并传输相机控制数据142(例如焦点信息、触发信息等)。该图像数据由视觉系统工具144处理，该视觉系统工具144可以包括传统或定制的寻边器、卡尺、对比工具、斑点(Blob)分析仪等。这些工具和流程可从市面上的供应商处获得，如马萨诸塞州本文档来自技高网...

【技术保护点】
1.一种系统，用于执行与机器人操作器一起操作的视觉系统的手眼标定，所述机器人操作器用于提供标定对象和视觉系统相机的视场之间的相对运动，包括：/n预标定处理，在所述视场中执行三点标定，并计算从所述机器人操作器的坐标空间到所述视觉系统相机的所获取图像的坐标空间的粗略转换，并且基于所述粗略转换，在多个适于执行手眼标定的各个位置上计算所述标定对象上的特征的空间点；以及/n手眼标定模块，使用所述空间点执行手眼标定。/n

【技术特征摘要】
20190128 US 16/258,7401.一种系统，用于执行与机器人操作器一起操作的视觉系统的手眼标定，所述机器人操作器用于提供标定对象和视觉系统相机的视场之间的相对运动，包括：
预标定处理，在所述视场中执行三点标定，并计算从所述机器人操作器的坐标空间到所述视觉系统相机的所获取图像的坐标空间的粗略转换，并且基于所述粗略转换，在多个适于执行手眼标定的各个位置上计算所述标定对象上的特征的空间点；以及
手眼标定模块，使用所述空间点执行手眼标定。


2.根据权利要求1所述的系统，其中，
所述粗略转换是基于所述机器人操作器的一组迭代运动，以及对所述空间点之间的机器人运动步长的调整来进行计算，以将所述标定对象的特征保持在所述视场内，并提供所述空间点之间的最小间隔距离。


3.根据权利要求2所述的系统，其中，
所述空间点部分地基于可选用户输入进行选择。


4.根据权利要求2所述的系统，其中，
所述机器人操作器在所述标定对象和所述视场之间引起悬臂效应。


5.根据权利要求4所述的系统，其中，
所述预标定处理被布置成补偿所述悬臂效应，并计算空间位置，以将所述标定对象保持在所述视场内。


6.根据权利要求4所述的系统，其中，
所述视觉系统相机相对于所述机器人操作器安装，并与所述机器人操作器一起移动。


7.根据权利要求6所述的系统，其中，
所述机器人操作器包括多轴机器人和运动台中的一个。


8.根据权利要求4所述的系统，其中，
所述标定对象相对于所述机器人操作器安装，并与所述机器人操作器一起移动。


9.根据权利要求8所述的系统，其中，
所述机器人操作器包括多轴机器人和运动台中的一个。


10.根据权利要求1所述的系统，其中，
所述手眼标定是在一系列运动步长中执行，所述运动步长分别定义了其间的运动步长大小，并且其中，所述运动步长大小是基于(a)所述视觉系统相机的所获取图像像素的大小和(b)所述视觉系统相机的所述视场的大小中的至少一个，所述视场的大小是根据直到当前运动步长为止所获取的所述标定对象的图像中的至少一个来确定。


11.根据权利要求10所述的系统，其中，
基于(a)三步运动处理和(b)由所述机器人操作器的一组迭代运动以及...

【专利技术属性】
技术研发人员：伯哈德·德里克斯勒，英川·胡，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国;US