一种机器人视觉伺服系统的联合自动标定方法及装置制造方法及图纸

本发明专利技术实施例公开了一种机器人视觉伺服系统的联合自动标定方法及装置，方法包括：对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；进行线结构光平面标定，确定线结构光平面参数；进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；根据相机内参、畸变参数、线结构光平面参数、坐标转换关系和变换关系确定机器人视觉伺服系统的联合自动标定结果。首先其实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感；其次实现了标定流程的自动化，去除了人工操作，提高了工作效率。

A Joint Automatic Calibration Method and Device for Robot Visual Servo System

【技术实现步骤摘要】
一种机器人视觉伺服系统的联合自动标定方法及装置
本专利技术涉及计算机
，具体涉及一种机器人视觉伺服系统的联合自动标定方法及装置。
技术介绍
机械手臂是机器人
中得到最广泛实际应用的自动化机械装置，在工业制造、医学治疗、娱乐服务、军事、半导体制造等领域都有着广泛的应用，虽然常见的六自由度机械手臂位姿精度现在已经可以做到很高的级别，但是实际使用时达到高精度需要复杂的模拟仿真以及现场示教过程来实现，同时对于工件的一致性有很高的要求，缺乏自主纠正偏差的智能性。上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人，意在通过工业相机(CCD或者CMOS传感器)在机器人工作时对目标工件图像进行采集和分析，针对不同的应用实现一定程度的智能化系统。但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了，我们称其为“视觉反馈”(visualfeedback)。后有人将视觉系统应用于机器人闭环控制系统并提出了“视觉伺服”(visualservo)概念，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制，随着机器人继而对新的位置进行视觉信号处理再不断纠正对机器人控制的闭环全过程，所以视觉伺服代表了更先进的机器人视觉和控制系统。在传统视觉伺服系统中，视觉部分往往指的是单一的视觉传感器，即CCD或者CMOS相机。按照相机放置位置的不同，可以分为眼在手上系统(eye-in-hand)和眼在手外系统(即固定相机系统)(eye-to-hand)。在自主移动机器人的视觉导航系统中，机器人必须准确地获悉其自身与周围环境的绝对位姿关系，才能有效的实现自主导航，这就对机器人相对环境的参考坐标系的绝对定位精度具有较高要求，所以视觉标定是及其重要的一个部分。标定主要分为相机标定和手眼标定两步。相机标定用于计算CCD或CMOS传感器的相机成像几何模型，手眼标定用于计算机器人坐标系和相机坐标系之间的矩阵转换关系。相机标定和手眼标定根据是否需要靶标，靶标维度，视觉传感器个数，手眼系统安装方式，手眼标定模型等多种因素，区分出了很多不同形式的标定方案。对于现有的视觉伺服系统来说，相机标定主要采用基于二维平面靶标的(平面棋盘格或者平面二维圆形点阵靶标)的标定方案，手眼标定主要采用了基于AX＝XB手眼模型方程，旋转和平移部分同时求解的非线性方法。对于一些采用单目相机的视觉伺服系统来说，需要结构光辅助进行三维重建，结构光投射器投射的光束经过一个柱面镜在三维空间中形成一个光平面，当该平面与被测物体表面相交时产生一光条纹。该光条纹受到被测物体表面的调制而发生形变，形变的光条纹在相机像平面上成像，利用相机成像原理及线结构光视觉传感器的参数计算出被测物体表面的三维信息，即实现了线结构光视觉传感器的测量、检测等任务。此时就需要额外增加一种结构光标定，即计算结构光平面与相机坐标系之间的矩阵关系。结构光平面标定的关键是获得光平面上的标定点在参考坐标系中坐标和利用光平面的投影特性实现其标定，利用特殊设计的各种靶标图像交比不变的性质进行标定。现有的这些标定方法主要聚焦在对于传统视觉伺服系统的标定，如果伺服系统中引入了不可成像的传感定位系统，则无法与之进行标定，即目前的视觉标定方法仅局限于狭义的基于可见光图像传感器的视觉伺服系统；同时传统的标定方法中存在大量的人工操作，例如需要人工移动靶标或者人工操作机器人移动采集不同方向的靶标图像，这在实际生产环境中会带来调试难度的加大和效率的降低；另外，由于视觉伺服系统最终的误差是由多个标定过程误差所累积的，目前的多数研究都只对单一标定进行误差的分析与优化，没有考虑系统误差的全局优化。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提出一种机器人视觉伺服系统的联合自动标定方法及装置。第一方面，本专利技术实施例提出一种机器人视觉伺服系统的联合自动标定方法，包括：对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。第二方面，本专利技术实施例还提出一种机器人视觉伺服系统的联合自动标定装置，包括：相机标定模块，用于对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；光平面标定模块，用于对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；手眼标定模块，用于对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；定位系统标定模块，用于对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；联合标定模块，用于根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。第三方面，本专利技术实施例还提出一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。第四方面，本专利技术实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。由上述技术方案可知，本专利技术实施例通过依次进行相机标定、线结构光平面标定、手眼标定和定位系统标定，首先其实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感，而可以引入其他非可成像类型的室内定位传感技术；其次实现了标定流程的自动化，去除了人工操作，最大程度实现了全流程标定的自动化，大大提高了工作效率；同时对四种标定结果进行分析与优化，实现了系统误差的全局优化。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1为本专利技术一实施例提供的一种机器人视觉伺服系统的联合自动标定方法的流程示意图；图2为本专利技术一实施例提供的一种机器人视觉伺服系统的结构示意图；图3为本专利技术一实施例提供的一种机器人视觉伺服系统的相机标定方法的流程示意图；图4为本专利技术一实施例提供的一种机器人视觉伺服系统的线结构光平面标定方法的流程示意图；图5为本专利技术一实施例提供的一种机器人视觉伺服系统的手眼标定方法的流程示意图；图6为本专利技术一实施例提供的一种机器人视觉伺服系统的定位系统标定方法的流程示意图；图7为本专利技术一实施例提供的一种机器人视觉伺服系统的联合标定方法的流程示意图本文档来自技高网...

【技术保护点】
1.一种机器人视觉伺服系统的联合自动标定方法，其特征在于，包括：对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。

【技术特征摘要】
1.一种机器人视觉伺服系统的联合自动标定方法，其特征在于，包括：对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。2.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数，具体包括：采集完整的二维棋盘格靶标图案，对采集到的所述二维棋盘格靶标图案进行清晰度评估，得到所述二维棋盘格靶标图案的清晰度；若判断所述清晰度不满足预设要求，则计算目标点位置，并根据所述目标点位置移动末端执行器进行自动对焦；自动对焦完成后，以当前点为初始点，采用球面拟合生成在球面上距离靶标一致的位置和姿态，根据所述位置和姿态按顺序遍历计算出来的采样点位姿并控制所述第二机器人移动到各个采样点进行采样；将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行相机标定，得到相机内参和畸变参数。3.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数，具体包括：获取初始采样点集，控制激光器关闭采集棋盘格特征角点图案，并开启采集线结构光条纹图案；提取图案特征，根据所述图案特征计算图像雅可比矩阵，根据所述图像雅可比矩阵和卡尔曼滤波估计末端执行器的移动矩阵；根据所述移动矩阵移动所述第二机器人，使线结构光条纹恰好过棋盘格预定好的三个特征角点，获得当前的合法图像数据，并根据所述合法图像数据确定线结构光平面参数。4.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系，具体包括：获取指定采样点，根据所述指定采样点采集棋盘格特征角点图案；按顺序遍历采样点位姿并控制所述第二机器人移动到各个采样点进行采样；将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行手眼标定，得到所述第二机器人末端执行器与相机的坐标转换关系。5.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系，具体包括：控制第一机器人带着标定物移动到预先设定好的采样轨迹的起始点，并记录当前标定物在红外激光坐标系下的位姿矩阵；根据所述第一机器人和所述第二机器人之间的转换矩阵以及所述第二机器人手眼标定的结果，计算出所述第二机器人移动到的目标采样点，控制所述第二机器人移动到所述目标采样点并拍摄二维棋盘格靶标特征图案；根据预...

【专利技术属性】
技术研发人员：郭颜京天，刘昊，
申请(专利权)人：北京无远弗届科技有限公司，
类型：发明
国别省市：北京,11