一种机器人视觉系统技术方案

本发明专利技术公开了一种机器人视觉系统，本发明专利技术分析机器人视觉系统的各组成对象，设计以机器人为核心，包括视觉定位、静态抓取和动态跟踪功能的系统整体方案，研究机器人与视觉坐标关系，提出基于透视变换的视觉标定模型和四点标定方法，并通过超定方程组最佳的最小二乘解实现参数求优；利用标定参数，基于偏移法计算机器人位姿，引导机器人对目标的定位抓取。对于传送带上的运动工件，建立传送带模型并给出基于标记点对位的参数标定方法，实现了机器人、视觉、传送带各坐标系之间的相互转换。实现包含传送带管理和工件队列管理的动态控制策略，基于传送带和工件状态判定机器人的动作逻辑，整体流程保证工件信息的实时、准确、不重复、不遗漏。

【技术实现步骤摘要】
一种机器人视觉系统
本专利技术涉及机器人
，尤其涉及一种机器人视觉系统。
技术介绍
工业化机器人广泛应用于汽车、电子、机械制造、食品包装等行业，自动化生产线正在逐渐代替部分或全部传统的人工操作。其中，机器人定位抓取和轮廓跟踪是工业生产流程中最常见的应用之一，研究基于视觉的机器人动态定位系统(以下简称机器人视觉系统)具有重要意义。机器视觉是指用机器代替人眼来做测量和判断，使机器能够感知周围环境信息的技术。近年来，机器视觉在3C、汽车、食品包装等行业都有较普遍的应用，解决以往需要人工进行的检测、测量、识别和定位引导等重复性工作。在工业生产线上，机器视觉系统能够在较短时间内完成对成百上千元件的检测，提高了生产效率；提高相机分辨率和配置合适光源后，机器视觉检测可达到很高的检测精度，减少生产误差；机器视觉作为一种非接触检测手段，消除了与被检验元件之间的摩擦，降低了机械磨损的投入成本；通过机器视觉技术，代替传统的人工检测，提高了生产的安全性和操作的简便性。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种机器人视觉系统。本专利技术通过以下技术方案来实现上述目的：本专利技术包括视觉平台和机器人，所述机器人包括上位机和下位机，所述上位机为人机交互界面，所述下位机实现具体功能和控制逻辑，所述下位机功能模块分为标定模块、动态控制策略模块和机器人动作模块，其中，标定模块包括视觉标定、传送带标定和工件标定，使视觉、传送带、工件信息都可以转换到机器人坐标系下使用；动态控制策略模块包括对传送带的实时检测和更新、基于队列的工件管理，实现动态跟踪的逻辑控制和判断；机器人动作模块分别实现对静态工件的抓取和对传送带上运动工件的跟踪；所述视觉标定采用基于标定物的传统标定方法进行视觉标定，首先建立视觉与机器人之间的坐标关系模型，采集标定板上某几个点的像素坐标和对应机器人坐标，利用数学方法求解模型中的转换参数；利用标定出的转换关系，计算目标工件在机器人坐标系下的坐标，进而引导机器人的动作；所述动态控制策略模块基于传送带坐标系计算工件实时位姿，需要对传送带进行建模及标定；基于编码器位置反馈计算传送带实时位移和速度，视觉检出的工件利用先进先出队列进行管理，每周期对工件状态实时更新；整体流程保证机器人可以根据实时、准确的工件信息进行逻辑判定，逐个处理传送带上的运动工件；所述机器人动作模块执行跟踪操作时，先要跟上工件与之保持相对静止，然后执行相应的动态工艺，机器人需要处理的工件上的点称为工艺点，处理完退出跟随状态；为实现对运动工件的跟踪，提出工件基准坐标系标定和工艺点示教方法，通过将操作点映射到工件实时局部坐标系实现了任意位姿、任意工艺点的实时坐标计算，并在最后对跟踪效果进行优化。本专利技术的有益效果在于：本专利技术是一种机器人视觉系统，与现有技术相比，本专利技术分析机器人视觉系统的各组成对象，设计了以机器人为核心，包括视觉定位、静态抓取和动态跟踪功能的系统整体方案，研究了机器人与视觉坐标关系，提出了基于透视变换的视觉标定模型和四点标定方法，并通过超定方程组最佳的最小二乘解实现参数求优；利用标定参数，基于偏移法计算机器人位姿，引导机器人对目标的定位抓取。对于传送带上的运动工件，建立了传送带模型并给出基于标记点对位的参数标定方法，实现了机器人、视觉、传送带各坐标系之间的相互转换。设计并实现了包含传送带管理和工件队列管理的动态控制策略，基于传送带和工件状态判定机器人的动作逻辑，整体流程保证工件信息的实时、准确、不重复、不遗漏。附图说明图1是静态定位系统物理框架图；图2是动态定位系统物理框架图；图3是系统整体方案图；图4是功能模块设计图；图5是视觉标定及定位；图6是动态控制策略；图7是机器人动态跟踪；图8是通信交互请求响应示意图；图9是通信测试示意图；图10是眼在手外关系；图11是眼在手上关系；图12是视觉建模关系示意图；图13是视觉标定流程图；图14是视觉标定实验平台；图15是标定板物理坐标示意图；图16是静态抓取实验平台；图17是静态工件抓取实验结果；图18是静态工件抓放实验结果；图19是动态控制流程图；图20是传送带建模示意图；图21是传送带参数标定示意图；图22是传送带视觉标定示意图；图23是传送带状态检测及更新流程图；图24是编码器读数翻圈示意图；图25是编码器读数增量滑动滤波处理；图26是触发间距设置示意图；图27是视觉检出滞后示意图；图28是工件状态划分示意图；图29是工件重复检出示意图；图30是工件队列管理流程图；图31是未锁定工件越过放弃线示意图；图32是传送带自动启停判断逻辑；图33是传送带参数标定实验平台；图34是传送带参数标定采点；图35是机器人针尖误差测量。具体实施方式下面结合附图对本专利技术作进一步说明：机器人静、动态定位系统的物理框架分别如图1和图2所示，静态定位系统主要由机器人系统和视觉系统组成，而动态定位系统还包括传送带系统和运动工件。下面将对组成系统的各物理对象进行详细分析。1)视觉系统及其选型视觉系统由工业相机和镜头、光源、视觉软件平台等组成，用于对目标工件的精确定位。为了满足系统定位要求，需要合理进行相机、镜头、光源的选择和配置。(1)工业相机选型。系统定位精度依赖于工业相机，要综合考虑分辨率、抗噪性能、传输能力等因素来进行选择。根据感光芯片类型，工业相机可分为CCD(ChargeCoupledDevice)和CMOS(ComplementaryMetalOxideSemiconductor)两种，CCD芯片成像质量好、噪声低、灵敏度高，而CMOS芯片功耗低、传输速度高、集成性好，且成本比同分辨率的CCD相机低，本文采用600万像素(3072x2048)、千兆网、CMOS黑白工业相机，像元尺寸2.4μmx2.4μm。(2)镜头选型。镜头安装在相机上，可以调整可变光圈和焦点，使图像明亮清晰。选择镜头时主要考虑视场和焦距，一般工业相机的镜头焦距有8mm/16mm/25mm等常用规格，视场、工作距离和焦距、芯片大小满足以下关系：工作距离：视野大小＝焦距：芯片大小在镜头选型时要选择与视场相符的规格，例如本文选择的镜头焦距16mm，工业相机感光芯片长为3072×2.4μm≈7.4mm，宽为2048×2.4μm≈4.9mm.当工作距离为200mm时，视野长为同理视野宽为61.3mm.(3)光源配置。合理设计光源可以使图像中目标物体有明显的对比度，有助于提高视觉处理的稳定性和精度。光源的类型有同轴光源、环形光源、棒形光源、背光源、低角度光源等，其中环形光源和棒形光源可用于实际应用的大多数场景，背光源突出显示物体的形状轮廓而隐藏了表本文档来自技高网...

【技术保护点】
1.一种机器人视觉系统，其特征在于：包括视觉平台和机器人，所述机器人包括上位机和下位机，所述上位机为人机交互界面，所述下位机实现具体功能和控制逻辑，所述下位机功能模块分为标定模块、动态控制策略模块和机器人动作模块，其中，标定模块包括视觉标定、传送带标定和工件标定，使视觉、传送带、工件信息都可以转换到机器人坐标系下使用；动态控制策略模块包括对传送带的实时检测和更新、基于队列的工件管理，实现动态跟踪的逻辑控制和判断；机器人动作模块分别实现对静态工件的抓取和对传送带上运动工件的跟踪；/n所述视觉标定采用基于标定物的传统标定方法进行视觉标定，首先建立视觉与机器人之间的坐标关系模型，采集标定板上某几个点的像素坐标和对应机器人坐标，利用数学方法求解模型中的转换参数；利用标定出的转换关系，计算目标工件在机器人坐标系下的坐标，进而引导机器人的动作；/n所述动态控制策略模块基于传送带坐标系计算工件实时位姿，需要对传送带进行建模及标定；基于编码器位置反馈计算传送带实时位移和速度，视觉检出的工件利用先进先出队列进行管理，每周期对工件状态实时更新；整体流程保证机器人可以根据实时、准确的工件信息进行逻辑判定，逐个处理传送带上的运动工件；/n所述机器人动作模块执行跟踪操作时，先要跟上工件与之保持相对静止，然后执行相应的动态工艺，机器人需要处理的工件上的点称为工艺点，处理完退出跟随状态；为实现对运动工件的跟踪，提出工件基准坐标系标定和工艺点示教方法，通过将操作点映射到工件实时局部坐标系实现了任意位姿、任意工艺点的实时坐标计算，并在最后对跟踪效果进行优化。/n...

【技术特征摘要】
1.一种机器人视觉系统，其特征在于：包括视觉平台和机器人，所述机器人包括上位机和下位机，所述上位机为人机交互界面，所述下位机实现具体功能和控制逻辑，所述下位机功能模块分为标定模块、动态控制策略模块和机器人动作模块，其中，标定模块包括视觉标定、传送带标定和工件标定，使视觉、传送带、工件信息都可以转换到机器人坐标系下使用；动态控制策略模块包括对传送带的实时检测和更新、基于队列的工件管理，实现动态跟踪的逻辑控制和判断；机器人动作模块分别实现对静态工件的抓取和对传送带上运动工件的跟踪；
所述视觉标定采用基于标定物的传统标定方法进行视觉标定，首先建立视觉与机器人之间的坐标关系模型，采集标定板上某几个点的像素坐标和对应机器人坐标，利用数学方法求解模型中的转换参数；利用标定出的转换关系，计算目标工件在机器人坐标系下的坐标，进而引导机器人的动作；
所述动态控制策略模块基于传送带坐标系计算工件实时位姿，需要对传送带进行建模及标定；基于编码器位置反馈计算传送带实时位移和速度，视觉检出的工件利用先进先出队列进行管理，每周期对工件状态实时更新；整体流程保证机器人可以根据实时、准确的工件信息进行逻辑判定，逐个处理传送带上的运动工件；
所述机器人动作模块执行跟踪操作时，先要跟上工件与之保持相对静止，然后执行相应的动态工艺，机器人需要处理的工件上的点称为工艺点，处理完退出跟随状态；为实现对运动工件的跟踪，提出工件基准坐标系标定和工艺点示教方法，通过将操作点映射到工件实时局部坐标系实现了任意位姿、任意工艺点的实时坐标计算，并在最后对跟踪效果进行优化。


2.根据权利要求1所述的机器人视觉系统，其特征在于：所述视觉标定包括视觉建模、基于透视变换模型的视觉标定方法、基于偏移法的定位抓取方法，所述视觉建模包括手眼关系分析和透视变换模型；
所述手眼关系分析分为相机固定的眼在手外关系和相机随动的眼在手上关系，眼在手外系统的机器人基坐标系和相机坐标系静止，两者之间的关系用一个固定矩阵Mx表示；眼在手外时，利用标定板上的一组标定点，分别采集图像像素坐标和机器人基坐标系下的坐标，即可列关于转换矩阵Mx的方程；眼在手上时，利用标定板上的一组标定点，分别采集图像像素坐标和机器人工具坐标系下的坐标，即可列关于转换矩阵Mx的方程；求解出Mx并利用机器人运动学关系即可将工件像素坐标转换为机器人位姿，进而抓取；
所述透视变换模型采用单目2D相机进行视觉定位引导，系统运行时保持相机的拍照高度始终不变，视觉只需要在X、Y方向上进行定位；拍照高度保持不变时，相机坐标系和机器人坐标系之间的关系可以简化为一个平面到另一个平面的映射关系；两个任意平面坐标系之间满足以下坐标变换关系：



其中，w表示透视因子，为单应性矩阵；
机器人坐标(x,y)与像素坐标(u,v)的关系为：



可将h9化为1不影响坐标映射关系，等式化为：



所以，



其中，表示线性变换，表示平移变换，[m6m7]表示透视变换，平行四边形映射到梯形；该模型称为透视变换模型；
另外，当机器人末端坐标平面与相机坐标平面平行时，变换关系简化为以下仿射变换模型：



该模型将任意平行四边形映射到平行四边形；
所述基于透视变换模型的视觉标定方法包括四点标定方法、基于最小二乘法的标定参数求优，所述四点标定方法：建立相机坐标平面和机器人坐标平面之间的映射关系后，需要求解的转换矩阵为8个未知参数需要8个方程求解；等式(3)可以变形为：



当有四对...

【专利技术属性】
技术研发人员：宋宝，唐小琦，周向东，李含嫣，郭艺璇，李鹏帅，刘永兴，赵德鹏，周金海，
申请(专利权)人：广东拓斯达科技股份有限公司，华中科技大学，
类型：发明
国别省市：广东;44