一种基于图像混合矩的机器人视觉伺服控制方法技术

本发明专利技术公开了一种基于图像混合矩的机器人视觉伺服控制方法。先给出机器人期望位姿下对目标物成像后与空间姿态一一对应的混合矩特征构建；然后在任意姿态下获取目标物图像，计算当前的混合矩特征信息值，并根据期望图像与当前图像的信息计算混合矩特征值的偏差，如果偏差小于预设阈值，说明机器人已经到达期望位姿，否则推导与混合矩特征相关的图像雅克比矩阵，利用视觉伺服控制器使得机器人朝向期望的位姿运动，直到特征偏差小于预设阈值，结束控制流程。本发明专利技术通过引入与机器人空间运动轨迹相对应的图像域混合矩特征作为控制输入，完成对眼在手机器人系统在工作空间模型未知情形下的视觉伺服控制，可以广泛应用基于机器视觉的机器人智能控制。

A robot visual servo control method based on image mixing moment

【技术实现步骤摘要】
一种基于图像混合矩的机器人视觉伺服控制方法
本专利技术涉及一种机器人视觉伺服控制方法，属于机器人学、机器视觉与控制领域。
技术介绍
近二十年来工业机器人在诸多工业环境中得到了广泛的应用。为满足复杂的作业要求，机器人的研究已经从原始简单的机械控制转变成多传感器信息融合的智能设备。传统的机器人在面对单一作业要求、系统参数给定的情况下，可以采用常规的控制策略进行重复的生产工作，但面临作业环境复杂且系统参数不确定时，末端执行器会因为目标姿态的不确定性而无法满足高速、高精度、智能化作业的需求。为提高工业机器人控制系统的鲁棒性，视觉传感器提供了有效的解决方案，为工作状态不确定性的目标对象提供丰富的信息反馈。机器人视觉伺服控制系统利用视觉感知建立图像坐标系和空间坐标系间的映射关系，然后利用视觉算法和图像处理的相关知识对工作空间进行三维描述，最后根据识别定位结果进行目标对象的处理。常见的视觉控制方法分为基于位置的视觉伺服方法(PBVS)和基于图像的视觉伺服方法(IBVS)。PBVS利用从图像信息中提取出的目标位置，使用坐标变换、位姿估计算法得到目标与机器人末端执行器的相对位置关系，并据此设计视觉伺服控制引导机器人进行运动；IBVS将控制误差定义在图像平面，利用图像特征进行视觉信息反馈控制，构造图像特征变化与机器人动作之间非线性映射关系的雅克比矩阵，并在系统运行过程中连续更新，从而实现视觉伺服控制。
技术实现思路
本专利技术的目的在于针对当前IBVS中主要从图像中提取点、线段、圆弧等简单几何特性使系统鲁棒性和通用性较差的技术问题，提供一种提取图像新特征的机器人视觉伺服控制方法。本专利技术方法针对目标物在相机不同位姿下成像可能产生畸变的特点，通过引入图像中目标物的混合矩信息，将改进后的图像特征以及雅克比矩阵用于机器人视觉伺服控制。本专利技术所述的控制方法涉及一种图像无标定的眼在手机器人控制系统，包括视觉传感器及图像处理单元，运动控制器，机器人本体。其中视觉传感器及图像处理单元用于图像采集和提取目标的混合矩特征；运动控制器完成视觉伺服控制器发出的运动指令，即通过逆运动学解算将末端关节的位姿变化映射到机器人本体各个关节的运动情况。为了实现上述技术目的，本专利技术的技术方案是，一种基于图像混合矩的机器人视觉伺服控制方法，包括以下步骤：S1：建立一个包含眼在手机器人活动区域的空间坐标系，通过图像处理识别目标物在机器人末端所持相机运动过程中的实时成像位置，并提取图像中的目标物轮廓，给出机器人任意位姿下目标图像的特征信息；S2：根据机器人期望位姿下目标图像的特征信息得到期望混合矩s*，再根据步骤S1中得到的机器人当前任意位姿下目标图像的特征信息构建实时混合矩s，并计算图像偏差Δs＝(s-s*)，如果Δs小于预设阈值δ，则机器人末端所持相机对目标物成图已达到期望混合矩值，也即机器人达到期望位姿，控制流程结束，否则执行步骤S3；S3：利用步骤S2中得到的混合矩信息s，构建基于当前混合矩的雅克比矩阵Ls；S4：根据步骤S2中得到的混合矩偏差信息Δs和步骤S3中得到的雅克比矩阵Ls，结合视觉伺服控制器调整机器人末端的位姿；S5：获取调整姿态后的机器人末端相机拍摄到的目标物图像特征信息，返回步骤S2。所述的基于图像混合矩的机器人视觉伺服控制方法，所述步骤S2中构建混合矩的方法为：S201：根据步骤S1中提取的由一系列像素点组成的目标物轮廓及灰度值，计算目标物成像区域的重心点坐标O(xg,yg)以及轮廓拟合边线的一般表达式θi：aixi+biyi+ci＝0，其中i＝1,2,3,…,n；(xi,yi)表示位于第i条拟合边线上的像素点坐标，ai,bi,ci为第i条拟合边的一般式直线方程参数，且有以重心点O为圆心，重心点到多条边框线的最短距离为半径在图像面目标物投射区域轮廓内作圆，计算圆面积ag＝πd2；S202：将机器人调整到期望位姿下对目标物成图，并根据步骤S201中所述方法得到目标物期望图像的重心坐标和内切圆面积，记作和据此构建期望混合矩和机器人任意位姿下对目标物成图的实时混合矩s＝[βxg/f,βyg/f,β]，其中f为相机焦距，所述的基于图像混合矩的视觉伺服控制方法，所述的步骤S201中，计算重心坐标o(xg,yg)的方法为：其中，Ω为目标在相机中的成像区域，(x,y)为Ω中的像素点坐标，f(x,y)为(x,y)像素坐标处的灰度值。所述的基于图像混合矩的机器人视觉伺服控制方法，所述步骤S3中与混合矩相关的雅克比矩阵计算方法为：S401：根据步骤S201中获得的重心坐标o(xg,yg)特征和轮廓内圆面积ag特征，构建相关的图像雅克比矩阵S402：根据混合矩特征s＝[βxg/f,βyg/f,β]，则有图像雅克比矩阵因此有所述的基于图像混合矩的机器人视觉伺服控制方法，根据步骤S202中构建的混合矩和步骤S402中推导的雅克比矩阵，通过视觉伺服控制器计算机器人末端相机的运动速度vcamera用于指导机器人的瞬时运动，其中λ为控制器增益，为Ls的广义逆矩阵。所述的基于图像混合矩特征的机器人视觉伺服控制方法，所述的眼在手机器人包括设有多个机械臂和用于连接机械臂的关节的机器人、工业相机、运动控制单元和图像处理单元，其中所述的机器人末端安装工业相机，所述的运动控制单元将机器人末端位移速度和方向指令映射到各个关节的旋转速度和角度，所述的图像处理单元用于计算图像中目标的重心坐标和最小内切圆面积。本专利技术的技术效果在于，与现有视觉伺服控制系统相比，本专利技术利用混合矩信息而不是点、线等简单的几何信息作为图像特征，且不需要对机器人手眼关系进行标定，能够在相机空间坐标中深度信息时变的情况下实现较好的控制性能，使控制器对图像噪声不敏感，提高了系统的鲁棒性，从而能根据目标在相机中成像的特点，调整机器人末端执行器的位姿，实现机器人空间姿态与图像信息的唯一对应关系。因此，可通过目标在相机移动中的成像轨迹间接完成机器人末端在空间中的路径规划，使机械手的工作效率更高，对环境的适应性更强。附图说明图1为本专利技术所述控制方法的流程示意图。图2为本专利技术具体实施方式中在Matlab\Simulink环境下视觉伺服控制系统的结构框图。图3为本专利技术具体实施方式中所述工业机器人视觉伺服系统组成示意图。图4a)为本专利技术具体实施方式中所述方形目标物平面垂直于相机光轴下成像混合矩信息提取示意图；b)为本专利技术具体实施方式中所述方形目标物平面倾斜于相机光轴下成像混合矩信息提取示意图。具体实施方式下面结合具体实施例，并参照附图，对本专利技术作进一步详细说明。本专利技术基于以下原理：对于关节末端安装相机的工业机器人，可以通过视觉信息控制机器人各关节运动，从而实现机器人避障、接近目标物等一系列动作。由于目标物与机器人本体的相对位姿关系是隐含在图像特征中，机器人的移动会引起目标物在图像中的成像发生变化。图像雅克比矩阵描述了机器人末端的移动与目标在图像中的成像变化之间的关系，即其中，为图像特征矢量变化率，为机器人末端执行器的速度矢量，则图像雅克比矩阵Ls可表示为：其中f1,f2,…,fm表示图像特征矢量，r1,r2,…,rn表示机器人末端执行器在机器人任务空间中的位姿向量。显然机器人在空间中的移动和目标在图像中成像的变化是一个复杂的非线本文档来自技高网...

【技术保护点】
一种基于图像混合矩的机器人视觉伺服控制方法，其特征在于，包括以下步骤：S1：建立一个包含眼在手机器人活动区域的空间坐标系，通过图像处理识别目标物在机器人末端所持相机运动过程中的实时成像位置，并提取图像中的目标物轮廓，给出机器人任意位姿下目标图像的特征信息；S2：根据机器人期望位姿下目标图像的特征信息得到期望混合矩s

【技术特征摘要】
1.一种基于图像混合矩的机器人视觉伺服控制方法，其特征在于，包括以下步骤：S1：建立一个包含眼在手机器人活动区域的空间坐标系，通过图像处理识别目标物在机器人末端所持相机运动过程中的实时成像位置，并提取图像中的目标物轮廓，给出机器人任意位姿下目标图像的特征信息；S2：根据机器人期望位姿下目标图像的特征信息得到期望混合矩s*，再根据步骤S1中得到的机器人当前任意位姿下目标图像的特征信息构建实时混合矩s，并计算图像偏差Δs＝(s-s*)，如果Δs小于预设阈值δ，则机器人末端所持相机对目标物成图已达到期望混合矩值，也即机器人达到期望位姿，控制流程结束，否则执行步骤S3；S3：利用步骤S2中得到的混合矩信息s，构建基于当前混合矩的雅克比矩阵Ls；S4：根据步骤S2中得到的混合矩偏差信息Δs和步骤S3中得到的雅克比矩阵Ls，结合视觉伺服控制器调整机器人末端的位姿；S5：获取调整姿态后的机器人末端相机拍摄到的目标物图像特征信息，返回步骤S2。2.根据权利要求1中所述的基于图像混合矩的机器人视觉伺服控制方法，其特征在于，所述步骤S2中构建混合矩的方法为：S201：根据步骤S1中提取的由一系列像素点组成的目标物轮廓及灰度值，计算目标物成像区域的重心点坐标O(xg,yg)以及轮廓拟合边线的一般表达式li：aixi+biyi+ci＝0，其中i＝1,2,3,…,n；(xi,yi)表示位于第i条拟合边线上的像素点坐标，ai,bi,ci为第i条拟合边的一般式直线方程参数，且有以重心点O为圆心，重心点到多条边框线的最短距离d＝min{di},为半径在图像面目标物投射区域轮廓内作圆，计算圆面积ag＝πd2；S202：将机器人调整到期望位姿下对目标物成图，并根据步骤S201中所述方法得到目标物期望图像的重心坐标和内切圆面积，记作和据此构建期望混合矩和机器人任意位姿下对目标物成图的实时混合矩s＝[βxg/f,βyg/f,β]，其中f为相机焦距，3.根据权利要求2所述的基于图像混合矩的视觉伺服控制方法，其特征在于，所述的步骤S201中，计算重心坐标O(xg,yg)的方法为：

【专利技术属性】
技术研发人员：徐德刚，周雷，沈添天，洪松涛，阳春华，桂卫华，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43