一种基于点特征的机器人视觉控制方法技术

本发明专利技术公开了一种基于点特征的机器人视觉控制方法，针对难以获取深度信息的单目视觉场景，该方法在深度估计的基础上，利用点特征的雅克比矩阵，将平移运动和旋转运动进行解耦，用平移运动来补偿旋转运动引起的点特征变化，实现机器人的六自由度控制；本发明专利技术能够在单目视觉场景下，不需要繁琐的计算，仅利用相机的一次主动运动对目标的深度进行估计，摆脱了深度信息对基于点特征的视觉控制方法的制约，同时将平移运动和旋转运动进行了解耦，保证目标不在视野中丢失，减少了求解深度信息的计算量，提高了视觉控制的成功率，能够进一步推广点特征在单目视觉场景的使用。

A Robot Vision Control Method Based on Point Feature

The invention discloses a robot vision control method based on point feature. Aiming at monocular vision scene which is difficult to obtain depth information, the method uses Jacobian matrix of point feature to decouple translation motion and rotation motion, and uses translation motion to compensate point characteristics caused by rotation motion. The method can estimate the depth of the target only by one active motion of the camera in the monocular vision scene, and get rid of the restriction of the depth information on the visual control method based on the point feature, at the same time translating motion and rotating motion can be achieved. The decoupling method ensures that the target is not lost in the field of vision, reduces the calculation of depth information, improves the success rate of visual control, and can further promote the use of point features in monocular vision scene.

【技术实现步骤摘要】
一种基于点特征的机器人视觉控制方法
本专利技术属于机器人控制领域，更具体地涉及一种基于点特征的视觉控制方法。
技术介绍
在机器人控制过程中，对目标的精确识别、定位及检测是控制成功的关键。视觉传感器能够感知丰富的环境信息，且安装使用方便，是进行机器人控制的重要传感器。通过对视觉传感器获取的图像信息进行处理，可以得到目标的轮廓、形状、颜色等信息，还可以实现目标的运动检测、相对定位等。根据视觉误差信号的选择，可将视觉系统分为基于位置的视觉控制、基于图像的视觉控制和混合视觉控制。其中，基于图像的视觉控制方法对摄像机的标定误差和空间模型误差不敏感，控制器设计的灵活性大，计算过程较简单，在视觉控制领域得到了最为广泛的应用。在基于图像的视觉伺服控制方法中，点特征是机器人视觉跟踪、视觉控制中的常用特征。然而，单目视觉场景中，由于难以获取目标的深度信息，点特征的使用受到制约。基于此，Liu等建立深度无关的雅克比矩阵，采用eye-in-Hand形式的视觉系统，利用点特征在机器人的关节空间进行视觉伺服控制(LiuYH,WangH,ChenW,etal.Adaptivevisualservoingusingcommonimagefeatureswithunknowngeometricparameters[J],Automatica,2013,49(8):2453-2460.)。该方法摆脱了深度信息对视觉控制的约束，但在雅克比矩阵估计过程中，需要将深度信息相关的项单独提取出来作为一个比例项，计算过程繁琐。Kawamura等将图像平面的四个点特征构建成一个四边形，通过实时跟踪四个点特征的位置，更新所构建的四边形的虚拟质心，根据虚拟质心当前图像坐标和期望图像坐标之间的偏差，规划机器人的运动路线，实现户外自主移动机器人的运动控制(KawamuraH,IwataS,SahashiS,HasegawaT.Visualattitudecontrolusingavirtualvarycenterofaquadranglethatconstructedfromfeaturepointsforoutdoorautonomousmobilerobots[C].InternationalSymposimonMicro-NanoMechatronicsandHumanScience(MHS).Nagoya,Japan.November4-7,2012:316-318.)。该方法仅用一个虚拟质心进行机器人多自由度控制，精度难以保证。Cai等提出一种虚拟复合视觉系统以及新的立体视觉模型，分别将任务空间中的点特征的位置信息以及机器人位姿信息映射到新的三维视觉笛卡尔空间中，实现机器人的六自由度控制(CaiCX,SomaniN,KnollA.Orthogonalimagefeaturesforvisualservoingofa6-DOFmanipulatorwithuncalibratedstereocameras[J],IEEETransactionsonRobotics,2016,32(2):452-461.)。该方法建立了点特征信息和机器人位姿之间的对应关系，但没有考虑平移控制和旋转控制之间的耦合，难以保证目标一直出现在视野当中。
技术实现思路
基于上述背景，本专利技术的主要目的在于提供一种基于点特征的机器人六自由度控制方法。为达到上述目的，本专利技术利用点特征的雅克比矩阵，在深度估计的基础上，将平移运动和旋转运动进行解耦，用平移运动来补偿旋转运动引起的点特征信息的变化，实现机器人的六自由度控制。该方法包括步骤如下：步骤S0，使用一个视觉传感器获取目标图像；步骤S1：从所述视觉传感器获得的目标图像中选择视觉传感器敏感的至少三个点特征，离线得到所述点特征的期望图像坐标，在线提取所述点特征的当前图像坐标，比较当前值和期望值，得到当前点特征和期望点特征之间的图像偏差；步骤S2：基于小孔模型，利用摄像机一次运动前后引起的点特征坐标变化，对点特征的当前深度值进行估计；步骤S3：根据S1的点特征信息和S2的深度信息，得到点特征的雅克比矩阵；步骤S4：基于S3的点特征雅克比矩阵，采用基于图像的视觉伺服控制方法，求取摄像机的平移量和旋转量；步骤S5：基于S3的点特征雅克比矩阵，求取S4的旋转量产生的点特征坐标变化量；步骤S6：根据S3的点特征雅克比矩阵，计算补偿S5的点特征坐标变化量所需要的平移量；步骤S7：根据S4的平移量和S6的平移补偿量，得到摄像机的平移总量；步骤S8：根据S4的旋转量和S7的平移总量，得到下一步的运动控制量，实现机器人的六自由度控制。进一步说明，其中步骤S1中所述点特征的当前图像偏差是通过下式来计算的：其中，△u、△v分别表示点特征在U方向和V方向的图像坐标偏差。(ud,vd)表示点特征的期望图像坐标，(u,v)表示点特征的当前图像坐标。进一步说明，其中步骤S2中所述的点特征的当前深度值估计过程如下：对于摄像机坐标系中的点(xc,yc,zc)，焦距归一化成像平面上的成像点坐标为(x1c,y1c,1)。将式(2)对时间求导数，改写为矩阵形式式(3)为点特征在笛卡儿空间的平移运动速度与投影到成像平面空间的运动速度之间的关系。由小孔模型可知，因此，利用式(3)容易得到点特征在笛卡儿空间的平移运动速度与在图像平面的运动速度之间的关系摄像机的运动会导致点特征在摄像机坐标系中的运动。点特征在摄像机坐标系中的运动速度与摄像机在笛卡儿空间运动速度之间的关系为式中：Xc＝[xc,yc,zc]T是点特征的位置向量，vca＝[vcax,vcay,vcaz]T是摄像机的线速度向量，ωca＝[ωcax,ωcay,ωcaz]T是摄像机的角速度向量。将式(5)代入式(3)，合并同类项，并应用式(2)，有式(6)中，计算xc1和yc1时，涉及摄像机的内参数。zc的值是该点相对于摄像机坐标系的深度。因此，采用如上形式的任何控制方案必须估计或近似给出zc的值。由式(6)可得其中，zcpi是第i个点特征的zc坐标。对式(7)化简，可得第i个点特征的当前深度值：在利用式(8)估计点特征的深度时，需要用到摄像机运动前后的特征参数和相机运动量，因此在处理第一帧图像时，只提取特征参数，然后使机器人主动运动，在得到第二帧图像时，根据主动运动前后的特征参数和摄像机主动运动量，进行深度估计。进一步说明，其中步骤S3中所述的点特征的雅克比矩阵计算如下：将式(6)重写为其中，Lp就是点特征的雅克比矩阵。利用摄像机的内参数，可以求出图像点(u,v)在焦距归一化成像平面上的成像点坐标：因此，根据式(8)估计点特征的当前深度，根据式(11)计算点特征的归一化坐标，将结果带入式(10)即可得到点特征的雅克比矩阵Lp。进一步说明，其中步骤S4中所述的平移量和旋转量计算如下：对于n个点特征，其特征变化量与摄像机运动量之间满足关系：其中，Lpn是n个点特征的雅克比矩阵。采用基于图像的控制律：其中，λp是调整系数，(Δx1cn,Δy1cn)是第n个点特征在归一化平面坐标的期望值与当前值的差值。分解式(13)，得到摄像机的平移量vcap和旋转量wcap。进一步说明，其中步骤S5中所述的点特征坐标变化量计算如下：由式(6)本文档来自技高网...

【技术保护点】
1.一种基于点特征的机器人视觉控制方法，包括以下步骤：步骤S0，使用一个视觉传感器获取目标图像；步骤S1：从所述视觉传感器获得的目标图像中选择视觉敏感的至少三个点特征，离线得到所述点特征的期望图像坐标，在线提取所述点特征的当前图像坐标，比较当前值和期望值，得到当前点特征和期望点特征之间的图像偏差；步骤S2：基于小孔模型，利用摄像机一次运动前后引起的点特征坐标变化，对点特征的当前深度值进行估计；步骤S3：根据S1的点特征信息和S2的深度信息，得到点特征的雅克比矩阵；步骤S4：基于S3的点特征雅克比矩阵，求取摄像机的平移量和旋转量；步骤S5：基于S3的点特征雅克比矩阵，求取S4的旋转量产生的点特征坐标变化量；步骤S6：根据S3的点特征雅克比矩阵，计算补偿S5的点特征坐标变化量所需要的平移量；步骤S7：根据S4的平移量和S6的平移补偿量，得到摄像机的平移总量；步骤S8：根据S4的旋转量和S7的平移总量，得到机器人的运动调整量，实现机器人的六自由度控制。

【技术特征摘要】
1.一种基于点特征的机器人视觉控制方法，包括以下步骤：步骤S0，使用一个视觉传感器获取目标图像；步骤S1：从所述视觉传感器获得的目标图像中选择视觉敏感的至少三个点特征，离线得到所述点特征的期望图像坐标，在线提取所述点特征的当前图像坐标，比较当前值和期望值，得到当前点特征和期望点特征之间的图像偏差；步骤S2：基于小孔模型，利用摄像机一次运动前后引起的点特征坐标变化，对点特征的当前深度值进行估计；步骤S3：根据S1的点特征信息和S2的深度信息，得到点特征的雅克比矩阵；步骤S4：基于S3的点特征雅克比矩阵，求取摄像机的平移量和旋转量；步骤S5：基于S3的点特征雅克比矩阵，求取S4的旋转量产生的点特征坐标变化量；步骤S6：根据S3的点特征雅克比矩阵，计算补偿S5的点特征坐标变化量所需要的平移量；步骤S7：根据S4的平移量和S6的平移补偿量，得到摄像机的平移总量；步骤S8：根据S4的旋转量和S7的平移总量，得到机器人的运动调整量，实现机器人的六自由度控制。2.根据权利要求1所述的基于点特征的机器人视觉控制方法，其中步骤S1中所述点特征的当前图像偏差是通过下式来计算的：其中，△u、△v分别表示点特征在U方向和V方向的图像坐标偏差。(ud,vd)表示点特征的期望图像坐标，(u,v)表示点特征的当前图像坐标。3.根据权利要求1所述的基于点特征的机器人视觉控制方法，其中步骤S2中所述的点特征的当前深度值估计过程如下：对于摄像机坐标系中的点(xc,yc,zc)，焦距归一化成像平面上的成像点坐标为(x1c,y1c,1)。将式(2)对时间求导数，改写为矩阵形式式(3)为点特征在笛卡儿空间的平移运动速度与投影到成像平面空间的运动速度之间的关系。由小孔模型可知，因此，利用式(3)容易得到点特征在笛卡儿空间的平移运动速度与在图像平面的运动速度之间的关系摄像机的运动会导致点特征在摄像机坐标系中的运动。点特征在摄像机坐标系中的运动速度与摄像机在笛卡儿空间运动速度之间的关系为式中：Xc＝[xc,yc,zc]T是点特征的位置向量，vca＝[vcax,vcay,vcaz]T是摄像机的线速度向量，ωca＝[ωcax,ωcay,ωcaz]T是摄像机的角速度向量。将式(5)代入式(3)，合并同类项，并应用式(2)，有式(6)中，计算xc1和yc1时，涉及摄像机的内参数。zc的值是该点相对于摄像机坐标系的深度。...

【专利技术属性】
技术研发人员：卢金燕，栗科峰，熊欣，郭壮志，黄全振，
申请(专利权)人：河南工程学院，
类型：发明
国别省市：河南,41