基于光流的视觉伺服跟踪方法及装置制造方法及图纸

本发明专利技术涉及基于光流的视觉伺服跟踪方法，包括以下：步骤110、获取预设位置预处理后的第一图像作为灰度特征的期望图像；步骤120、获取其他不同于预设位置预处理后的第二图像；步骤130、计算所述第二图像与所述第一图像之间的灰度变化特征误差；步骤140、通过所述灰度变化特征误差计算机器人运动到预设位置所需的速度，本发明专利技术去除几何测量的提取以匹配和跟踪过程，为了实现这一目标，使用了可以考虑的最简单的特征:图像强度，利用光流的灰度匹配变化来代替常规的图像视觉伺服中使用特征像素坐标变化来进行视觉伺服的任务，解决了在视觉伺服过程中稳定性低、可靠性差的问题。可靠性差的问题。可靠性差的问题。

【技术实现步骤摘要】
基于光流的视觉伺服跟踪方法及装置


[0001]本专利技术涉及机器视觉
，尤其涉及基于光流的视觉伺服跟踪方法及装置。

技术介绍

[0002]基于图像的视觉伺服，是直接利用图像特征来定义，参照图7，常见的图像特征有点特征，直线特征，圆特征等，其基本原理是利用期望图像和当前图像特征点像素坐标的误差信号计算出控制量，通过构建特征对应的图像雅可比矩阵，并将其变换到机器人工作空间中去，从而使机械手向目标运动，完成伺服任务，相当于把位姿估计变为控制图像的特征匹配问题，基于图像的视觉伺服系统的定位进度对于摄像机标定误差并不敏感，仅仅需要计算图像特征误差函数，与逆图像雅可比矩阵，相比于基于位置的视觉伺服具有较少的计算量，广泛应用于高速装配与抓取任务当中。
[0003]无论是使用点特征还是使用线特征来设计跟踪控制器，都要求有足够数量的相应特征，对于没有规则特征的目标物，进行跟踪控制则会出现较大困难，在运动过程中有时候因为相机的运动也可能导致图像中的特征点数量不足，而在利用结构光的跟踪问题时候，由于不同物体结构的多样性，不同的结构光形状需要不同的特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光流的视觉伺服跟踪方法，其特征在于，包括以下：步骤110、获取预设位置预处理后的第一图像作为灰度特征的期望图像；步骤120、初始化计算期望图像的雅可比矩阵与海塞矩阵；步骤130、获取其他不同于预设位置预处理后的第二图像；步骤140、计算所述第二图像与所述第一图像之间的灰度变化特征误差；步骤150、通过所述灰度变化特征误差计算机器人运动到预设位置所需的速度；定位过程：重复上述步骤130至150，实时更新所述速度，直到所述灰度变化特征误差小于第一阈值，完成定位；跟踪过程：控制机器人沿选定方向前进，重复步骤130至150，判断所述灰度变化特征误差是否大于第二阈值，若是，则判断当前轨迹发生偏离，重复定位过程对机器人移动方向进行实时纠正，然后通过图像处理算法，提取当前帧图片与期望图片的灰度匹配特征判断是否结束跟踪任务，如果能够成功提取到特征，则循环以上过程，否则当经过图像处理算法，当前帧图片和期望图片灰度匹配，则结束跟踪任务，完成跟踪。2.根据权利要求1所述的基于光流的视觉伺服跟踪方法，其特征在于，具体的，所述第一图像以及第二图像的获取过程，具体包括以下；通过VideoCapture函数实例化摄像机捕获对象，使用open函数实现系统与摄像机的连接，再使用参数设置函数set函数设定工业摄像机采集图像的分辨率为原始大小1080
×
720，通过摄像机进行图像的获取；使用OpenCV的cvtColor函数将原始三通道RGB图像转化为单通道灰度图像；使用OpenCV的图像缩放resize函数将分辨率为1080
×
720的单通道灰度图像的大小缩放为320
×
240；使用OpenCV的GaussianBlur滤波函数对图像进行平滑处理；使用OpenCV的阈值处理threshold函数对图像进行二值化处理，最终得到预处理后的图像。3.根据权利要求2所述的基于光流的视觉伺服跟踪方法，其特征在于，上述实时更新所述速度的过程具体包括以下，假设第一图像的像素灰度为I(c)，即s(c)＝I(c)＝(I
1*
，I
2*
，I
3*
，...，I
n*
)
T
其中I(c)为n
×
m的向量，也就是当前灰度图像尺寸大小，I
n*
为目标物图像的像素灰度值，I(d)为预期图像每个点的像素灰度值，记Jr为对应的灰度特征的图像雅可比矩阵，从而得到光流特征的运动速度控制律：根据两个图像中同一物理点的灰度在时间上恒定不变，得到I(x+dx，y+dy，t+dt)＝I(x，y，t)对上式进行一阶泰勒展开得到：
定义分别为该点在图像坐标中的x，y方向的运动速度，分别为该点在图像坐标中的x，y方向的运动速度，分别为该点在图像坐标中的x，y方向的灰度空间梯度...

【专利技术属性】
技术研发人员：陈新度，刘起阳，吴磊，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：