一种基于双目视觉多手势机器人控制方法技术

本发明专利技术涉及机器人控制方法领域，具体涉及基于双目视觉多手势机器人控制方法，本发明专利技术为了解决现有的基于视觉的机器人控制方法操作不便、对手的识别受光照和背景颜色影响很大，且离线示教方法计算量大、对机器人模型精度及坐标系的确定有很高精度要求的缺陷，而提出一种基于双目视觉多手势机器人控制方法，包括：设置双目相机；人工选取包含手势的矩形框；使用训练样本集对分类器进行训练。分类器检测得到目标；再对目标进行跟踪，将跟踪结果和检测结果进行融合；计算目标中心点从初始点移动到目标点的偏移距离，并输出速度控制指令，使机器人进行平移运动；在目标框中提取特征点，求解特征点对应的旋转矩阵。本发明专利技术适用于喷漆机器人控制方法。

【技术实现步骤摘要】
一种基于双目视觉多手势机器人控制方法
本专利技术涉及机器人控制方法，具体涉及一种基于双目视觉多手势机器人控制方法。
技术介绍
工业机器人的应用主要通过操作人员使用示教器，手动控制机器人的关节运动，以使机器人运动到预定的位置，同时将该位置进行记录，并传递到机器人控制器中，之后的机器人可根据指令自动重复该任务，但是目前的示教方法存在过程繁琐、效率低的问题目前在工业机器人示教方法上，主要有两种方法——人工示教方法和离线示教方法。人工示教是指由人工导引机器人末端执行器,或由人工操作导引机械模拟装置，或用示教盒来使机器人完成预期的动作，由于此类机器人的编程通过实时在线示教程序来实现,而机器人本身凭记忆操作,故能不断重复再现。离线示教法指先对模型进行采集，在计算机上模拟仿真编程，进行轨迹规划自动生成运动轨迹。现在工业机器人领域多应用示教盒，这种控制方式效率低，不直观。有基于视觉的机器人控制方法需要操作人员穿戴特定颜色的手套，只有一种控制模式，在需要进行微调时，位置和姿态指令会互相干扰，且控制空间和机器人工作空间不容易统一，导致操作不方便[1]。对于裸手的识别主要基于颜色空间分割，此种方法受光照和背景颜色影响很大。而离线示教方法的计算量大，算法复杂，非规则边缘不便计算，而且对机器人模型的精度,以及机器人工具坐标系的确定都有很高的精度要求。
技术实现思路
本专利技术为了解决现有的基于视觉的机器人控制方法操作不便、对手的识别受光照和背景颜色影响很大，且离线示教方法计算量大、对机器人模型精度及机器人坐标系的确定有很高精度要求的缺陷，而提出一种基于双目视觉多手势机器人控制方法，包括：步骤一、设置双目相机，并进行标定和矫正。步骤二、操作人员在双目相机的视野范围内进行手势演示，并在双目相机的左摄像机拍摄的视频中人工选取包含手势的矩形框，加入到训练样本集。步骤三、使用训练样本集对最近邻分类器以及贝叶斯分类器进行训练。步骤四、操作人员按照步骤二中的手势出现在双目相机的视野中；处理器根据左摄像机的图像利用级联方差分类器，基于随机森林的贝叶斯分类器，最近邻分类器检测得到目标；再对目标进行跟踪，将跟踪结果和检测结果进行融合，同时更新手势模板中的样本，在左摄像机图像中跟踪成功后，则在右相机图像的极线上进行检测和跟踪，如果左右视图同时跟踪成功则输出目标矩形框。步骤五、对目标矩形框的中心点进行跟踪；计算中心点从初始点移动到目标点的偏移距离，并输出速度控制指令，使机器人进行平移运动。步骤六、在目标矩形框中提取用于描述手势轮廓的特征点，求解特征点对应的旋转矩阵。优选地，步骤一具体包括：步骤一一、设置双目相机中左摄像机和右摄像机的间距为20cm，且为水平放置。步骤一二、对双目摄像机使用张正友标定法进行标定，并对左摄像机和右摄像机的视图消除畸变以及行对准，使得左右摄像机视图的成像原点坐标一致、光轴平行、成像平面共面、极线行对齐。优选地，步骤二具体包括：步骤二一、操作人员在双目相机的视野范围内进行手势演示。步骤二二、在双目相机的左摄像机拍摄的视频中人工选取包含手势的矩形框。步骤二三、对选取的矩形框中的图像块进行缩放、旋转、仿射，并将缩放、旋转、仿射后的图像归一化为相同大小的图像块构成正样本集；并选取预定数量的在原图像中距离已选取的图像块的距离大于预定阈值的图像块构成负样本集；正样本集以及负样本集共同构成训练样本集。优选地，步骤三具体包括：通过如下公式计算贝叶斯分类器的前景类后验概率：其中y1表示前景，当y1＝0时表示图像中没有目标，y1＝1时表示图像中包含目标；xi表示图像的第i个特征；图像的每个特征为图像中任意选取的两个点的灰度值大小关系，灰度值大小关系用0或1表示。优选地，步骤四具体包括：步骤三中，贝叶斯分类器的个数为10；特征xi对应的前景类样本的个数为#p，背景类样本的个数为#n，总样本个数为#m，则有：对每个贝叶斯分类器求取p(y1|xi)，并将结果取平均，若平均值大于预设的阈值，则认为该图像中存在目标。优选地，步骤三中，最近邻分类器用于计算两个图像块的相似度，计算公式为：式中μ1,μ2,σ1,σ2表示图像P1和P2的平均值和标准差；两个图像越相似则结果越接近1；定义两个图像的距离为：则当两个图像的距离小于预定的阈值时则认为图像片包含目标。优选地，步骤四具体为：步骤四一、操作人员按照步骤二中的手势出现在双目相机的视野中。步骤四二、由操作人员手动选出初始矩形框。步骤四二、处理器生成滑动矩形框，利用级联方差分类器过滤掉不符合方差阈值条件的矩形框，然后通过贝叶斯分类器筛选得到可能包含前景的图像块，再通过最近邻分类器计算滑动矩形框与手动选出的初始矩形框的相似度。步骤四三、选出重叠度最高的矩形框作为样本矩形框，在样本矩形框内计算Shi-Tomasi角点作为特征点。步骤四四、计算样本矩形框内计算前向预测误差、后向预测误差和相似度，并筛选出小于前向预测误差与后向预测误差平均值且大于预设相似度阈值的特征点。步骤四五、计算当前帧中筛选出的特征点与上一帧相应特征点的平均位移，得到当前帧目标框的位置，并根据特征点在上一帧与当前帧中的欧氏距离的比值，得到当前帧中目标框的大小。步骤四六、将步骤四五中得到的目标框进行归一化处理，并计算归一化后的目标框与正样本集中所有图像的相似度，如果存在一个相似度大于指定的阈值，则跟踪有效，并将得到的目标框加入样本集，否则认为跟踪无效并丢弃。优选地，步骤五具体包括：步骤五一、将步骤四六得到的目标框的中心点作为手势中心点，利用立体视觉的原理视差测距法计算手势中心的空间坐标值，具体为：式中X，Y，Z为手势中心点在空间中的位置，u1为标记球在左相机图像坐标系中的x坐标，u0为左相机图像坐标系的x原点，u2为标记球在右相机图像坐标系中的x坐标，d为两相机之间的平移距离，v1为标记球在左相机图像坐标系中的y坐标，v0为左相机图像坐标系的y原点，f为相机焦距。步骤五二、操作人员通过标定按钮在任意位置设置原点；处理器检测到手势中心点离开以预设的控制阈值为半径的球体时，则输出速度控制指令，计算公式为：V＝kd其中V为输出的速度控制指令，k为控制系数，d为手势中心偏离初始位置的距离；速度控制指令用于控制机器人末端进行平移运动。优选地，步骤六具体包括：步骤六一、在步骤四六中得到目标框中通过基于肤色检测和背景差分法相结合的方法得到手势的轮廓，再通过凸包检测和凸包缺陷检测算法得到食指、中指和无名指以及食指中指凹陷处、中指无名指凹陷处共5个特征点；并通过步骤五一中的公式得到这5个特征点的空间坐标。步骤六二、在手掌上定义坐标系，以中指的根部为原点，定义指向中指指尖方向为y轴正方向，定义平行于两个凹陷处连线为x轴，指向小拇指的方向为x轴正方向。步骤六三、根据Carley定理利用5个特征点求解旋转矩阵。步骤六四、将旋转矩阵转换为pitch-yaw-roll欧拉角，获取手势从当前姿态转换为原始状态过程中的相对旋转角度，根据相对旋转角度输出欧拉角角速度指令控制机器人的姿态变化。优选地，步骤六三具体包括：步骤六三一、建立任意不含特征值-1的旋转矩阵R和一个反对称矩阵Sb之间有如下关系：R＝(I-Sb)-1(I+Sb)Sb＝(R+I)-1(R-I)式中I为单位矩阵，b＝(b本文档来自技高网...

【技术保护点】
一种基于双目视觉多手势机器人控制方法，其特征在于，包括步骤一、设置双目相机，并进行标定和矫正；步骤二、操作人员在双目相机的视野范围内进行手势演示，并在双目相机的左摄像机拍摄的视频中人工选取包含手势的矩形框，加入到训练样本集；步骤三、使用训练样本集对最近邻分类器以及贝叶斯分类器进行训练；步骤四、操作人员按照步骤二中的手势出现在双目相机的视野中；处理器根据左摄像机的图像利用级联方差分类器，基于随机森林的贝叶斯分类器，最近邻分类器检测得到目标；再对目标进行跟踪，将跟踪结果和检测结果进行融合，同时更新手势模板中的样本，在左摄像机图像中跟踪成功后，则在右相机图像的极线上进行检测和跟踪，如果左右视图同时跟踪成功则输出目标矩形框；步骤五、对目标矩形框的中心点进行跟踪；计算中心点从初始点移动到目标点的偏移距离，并输出速度控制指令，使机器人进行平移运动；步骤六、在目标矩形框中提取用于描述手势轮廓的特征点，求解特征点对应的旋转矩阵，使机器人进行姿态转换。

【技术特征摘要】
1.一种基于双目视觉多手势机器人控制方法，其特征在于，包括步骤一、设置双目相机，并进行标定和矫正；步骤二、操作人员在双目相机的视野范围内进行手势演示，并在双目相机的左摄像机拍摄的视频中人工选取包含手势的矩形框，加入到训练样本集；步骤三、使用训练样本集对最近邻分类器以及贝叶斯分类器进行训练；步骤四、操作人员按照步骤二中的手势出现在双目相机的视野中；处理器根据左摄像机的图像利用级联方差分类器，基于随机森林的贝叶斯分类器，最近邻分类器检测得到目标；再对目标进行跟踪，将跟踪结果和检测结果进行融合，同时更新手势模板中的样本，在左摄像机图像中跟踪成功后，则在右相机图像的极线上进行检测和跟踪，如果左右视图同时跟踪成功则输出目标矩形框；步骤五、对目标矩形框的中心点进行跟踪；计算中心点从初始点移动到目标点的偏移距离，并输出速度控制指令，使机器人进行平移运动；步骤六、在目标矩形框中提取用于描述手势轮廓的特征点，求解特征点对应的旋转矩阵，使机器人进行姿态转换。2.根据权利要求1所述的基于双目视觉多手势机器人控制方法，其特征在于，步骤一具体包括：步骤一一、设置双目相机中左摄像机和右摄像机的间距为20cm，且为水平放置；步骤一二、对双目摄像机使用张正友标定法进行标定，并对左摄像机和右摄像机的视图消除畸变以及行对准，使得左右摄像机视图的成像原点坐标一致、光轴平行、成像平面共面、极线行对齐。3.根据权利要求1所述的基于双目视觉多手势机器人控制方法，其特征在于，步骤二具体包括：步骤二一、操作人员在双目相机的视野范围内进行手势演示；步骤二二、在双目相机的左摄像机拍摄的视频中人工选取包含手势的矩形框；步骤二三、对选取的矩形框中的图像块进行缩放、旋转、仿射，并将缩放、旋转、仿射后的图像归一化为相同大小的图像块构成正样本集；并选取预定数量的在原图像中距离已选取的图像块的距离大于预定阈值的图像块构成负样本集；正样本集以及负样本集共同构成训练样本集。4.根据权利要求1所述的基于双目视觉多手势机器人控制方法，其特征在于，步骤三中，通过如下公式计算贝叶斯分类器的前景类后验概率：其中y1表示前景，当y1＝0时表示图像中没有目标，y1＝1时表示图像中包含目标；xi表示图像的第i个特征；图像的每个特征为图像中任意选取的两个点的灰度值大小关系，灰度值大小关系用0或1表示。5.根据权利要求4所述的基于双目视觉多手势机器人控制方法，其特征在于，步骤三中，贝叶斯分类器的个数为10；特征xi对应的正样本的个数为#p，负样本的个数为#n，总样本个数为#m，则有：对每个贝叶斯分类器求取p(y1|xi)，并将结果取平均，若平均值大于预设的阈值，则认为该图像中存在目标。6.根据权利要求1或4所述的基于双目视觉多手势机器人控制方法，其特征在于，步骤三中，最近邻分类器用于计算两个图像块的相似度，计算公式为：

【专利技术属性】
技术研发人员：卫作龙，夏晗，林伟阳，于兴虎，佟明斯，李湛，
申请(专利权)人：浙江优迈德智能装备有限公司，
类型：发明
国别省市：浙江,33