一种面向图形的机器人操作方法技术

本发明专利技术公开了一种面向图形的机器人操作方法，其特征是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中，并按如下步骤进行：步骤一，建立操作图形；步骤二，采用B样条曲线算法进行拟合；步骤三，优化分割,转换为脉冲序列后提供给机器人执行；步骤四，获取比对图形；步骤五，进行误差比对；步骤六、对脉冲序列进行修改后提供给机器人执行；步骤七、重复执行步骤四‑步骤六，得到相匹配的脉冲序列。本发明专利技术能直接通过图形化的方式获取机器人执行轨迹图形，并通过比对图形对轨迹进行矫正，从而实现机器人操作过程的简化及操作精度的提高，使得不懂运动控制的人，也能轻松使用机器人。

【技术实现步骤摘要】
一种面向图形的机器人操作方法
本专利技术涉及机器视觉与工业机器人的交叉领域，具体地说是一种面向图形的机器人操作方法。
技术介绍
随着社会的快速发展、科技的进步，机器人朝着智能化、高效化迅猛发展。面对当下时代的需求，传统手工业生产线已被更高效的柔性自动化生产线替代，广泛应用于其中的工业机器人也越来越普及。传统的机器人操作方式通常的过程是先了解产品工艺、编程语言、示教器的使用方法，然后需要具备这些技能的操作人员来进行编程，同时当工艺发生改变或者编程语言发生改变时，编程人员不仅要在现场进行调试，而且短时间内无法立即适应变化，会给企业产品的更新换代带来不利的影响。现有机器人的操作方式由于过程繁琐、精度低、学习成本高等原因，无法满足未来机器人高精度、多应用场合的发展要求。
技术实现思路
本专利技术为克服上述技术中存在的不足之处，提供一种面向图形的机器人操作方法，以期能直接通过图形化的方式获取机器人执行轨迹图形，并通过比对图形对轨迹进行矫正，从而实现机器人操作过程的简化及操作精度的提高，使得不懂运动控制的人，也能轻松使用机器人。为解决上述技术问题，本专利技术采用如下技术方案：本专利技术一种面向图形的机器人操作方法的特点是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中，并按如下步骤进行：步骤一、在计算机的MATLAB环境下，建立面向机器人操作的图形，所述图形为基于MATLABGUI平台的二维图形或为基于双目摄像头的三维图形；所述基于MATLABGUI平台的二维图形是在MATLAB环境下，利用get函数获取鼠标从移动开始到移动结束过程中的轨迹图形，并将所述轨迹图形进行坐标转换后保存为.mat文件，以所述.mat文件来表征所述二维图形；所述基于双目摄像头的三维图形是按如下过程建立：步骤A、利用双目摄像头获取左右摄像头中跟踪目标的M帧图像，记任意第a帧图像为Pa1和Pa2；步骤B、在MATLAB环境下，利用基于特征匹配预估的Mean-Shift算法分别对所述第a帧图像Pa1和Pa2进行快速分割，分别得到所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2；步骤C、利用双目空间定位原理，对所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2进行计算，得到跟踪目标在空间中的三维坐标信息；步骤D、将所述三维坐标信息从双目摄像头坐标系转换到机器人基坐标系后，保存为.mat文件，以所述.mat文件来表征所述三维图形；步骤二，采用最小二乘法中的B样条曲线算法对所述.mat文件进行拟合，得到拟合后的B样条曲线；步骤三，采用Pearson相关系数法对拟合后的B样条曲线进行优化分割，得到直线和圆弧，并将所述直线和圆弧转换为脉冲序列后提供给机器人执行；步骤四，利用另一个双目摄像头获取机器人执行末端的运动图形，并对所述运动图形重新建立基于双目摄像头的三维图形作为比对图形；步骤五，将所述比对图形与所述二维图形或三维图形进行轨迹误差比对，得到误差处的位置；步骤六、对所述误差处位置的处脉冲序列进行修改后提供给机器人执行；步骤七、重复执行步骤四-步骤六，从而得到与所述二维图形或三维图形相匹配的脉冲序列。本专利技术所述的面向图形的机器人操作方法的特点也在于，所述基于特征匹配预估的Mean-Shift算法是按如下步骤进行：步骤B1.从第0帧图像P01或P02中手动选定跟踪目标所在区域，即目标区域，提取跟踪目标特征点个数，并记为N0，以跟踪目标的中心y0为当前最优位置，获取跟踪目标的颜色分布直方图，从而建立如式(1)所示的目标模型式(1)中，表示第0帧图像P01或P02中跟踪目标的特征值估计的概率密度，Cq表示目标模型的常量系数，xi表示所述目标区域中的第i个像素点，i＝1,2,…,n，n表示所述目标区域中像素点的个数；h表示决定权重分布的核函数窗口大小，k(·)表示核函数的轮廓函数，δ(·)表示Delta函数，δ[b(xi-u)]表示为判断像素点xi的颜色值是否属于第u个特征值，若属于，则δ[b(xi-u)]等于值为1，否则δ[b(xi-u)]为0；u＝1,2,…,m，m表示特征值总个数；步骤B2.根据第a-1帧图像P(a-1)1或P(a-1)2中跟踪目标的最优位置利用Kalman滤波器的预测方程，得到第a帧图像Pa1或Pa2中跟踪目标的起始位置ya；步骤B3.在第a帧图像Pa1或Pa2中以跟踪目标的起始位置ya为中心，获取跟踪目标的颜色直方图，从而建立如式(2)所示的第a帧图像Pa1或Pa2的候选模型式(2)中，Cp表示候选模型的常量系数；步骤B4.利用式(3)获得第a帧图像Pa1或Pa2的候选模型和目标模型的相似度系数步骤B5.从第a帧图像Pa1或Pa2的起始位置ya开始进行Mean-shift向量迭代，并计算在第a帧图像Pa1或Pa2中不同迭代区域内的候选模型，迭代寻找最优位置使相似度系数的值最大，并停止迭代；步骤B6将最优位置带入Kalman滤波器的更新公式中，得到的修正结果作为第a+1帧图像P(a+1)1或P(a+1)2中迭代的起始位置ya+1；步骤B7.利用式(4)获得第a帧图像Pa1或Pa2的比例系数ηa：式(4)中，Na表示第a帧图像Pa1或Pa2的特征点个数；步骤B8.将a+1赋值给a，并判断a＞M是否成立，如成立，则表示获得了M个最优位置并由M个最优位置构成了跟踪目标的空间运动图形Ga1或Ga2；否则，执行步骤B9；步骤B9.判断ηa-1＜g是否成立，若成立，则表示跟踪目标遇到了遮挡，利用Harris特征点匹配法代替Kalman滤波器获得跟踪目标的起始位置后，返回步骤B2执行，否则，直接返回步骤B2执行；g表示特征点匹配所设定的阈值。与现有技术相比，本专利技术有益效果体现在：1、本专利技术采用机器人、计算机和两个双目摄像头所构成的操作环境，实现了面向二维、三维图形直接对机器人进行操作，整个过程无需编程，使用者也不需要了解产品工艺、编程语言、示教器的使用方法，节省了大量的学习成本，是一种更为高效的机器人操作方法；2、本专利技术可应用于工作环境复杂、对轨迹图形有一定柔性要求场合，避免了传统操作方式在应用中的过程繁琐、低效率、低精度等情况，大幅提高企业生产效率、精度，降低了产品更新换代的周期；3、本专利技术采用基于特征匹配预估的Mean-Shift算法，不仅通过Kalman滤波对目标在下一帧中出现的最优位置进行预估，缩小搜索范围，提高了跟踪效率，而且通过Harris特征点匹配法有效的解决部分遮挡干扰问题，具有较好的鲁棒性。附图说明图1是本专利技术面向图形的机器人操作方法流程图；图2是本专利技术机器人执行流程图。具体实施方式本实施例中，如图1所示，一种面向图形的机器人操作方法，是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中，并按如下步骤进行：步骤一、在计算机的MATLAB环境下，建立面向机器人操作的图形，图形为基于MATLABGUI平台的二维图形或为基于双目摄像头的三维图形；基于MATLABGUI平台的二维图形是在MATLAB环境下，利用get函数获取鼠标从移动开始到移动结束过程中的轨迹图形，并将轨迹图形进行坐标转换后保存为.mat文件，以.mat文件来表征二维图形；基于双目摄像头的三维图形是按如下过程建立：步骤A、利用双目摄像头获取左右摄像头中跟踪目标本文档来自技高网...

【技术保护点】
一种面向图形的机器人操作方法，其特征是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中，并按如下步骤进行：步骤一、在计算机的MATLAB环境下，建立面向机器人操作的图形，所述图形为基于MATLAB GUI平台的二维图形或为基于双目摄像头的三维图形；所述基于MATLAB GUI平台的二维图形是在MATLAB环境下，利用get函数获取鼠标从移动开始到移动结束过程中的轨迹图形，并将所述轨迹图形进行坐标转换后保存为.mat文件，以所述.mat文件来表征所述二维图形；所述基于双目摄像头的三维图形是按如下过程建立：步骤A、利用双目摄像头获取左右摄像头中跟踪目标的M帧图像，记任意第a帧图像为Pa1和Pa2；步骤B、在MATLAB环境下，利用基于特征匹配预估的Mean‑Shift算法分别对所述第a帧图像Pa1和Pa2进行快速分割，分别得到所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2；步骤C、利用双目空间定位原理，对所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2进行计算，得到跟踪目标在空间中的三维坐标信息；步骤D、将所述三维坐标信息从双目摄像头坐标系转换到机器人基坐标系后，保存为.mat文件，以所述.mat文件来表征所述三维图形；步骤二，采用最小二乘法中的B样条曲线算法对所述.mat文件进行拟合，得到拟合后的B样条曲线；步骤三，采用Pearson相关系数法对拟合后的B样条曲线进行优化分割，得到直线和圆弧，并将所述直线和圆弧转换为脉冲序列后提供给机器人执行；步骤四，利用另一个双目摄像头获取机器人执行末端的运动图形，并对所述运动图形重新建立基于双目摄像头的三维图形作为比对图形；步骤五，将所述比对图形与所述二维图形或三维图形进行轨迹误差比对，得到误差处的位置；步骤六、对所述误差处位置的处脉冲序列进行修改后提供给机器人执行；步骤七、重复执行步骤四‑步骤六，从而得到与所述二维图形或三维图形相匹配的脉冲序列。...

【技术特征摘要】
1.一种面向图形的机器人操作方法，其特征是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中，并按如下步骤进行：步骤一、在计算机的MATLAB环境下，建立面向机器人操作的图形，所述图形为基于MATLABGUI平台的二维图形或为基于双目摄像头的三维图形；所述基于MATLABGUI平台的二维图形是在MATLAB环境下，利用get函数获取鼠标从移动开始到移动结束过程中的轨迹图形，并将所述轨迹图形进行坐标转换后保存为.mat文件，以所述.mat文件来表征所述二维图形；所述基于双目摄像头的三维图形是按如下过程建立：步骤A、利用双目摄像头获取左右摄像头中跟踪目标的M帧图像，记任意第a帧图像为Pa1和Pa2；步骤B、在MATLAB环境下，利用基于特征匹配预估的Mean-Shift算法分别对所述第a帧图像Pa1和Pa2进行快速分割，分别得到所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2；步骤C、利用双目空间定位原理，对所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2进行计算，得到跟踪目标在空间中的三维坐标信息；步骤D、将所述三维坐标信息从双目摄像头坐标系转换到机器人基坐标系后，保存为.mat文件，以所述.mat文件来表征所述三维图形；步骤二，采用最小二乘法中的B样条曲线算法对所述.mat文件进行拟合，得到拟合后的B样条曲线；步骤三，采用Pearson相关系数法对拟合后的B样条曲线进行优化分割，得到直线和圆弧，并将所述直线和圆弧转换为脉冲序列后提供给机器人执行；步骤四，利用另一个双目摄像头获取机器人执行末端的运动图形，并对所述运动图形重新建立基于双目摄像头的三维图形作为比对图形；步骤五，将所述比对图形与所述二维图形或三维图形进行轨迹误差比对，得到误差处的位置；步骤六、对所述误差处位置的处脉冲序列进行修改后提供给机器人执行；步骤七、重复执行步骤四-步骤六，从而得到与所述二维图形或三维图形相匹配的脉冲序列。2.根据权利要求1所述的面向图形的机器人操作方法，其特征是，所述基于特征匹配预估的Mean-Shift算法是按如下步骤进行：步骤B1.从第0帧图像P01或P02中手动选定跟踪目标所在区域，即目标区域，提取跟踪目标特征点个数，并记为N0，以跟踪目标的中心y0为当前最优...

【专利技术属性】
技术研发人员：李鑫，赵坤鹏，邱亚，郝行猛，黄钰笛，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34