一种基于人机协作和视觉检测的机械臂精确路径规划方法技术

本发明专利技术公开了一种基于人机协作和视觉检测的机械臂精确路径规划方法，具体为：基于视觉辅助算法的待加工工件初始路径获取和实时检测末端执行器跟踪误差计算；通过底层控制设计获取机械臂运行路径点偏差和交互力数据；根据得到的跟踪误差、机械臂运行路径点偏差和交互力数据，按照设定的空间迭代学习算法更新率进行迭代学习更新路径；机械臂开始沿新的路径坐标进行跟踪，直至路径跟踪效果可接受，即获得了空间中工件加工路径的精确坐标。本发明专利技术可以避免离线示教编程带来的程序设计难度高、工作量大等问题，也可以解决传统视觉方法下无法检测到工件被遮挡部分的加工路径的问题。检测到工件被遮挡部分的加工路径的问题。检测到工件被遮挡部分的加工路径的问题。

【技术实现步骤摘要】
一种基于人机协作和视觉检测的机械臂精确路径规划方法


[0001]本专利技术属于智能机械设备
，尤其涉及一种基于人机协作和视觉检测的机械臂精确路径规划方法。

技术介绍

[0002]近年来，随着电子硬件、图像处理、人工智能等技术的发展，机器人技术开始逐步引用于家庭服务、医疗康复、消防减灾等领域，传统机械臂的应用也得到了很大的拓展，开始作用于更加复杂的加工生产以及检测环节。路径规划是机械臂运动控制的基本操作，针对不同的路径规划问题有不同的解决方案。除了传统的直接编程思想，现有的路径规划方案主要有示教编程、视觉引导、脑机结合等，各种方案处理的任务有所不同，适用的工作背景也大不一样。
[0003]示教编程：工业机械臂的示教主要有2种方式[1]:
[0004]①
在线示教。由技术人员引导,控制机械臂运动,记录机械臂作业的程序点并插入所需的机械臂命令来完成程序的编写。
[0005]②
离线示教。操作者不对实际作业的机械臂直接进行示教,而是在离线编程系统中进行编程或在模拟环境中进行仿真，生成示教程序,通过PC机间接对机械臂控制柜进行示教。
[0006]对于在线示教，由于人类视觉和控制的限制，示教编程不能实现对特定任务路径的准确跟踪。操作者在拖动机械臂沿目标路径移动过程中，任何微小的抖动都会导致机械臂控制器记录下错误的路径点，导致机械臂末端对目标路径的循迹效果变差。且在拖动示教过程中无法保证机械臂末端与目标路径之间保持精准的间距，特别是在焊接、激光切割等任务中，简单的在线示教难以满足此类工作的高精度要求。
[0007]对于离线示教，需要对机械臂的工作路径等参数进行提前设置，对于利用机械臂进行单一性、重复性作业来说有一定的优势，而在工作目标时常变化的工作场景中，离线示教就显得相对低效，随着工作目标的变化需要不断更新机械臂的控制程序。
[0008]现有技术一：一种工业机械臂智能化路径规划装置及方法[2]。该方案设计了一种机械臂智能化路径规划装置，包括加工工件、视觉系统、智能控制系统、机械臂、工作站，各部分的组成模块可以参见图1。具体的控制方法可以参见图2，工业机械臂通过三维视觉自动采集工件的型面，将型面信息分解，应用深度学习的方法判断拍摄图像与输入模型之间的型面差值，当加工型面与设定的基准差距超过阈值时，能够控制机械手电机和关节的动作对加工动作进行修正，不需要人工进行调试，用以保证工件的质量。
[0009]该技术的应用需要通过深度学习去实现，对于未知的模型型面或曲线是无法使用该方案的，在该方案中，采集的曲线需要与已知模型数据库进行比对，才能获得型面差值，实现路径规划调节；该技术不能实现实时的型面差值计算，深度学习计算往往需要消耗大量时间，很难保证实时的更新误差参数值。
[0010]现有技术二：一种带电作业机器人机械臂路径规划控制装置及其方法[3]。该方案
公开了一种带电作业机器人机械臂路径规划控制装置及其方法，其中控制装置包括状态感知器、动作选择器、评价信号发生器和动态更新机构；方法主要基于正方体空间划分方法、强化学习算法和逆向运动学求解，并依靠控制装置，来生成最优路径。该方案能够准确规划出一条路径，使机器人可以从初始位置到达目标位置，并且绕过周围障碍物，从而实现带电作业机器人的自主作业。具体实现流程参见图3。
[0011]该技术应用机器学习的方法，自主规划出从初始位置到目标位置的路径，与现有技术方案一类似，学习运算量很大，不能实现实时的规划跟踪；该方案在自定义的学习框架下，规划路径，对于避障有一定的效果，可以得到相对最优的路径，实现距离最短，但是无法精确跟踪一条空间路径；该方案对于出现的突发情况没有自适应能力，若要改变规划的路径，则要重新定义障碍物的位置，没有自适应能力。
[0012]上述技术方案和技术中，示教编程存在路径规划偏差大且不稳定的问题，技术一存在路径规划耗时长且对未知型面无法处理的问题，以及技术二存在可以规划路径实现避障但无法精确跟踪空间中的期望路径的问题。
[0013]参考文献
[0014][1]高党寻,周冰科,姚启明,徐江波.弧焊机器人系统及焊接示教编程技术[J].设备管理与维修,2021(23):111
‑
113.DOI:10.16621/j.cnki.issn1001
‑
0599.2021.12.49.
[0015][2]刘湘玲,刘孟祥,旷水章等.一种工业机械臂智能化路径规划装置及方法:中国,112643681.A[P],2021.
[0016][3]张黎明,杨磊,胡益菲等.一种带电作业机器人机械臂路径规划控制装置及其方法:中国,111645079A[P],2021.

技术实现思路

[0017]针对上述问题，本专利技术提供一种基于人机协作和视觉检测的机械臂精确路径规划方法。
[0018]本专利技术的一种基于人机协作和视觉检测的机械臂精确路径规划方法，双目摄像机将拍摄到的包含期望路径的图像通过数据线发送至电脑端，机械臂末端的力传感器将捕获的纠正力数据通过数据线发送至电脑端，机械臂控制器将当前末端执行器空间坐标通过WiFi发送至电脑端；电脑端对图像进行处理后结合纠正力数据和末端执行器空间路径点偏差进行空间迭代学习，解算出新的空间路径坐标，机械臂运行完毕后电脑端将更新完的期望路径坐标通过WiFi发送给机械臂控制器，机械臂开始沿新的路径坐标进行跟踪，直至路径跟踪效果可接受，即获得了空间中工件加工路径的精确坐标，具体步骤为：
[0019]步骤1：基于视觉辅助算法的待加工工件初始路径获取和实时检测末端执行器跟踪误差计算。
[0020]双目摄像机将拍摄的图像发送至电脑端，在电脑端选取目标路径区域、提取路径中心像素坐标并进行像素匹配，解算空间点的三维坐标后获得初始路径，并实时对末端执行器进行模板匹配和像素匹配解算末端执行器的三维坐标以检测机械臂的跟踪误差。
[0021]步骤2：通过底层控制设计获取机械臂运行路径点偏差和交互力数据。
[0022]在机械臂运行过程中，操作者通过人机交互施加纠正力纠正机械臂的运行轨迹，此时机械臂末端的力传感器捕获得到交互力数据，而机械臂底层控制器根据各关节的姿态
解算出末端执行器的空间坐标，即得到末端执行器当前的路径点坐标，进而由末端执行器原计划运行的路径点坐标和受交互力影响后末端执行器实际运行的路径点坐标得机械臂的运行路径点偏差。
[0023]步骤3：空间迭代学习更新路径。
[0024]电脑端根据得到的跟踪误差、机械臂运行路径点偏差和交互力数据，按照设定的空间迭代学习算法更新率进行迭代学习，得到新的路径点坐标并保存；待机械臂运行完毕后，若路径跟踪效果可以接受，则机械臂刚执行的路径坐标即为理想的空间加工路径坐标，迭代学习结束；若路径跟踪效果不能接受，机械臂则按刚保存的更新后的路径坐标运行，并循环上述迭代学习过程，直至路径跟踪效果达到理想情况，迭代学习结束，得到机械臂坐标系下工件加工路径的准确空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人机协作和视觉检测的机械臂精确路径规划方法，其特征在于，双目摄像机将拍摄到的包含期望路径的图像通过数据线发送至电脑端，机械臂末端的力传感器将捕获的纠正力数据通过数据线发送至电脑端，机械臂控制器将当前末端执行器空间坐标通过WiFi发送至电脑端；电脑端对图像进行处理后结合纠正力数据和末端执行器空间路径点偏差进行空间迭代学习，解算出新的空间路径坐标，机械臂运行完毕后电脑端将更新完的期望路径坐标通过WiFi发送给机械臂控制器，机械臂开始沿新的路径坐标进行跟踪，直至路径跟踪效果可接受，即获得了空间中工件加工路径的准确坐标，具体步骤为：步骤1：基于视觉辅助算法的待加工工件初始路径获取和实时检测末端执行器跟踪误差计算；双目摄像机将拍摄的图像发送至电脑端，在电脑端选取目标路径区域、提起路径中心像素坐标并进行像素匹配解算空间点的三维坐标后获取初始路径，并实时对末端执行器进行模板匹配和像素匹配解算末端执行器的三维坐标以检测机械臂的跟踪误差；步骤2：通过底层控制设计获取机械臂运行路径点偏差和交互力数据；在机械臂运行过程中，操作者通过人机交互施加纠正力纠正机械臂的运行轨迹，此时机械臂末端的力传感器捕获得到交互力数据，而机械臂底层控制器根据各关节的姿态解算出末端执行器的空间坐标，即得到末端执行器当前的路径点坐标，进而由末端执行器原计划运行的路径点坐标和受交互力影响后末端执行器实际运行的路径点坐标得机械臂的运行路径点偏差；步骤3：空间迭代学习更新路径；电脑端根据得到的跟踪误差、机械臂运行路径点偏差和交互力数据，按照设定的空间迭代学习算法更新率进行迭代学习，得到新的路径点坐标并保存；待机械臂运行完毕后，若路径跟踪效果可以接受，则机械臂刚执行的路径坐标即为理想的空间加工路径坐标，迭代学习结束；若路径跟踪效果不能接受，机械臂则按刚保存的更新后的路径坐标运行，并循环上述迭代学习过程，直至路径跟踪效果达到理想情况，迭代学习结束，得到机械臂坐标系下工件加工路径的准确空间坐标；步骤4：对于机器视觉拍摄空间路径存在视觉盲区的情况，在机械臂运动至视野范围内空间路径的终点后，由人手拖动机械臂沿盲区内的空间路径行进；此时迭代学习...

【专利技术属性】
技术研发人员：黄德青，张瑞青，夏景康，秦娜，李亚楠，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：