用于焊接机器人的路径点自动生成系统和方法技术方案

本发明专利技术公开了一种用于焊接机器人的路径点自动生成系统和方法。其中，该系统包括机器人本体、控制器、RGB-D传感器和上位机。其中，机器人本体为六自由度焊接机器人，其包括焊炬；控制器用于控制机器人本体的运动；RGB-D传感器固定在机器人的机械臂上，用于采集焊件的RGB图像和深度图像，并将所述RGB图像和深度图像传送至上位机；上位机用于对焊件的RGB图像和深度图像进行处理，提取出焊件的焊缝边缘，并根据焊缝边缘计算路径点信息，再将路径点信息发送至控制器，以控制焊炬末端沿着所述路径点移动。通过本发明专利技术实施例实现了自动生成空间曲线焊缝的路径点，减轻了工人的工作量，提高了机器人的工作效率。

【技术实现步骤摘要】

本专利技术实施例涉及机器人自动化
，尤其是涉及一种用于焊接机器人的路径点自动生成系统和方法。
技术介绍
焊接机器人的目标是使得焊炬末端能够准确地走过焊缝中心，完成焊接的操作。在实际生产中，常见的做法是由工人通过示教盒操纵机器人，使之走过目标路径并进行记录经过的路径点，通过编程指定这一系列路径点的通过速度和通过精度等信息，再现程序时即可实现机器人完成焊接工作。但由于焊件本身的不规则性，即便是同一批焊件也很少实现一个程序不用修改就焊接完每一件焊件。这使得机器人示教更加耗时更加繁琐。为了减轻工人的工作量，离线编程，虚拟示教，任务级编程等一系列方法也被提出以简化示教过程。离线编程是目前应用较为广泛的一种方法，通过建立起机器人本体和焊件的三维模型，工人在电脑上就可以对机器人进行示教，能够减轻工人的工作量，同时也能提高机器人的工作效率。但是这种方法需要机器人和焊件及工作环境等的三维模型，绘制三维模型也是一项耗时的任务，且由于模型和实物尺寸之间的差异，离线编程后仍需要手动修改。虚拟示教则是结合虚拟现实技术可实现远程操纵机器人的新兴技术，然而对于规划机器人路径点而言，仍然需要工人进行示教操作，只是示教地点改变为远程而已。任务级编程是指只需输入简单的指令就能够一个完整复杂动作的编程方式。复杂的细节可以通过已经编好的程序自动完成。这是机器人编程理想的发展方向。借助于精度越来越高的视觉等各种传感器以及先进的视觉算法，通过视觉实现任务级机器人自动编程已经开始逐渐被深入研究。单纯的双目立体视觉在精度上不够理想，算法也较为复杂，耗时较长。而新兴的RGB-D摄像头能够同时获取图像和深度信息，得到环境中的三维点云信息，对于机器人正确理解工作环境有着十分重要的意义。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种用于焊接机器人的路径点自动生成系统。此外，还提供一种用于焊接机器人的路径点自动生成方法。为了实现上述目的，根据本专利技术的一个方面，提供了以下技术方案：一种用于焊接机器人的路径点自动生成系统，用于焊接工作台上焊件的焊接，所述系统至少包括：机器人本体，包括焊炬；控制器，用于控制所述机器人本体上的运动；RGB-D传感器，固定在所述机器人本体的末端，用于采集所述焊件的RGB图像和深度图像，并将所述焊件的所述RGB图像和所述深度图像传送至上位机；所述上位机，用于对所述焊件的所述RGB图像和所述深度图像进行处理，提取出所述焊件的焊缝边缘，并根据所述焊缝边缘计算路径点信息，再将所述路径点信息发送至所述控制器，以控制所述焊炬末端沿着所述路径点移动。根据本专利技术的另一个方面，还提供了一种用于焊接机器人的路径点自动生成方法，所述方法至少包括：所述RGB-D传感器采集所述焊件的RGB图像和深度图像，并将所述焊件的所述RGB图像和所述深度图像传送至所述上位机；上位机被配置为执行以下步骤：图像预处理：在所述焊件的RGB图像上选取仅有所述焊缝且没有所述焊炬末端的第一区域，将所述第一区域转换为灰度图像；焊缝边缘提取：根据所述灰度图像，提取出所述焊缝边缘图像；路径点坐标计算：根据所述焊缝边缘图像计算相机坐标系下的路径点坐标；路径点检查：将所述相机坐标系下的路径点坐标转换成机器人基坐标系下的位姿数据，并判断机器人是否已经经过该位姿，若是，则丢弃所述位姿，否则将所述位姿数据发送至所述控制器；所述控制器将所述当前时刻的所述机器人本体的位姿数据发送至所述上位机，并从所述上位机接收所述机器人基座标系下的路径点上焊炬末端应到达的位姿数据，以及控制所述焊炬末端沿着所述路径点移动。与现有技术相比，上述技术方案至少具有以下有益效果：本专利技术实施例通过将RGB-D传感器固定在机器人本体的末端，以采集焊件的RGB图像和深度图像，并将焊件的RGB图像和深度图像传送至上位机；然后，上位机对焊件的RGB图像和深度图像进行处理，提取出焊件的焊缝边缘，并根据焊缝边缘计算路径点信息，再将路径点信息发送至控制器，以控制焊炬末端沿着路径点移动。从而可实现自动生成空间曲线焊缝的路径点，减轻了工人的工作量，提高了机器人的工作效率。附图说明附图作为本专利技术的一部分，用来提供对本专利技术的进一步的理解，本专利技术的示意性实施例及其说明用于解释本专利技术，但不构成对本专利技术的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：图1为根据一示例性实施例示出的基于RGB-D传感器且用于焊接机器人的路径点自动生成系统的结构示意图；图2为根据一示例性实施例示出的示教器的结构示意图；图3为根据一示例性实施例示出的界面模块的结构示意图；图4为根据一示例性实施例示出的数据结构模块的结构示意图；图5为根据一示例性实施例示出的数据通信模块的结构示意图；图6为根据另一示例性实施例示出的用于焊接机器人的路径点自动生成系统的结构示意图；图7为根据一示例性实施例示出的用于焊接机器人的路径点自动生成方法的流程示意图；图8为根据另一示例性实施例示出的用于焊接机器人的路径点自动生成方法的流程示意图。具体实施方式下面结合附图以及具体实施例对本专利技术实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本专利技术的保护范围内。本专利技术实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本专利技术的实现可以没有这些具体细节。需要说明的是，在没有明确限定或不冲突的情况下，本专利技术中的各个实施例及其中的技术特征可以相互组合而形成技术方案。图1示例性地示出了基于RGB-D传感器且用于焊接机器人的路径点自动生成系统的结构示意图。如图1所示，该系统10用于焊接工作台上焊件的焊接，其至少可以包括机器人本体12、控制器14、上位机16和RGB-D传感器18。其中，机器人本体12包括焊炬122。控制器14用于控制机器人本体12上的焊炬122的运动。RGB-D传感器固定在机器人本体12的末端，用于采集焊件的RGB图像和深度图像，并将焊件的RGB图像和深度图像发送至上位机16。上位机16用于对焊件的RGB图像和深度图像进行处理，提取出焊件的焊缝边缘，并根据焊缝边缘计算路径点信息，再将路径点信息发送至控制器14，以控制焊炬122末端沿着路径点移动。本专利技术实施例中的机器人可以为六自由度弧焊机器人。上位机16生成的路径点直接作用于控制器实现自动运动。RGB-D传感器18可以固定在机器人手臂上。为了有较好的视野范围以及精度，可使RGB-D传感器距离工作台大约40～6本文档来自技高网...

【技术保护点】
一种用于焊接机器人的路径点自动生成系统，用于焊接工作台上焊件的焊接，所述系统至少包括：机器人本体，包括焊炬；控制器，用于控制所述机器人本体的运动；其特征在于，所述系统还包括：RGB‑D传感器，固定在所述机器人本体的末端，用于采集所述焊件的RGB图像和深度图像，并将所述焊件的所述RGB图像和所述深度图像传送至上位机；所述上位机，用于对所述焊件的所述RGB图像和所述深度图像进行处理，提取出所述焊件的焊缝边缘，并根据所述焊缝边缘计算路径点信息，再将所述路径点信息发送至所述控制器，以控制所述焊炬末端沿着所述路径点移动。

【技术特征摘要】
1.一种用于焊接机器人的路径点自动生成系统，用于焊接工作
台上焊件的焊接，所述系统至少包括：
机器人本体，包括焊炬；
控制器，用于控制所述机器人本体的运动；
其特征在于，所述系统还包括：
RGB-D传感器，固定在所述机器人本体的末端，用于采集所述焊
件的RGB图像和深度图像，并将所述焊件的所述RGB图像和所述深度
图像传送至上位机；
所述上位机，用于对所述焊件的所述RGB图像和所述深度图像进
行处理，提取出所述焊件的焊缝边缘，并根据所述焊缝边缘计算路径
点信息，再将所述路径点信息发送至所述控制器，以控制所述焊炬末
端沿着所述路径点移动。
2.根据权利要求1所述的系统，其特征在于，
所述控制器，还用于将所述当前时刻的所述机器人本体的位姿数
据发送至上位机，以及从所述上位机接收所述机器人基座标下的路径
点上焊炬末端应到达的位姿数据；
所述上位机具体包括：
图像预处理模块，用于在所述焊件的RGB图像上选取仅有所述焊
缝且没有所述焊炬末端的第一区域，将所述第一区域转换为灰度图像，
并将所述灰度图像发送至焊缝边缘提取模块；
所述焊缝边缘提取模块，用于根据所述灰度图像，提取出所述焊
缝边缘图像；
路径点生成模块，用于根据所述焊缝边缘图像计算相机坐标系下
的路径点坐标；
坐标变换模块，用于将所述相机坐标系下的路径点坐标转换成机
器人基坐标系下的位姿数据，并判断机器人是否已经经过该位姿，若
是，则丢弃所述位姿，否则将所述位姿数据发送至数据通信模块；
所述数据通信模块，用于将当前时刻机器人本体的位姿数据发送
至所述坐标变换模块，以及将所述坐标变换模块确定的所述位姿数据
发送至所述控制器。
3.根据权利要求2所述的系统，其特征在于，所述上位机还包
括碰撞检测模块；其中：
所述图像预处理模块，还用于在所述RGB图像上选取具有所述焊
炬末端的第二区域，对所述第二区域进行滤波，并将所述滤波后的第
二区域发送至碰撞检测模块；
所述碰撞检测模块，用于根据所述滤波后的第二区域和所述深度
图像，通过测定所述焊炬末端与所述焊缝边缘的距离来确定所述焊炬
末端的运动状态。
4.根据权利要求3所述的系统，其特征在于，所述碰撞检测模
块还包括：
识别模块，用于识别所述第二区域中所述焊炬末端；
处理模块，用于在所述第二区域中以所述焊炬末端为圆心做两个
半径分别为M个像素点和N个像素点的第一和第二同心圆，其中，所
述M大于所述N；
计算模块，用于结合所述深度图像，计算出所述第一和第二同心
圆内所有像素点到所述焊炬末端的距离；
运动改变模块，用于在所述第一同心圆内的像素点到所述焊炬末
端的距离小于第一阈值的情况下，发出预警并改变所述焊炬末端的运
动方向；
运动停止模块，用于在所述第二同心圆内的像素点到所述焊炬末
端的距离小于第二阈值的情况下，发出碰撞警报并停止所述焊炬末端
的运动。
5.根据权利要求2所述的系统，其特征在于，所述焊缝边缘提
取模块具体用于执行以下步骤：
对所述灰度图像进行顶帽变换，获取所述焊件焊缝边缘的亮部分
细节图像；
对所述灰度图像进行黑帽变换，获取所述焊件焊缝底部及侧面的
暗部分细节图像；
将所述亮部分细节图像与所述暗部分细节图像相加，获取所述焊
缝的明暗细节图像；
将所述焊缝的明暗细节图像通过边缘检测算子提取出焊缝边缘
二值图像；
对所述焊缝边缘二值图像进行形态学的膨胀和腐蚀处理，得到仅
焊缝区域为亮的二值图像；
将所述二值图像按亮区域分割并连接距离小于预定阈值的亮区
域，得到完整的焊缝区域图像；
通过边缘检测算子对所述完整的焊缝区域图像进行边缘提取，得
到所述焊缝边缘图像。
6.根据权利要求2所述的系统，其特征在于，所述路径点生成
模块具体被配置为执行以下步骤：
选取开始点：将所述焊缝边缘图像最下方的两条边缘的中点选取
...

【专利技术属性】
技术研发人员：景奉水，李婧，李恩，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11