本发明专利技术公开一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，步骤为：1)搭建基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制系统；2)对焊缝进行识别检测，得到焊缝中心点像素坐标，并转换为机械臂坐标；3)在示教器(4)中对线激光传感器(3)与焊枪头进行TCP点标定，并进行焊缝扫描，得到焊缝精确位置信息；4)上位机(6)生成焊接程序，并发送至示教器(4)；示教器(4)运行焊接程序并接收焊缝信息，从而控制机械臂(1)进行焊接。本发明专利技术能够在一定程度上使焊接机器人脱离示教再现的工作模式，提高了对钢结构中焊缝的识别准确率和精度，实现了对钢构件中焊缝的智能识别与焊接。缝的智能识别与焊接。缝的智能识别与焊接。
【技术实现步骤摘要】
一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法
[0001]本专利技术涉及焊接机器人领域，具体是一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法。
技术介绍
[0002]随着智能制造与建造的发展模式不断推广，目前工业机器人拥有着广阔的发展前景和应用市场。由于当前工厂的焊接作业通常存在工作量大、人工焊接效率不高、环境恶劣、具有一定的安全隐患等一系列问题，导致市场对焊接机器人的需求与日俱增。当前，焊接机器人已经能够进入工厂取代工人对一些标准钢构件进行流水线式的焊接工作，大大提高了钢构件的焊接生产效率。焊接机器人通常采用示教器(4)示教以及离线编程的工作模式，由于机械臂(1) 只按照示教点和已上传程序重复工作，当需要焊接的标准钢构件类型发生改变或者对一些非标准钢构件进行焊接时，都需要人重新手动示教、编程，这极大地降低了焊接生产效率。
[0003]随着机器视觉技术的迅速发展，目前装配有相机等视觉传感器的机器人已经成为市场主流。在智能建造领域中，工业机械臂(1) 装配视觉传感器，通过图像处理技术，能够让装配有不同功能灵巧手的机械臂(1)实现对钢构件的自动抓取搬运以及钢筋的绑扎等任务。而在实际应用中，图像处理技术通常采用模板匹配等传统机器视觉方法进行目标的识别定位，这类方法对钢构件整体等具有明显特征且易于识别的物体具有较高的识别准确率，从而得到的三维坐标点的精度能够满足工业上对钢材料的抓取搬运等任务的大部分需求。而对于钢构件中特征并不明显的焊缝来说，此类方法的识别精度不高，并且此类采用特征匹配的图像处理方法容易受到目标形状、光照强度、环境背景干扰等外界因素的影响，导致识别结果的鲁棒性较低，最终生成的焊接轨迹并不能够满足工业焊接工艺中的精度要求。
技术实现思路
[0004]本专利技术的目的是提供一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，包括以下步骤：
[0005]1)搭建基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制系统，包括双目相机、上位机、示教器和线激光传感器。所述线激光传感器位于待控制机械臂的末端。
[0006]在双目相机拍摄包含有工作台和机械臂的原始图像前，对双目相机进行标定、校正和匹配，获取相机参数。
[0007]对双目相机进行标定的工具为halcon软件。标定过程中使用的标定板为氧化铝halcon标定板。
[0008]2)利用双目相机拍摄包含有工作台和机械臂的原始图像，并传输至上位机。所述
机械臂用于焊接。
[0009]3)上位机根据相机参数将原始图像转换为具有深度信息的深度图像。
[0010]将原始图片转换为深度图像的工具为halcon软件。
[0011]原始图像像素坐标q(u，v)和深度图像三维坐标Q(XC,YC,ZC) 的转换关系如下所示：
[0012][0013]式中，dx、dy代表每个像素的物理尺寸。u0、v0、f
x f
y
为标定得到的相机参数。
[0014]4)上位机利用深度学习网络对焊缝进行识别检测，得到焊缝中心点像素坐标，所述焊缝中心点即为线激光传感器扫描初始点。
[0015]对焊缝进行识别检测的深度学习网络为Refined RotationRetinaNet。
[0016]所述Refined Rotation RetinaNet参数由若干目标焊缝图像数据集训练得到。
[0017]所述Refined Rotation RetinaNet的输入为经过图像预处理后的焊缝图像，输出为包围目标焊缝的旋转矩形框中心点像素坐标，旋转矩形框中心点即为焊缝中心点。
[0018]5)上位机对机械臂末端与相机做手眼标定，得到像素坐标到机械臂基坐标系的转换矩阵。
[0019]对机械臂末端与相机做手眼标定的步骤包括：
[0020]5.1)将halcon标定板固定于机械臂末端。
[0021]5.2)标定时反复多次移动标定板，使标定板以不同位姿出现在图像中不同位置，并记录保存图像。
[0022]5.3)利用halcon软件读取图像并求出手眼标定的转换矩阵[R|T]。
[0023]6)在示教器中对线激光传感器与焊枪头进行TCP点标定。
[0024]在示教器中对需要使用的线激光传感器与焊枪头进行TCP点标定的步骤包括：
[0025]6.1)利用示教器TCP标定中的三点法对线激光传感器与焊枪头进行标定，得到焊枪头与机械臂基座坐标系的转换矩阵，记为工具坐标系I。
[0026]6.2)将工具坐标系I进行矩阵平移，直至线激光扫描仪距目标焊缝的距离范围为[h1，h2]，此时的工具坐标系记为工具坐标系II。
[0027]7)线激光传感器扫描焊缝，得到线激光扫描结果并传输至上位机。上位机对线激光扫描结果进行处理，得到焊缝信息。
[0028]使用线激光传感器扫描焊缝，得到焊缝信息的步骤包括：
[0029]7.1)在示教器中设置焊缝扫描点对应欧拉角(α，β，γ)。α、β、γ分别表示在机器人基坐标系下机械臂末端轴X轴、Y轴、Z轴的旋转角度。将机械臂的姿态信息编程记录在示教器的例行程序中。所述机械臂的姿态信息包括坐标信息(X,Y,Z)和欧拉角(α，β，γ)。
[0030]7.2)示教器运行例行程序，调整机械臂末端姿态并将机械臂移动到焊缝扫描初始点。
[0031]7.3)示教器控制线激光传感器进行线激光扫描，扫描过程中，线激光传感器将线
激光扫描结果传输至上位机。
[0032]7.4)上位机对线激光扫描结果进行处理，获取焊缝信息。所述焊缝信息包括焊缝数据、焊缝关键点和焊缝中心位置。
[0033]8)上位机生成焊接程序，并发送至示教器。示教器运行焊接程序，从而控制机械臂进行焊接。
[0034]示教器控制机械臂进行焊接的步骤包括：
[0035]8.1)在示教器中配置焊接参数文件和焊接辅助功能参数。所述焊接参数文件包括引弧、焊接的电流电压参数。所述配置焊接辅助功能参数包括焊接材料和焊接工艺选择。
[0036]8.2)上位机根据焊缝信息编写焊接程序，并发送至示教器。
[0037]8.4)示教器基于焊接参数文件和焊接辅助功能参数运行焊接程序，控制机械臂进行焊接。
[0038]本专利技术的技术效果是毋庸置疑的，本专利技术的有效效果如下：
[0039]1)本专利技术提出一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法。该方法先对双目相机得到的图像信息进行图像处理，得到精度较低的焊缝中心点位置的三维坐标信息，再使装有线激光扫描设备的机械臂末端移动至该点对整条焊缝进行线激光扫描，从而得到整条焊缝的精确坐标信息并进行焊接。该方法主要用于解决智能制造和建造领域中钢构件内焊缝的精准识别与定位问题，能够在一定程度上使焊接机器人脱离示教再现的工作模式，提高了对钢结构中焊缝的识别准确率和精度，实现了对钢构件中焊缝本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，包括以下步骤：1)搭建基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制系统，包括所述双目相机(7)、上位机(6)、示教器(4)和线激光传感器(3)；所述线激光传感器(3)位于待控制机械臂(1)的末端。2)利用双目相机(7)拍摄包含有工作台(8)和机械臂(1)的原始图像，并传输至上位机(6)；所述机械臂(1)用于焊接；3)上位机(6)根据相机参数将原始图像转换为具有深度信息的深度图像；4)上位机(6)利用深度学习网络对焊缝进行识别检测，得到焊缝中心点像素坐标，所述焊缝中心点即为线激光传感器(3)扫描初始点；5)上位机(6)对机械臂(1)末端与相机做手眼标定，得到像素坐标到机械臂(1)基坐标系的转换矩阵；6)在示教器(4)中对线激光传感器(3)与焊枪头进行TCP点标定；7)线激光传感器(3)扫描焊缝，得到线激光扫描结果并传输至上位机(6)；上位机(6)对线激光扫描结果进行处理，得到焊缝信息；8)上位机(6)生成焊接程序，并发送至示教器(4)；示教器(4)运行焊接程序，从而控制机械臂(1)进行焊接。2.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，在双目相机(7)拍摄包含有工作台(8)和机械臂(1)的原始图像前，对双目相机(7)进行标定、校正和匹配，获取相机参数。3.根据权利要求2所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，对双目相机(7)进行标定的工具为halcon软件；标定过程中使用的标定板为氧化铝halcon标定板。4.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，将原始图片转换为深度图像的工具为halcon软件。5.根据权利要求4所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，原始图像像素坐标q(u，v)和深度图像三维坐标Q(X
C
,Y
C
,Z
C
)的转换关系如下所示：式中，dx、dy代表每个像素的物理尺寸；u0、v0、f
x f
y
为标定得到的相机参数。6.根据权利要求1所述的一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法，其特征在于，对焊缝进行识别检测的深度学习网络为Refined Rotation RetinaNet；所述Refined Rotation RetinaNet参数由若干目标...
【专利技术属性】
技术研发人员：伍洲，张洪瑞，李帅，陈超，焦桐李盛，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。