一种基于线结构光的曲线焊缝焊接技术制造技术

本发明专利技术公开了一种基于线结构光的面向于斜交管的曲线焊缝焊接技术。该方法把机器视觉和机器人运动学很好的结合了起来，解决了曲线焊缝特征点获取过程机械且曲线轨迹模型建立困难的问题。首先控制六自由度机器人，使机器人末端带动工业像机拍摄带有线结构光的曲线焊缝图像。经过一系列的图像预处理以及特征点提取工作以后，得到了曲线焊缝各特征点的空间坐标，经过B样条曲线的拟合，最终得到一条光滑的空间曲线。除此之外，该发明专利技术使得焊枪在焊接曲线时，其姿态可以实时的根据工件两边的夹角进行变化，更好的提高了焊接工艺与焊接要求。

【技术实现步骤摘要】
所属
本专利技术属于工业自动化焊接
，涉及线结构光引导的曲线焊缝检测技术，特别是能够实时的根据工件侧面的夹角来改变焊枪姿态的轨迹规划方法。
技术介绍
随着工业自动化的不断发展，自动化焊接已经成为汽车、船舶等生产企业的发展主流。因而受到人们的广泛重视与关注。目前基于线结构光的以机器视觉为引导的来实现自动化焊接的大部分以直线焊缝检测为主，而就曲线焊缝焊接而言，焊缝特征点的确定一般是通过示教的方法确定，该种方法获取过程机械，不能满足自动化生产的需求。在实际焊接中，经常会遇到斜交圆管插接时的相贯线焊接情况。对于管管相贯焊接而言，其模型即为典型的空间曲线。对于曲线焊缝来说，通过简单的位姿插补轨迹规划算法已经不能满足严格要求的焊接质量与要求，需要实时的根据工件侧面的夹角来改变焊枪的位置和姿态。机器人在焊接的过程中如何能够精准快速的找到曲线焊缝并根据工件侧面的夹角来控制焊枪的姿态，是一直困扰自动化焊接领域的一大难题。通过六自由度工业机器人带动机器人末端工业相机对曲线焊缝进行图像采集，经过一定的图像预处理以及焊缝特征点检测工作，利用三维重建，得到各曲线焊缝特征点的机器人坐标，最后利用B样条曲线插补以及焊枪姿态离散算法，不仅可以使弧焊机器人按照最优路径进行施焊，还可以大大的改善焊接质量，提高生产效率，在实际生产中具有重要意义
技术实现思路
本专利技术能够有效的实现工业机器人对曲线焊缝的自动识别与焊接，并且能够根据斜交管侧面的角度实时的调节焊枪的姿态，经过实证表明该算法不仅定位准确而且能够满足各种焊接工艺的要求。本专利技术解决上述技术问题的技术方案是，提出一种基于线结构光的曲线焊缝自动化焊接技术。其具体过程如下：步骤一：调节六自由度工业机器人使其带动机械末端上的工业相机以及线结构光传感器，使结构光光带照射位置s1处，利用工业相机对曲线焊缝上的光带进行拍摄，一直拍摄到sn处。在实证中拍摄6幅图像，并将拍摄得到的数字图像传输给图像处理器。步骤二：对所拍摄的曲线焊缝图像进行图像处理工作经过特征点提取算法，得到焊缝各特征点以及参考点的图像坐标，其具体步骤包括：步骤2-1、降噪处理，利用中值滤波以及LOG滤波，对采集得到的焊缝图像进行一定的降噪处理，使结构光的光带条纹更加鲜明；步骤2-2、ROI区域的截取，通过对图像Y轴方向的灰度值扫描，找到某一列竖直方向灰度值最大的像素点位置，根据实际工件尺寸，以此点为参考向该点的Y轴负方向平移n个像素点的位置，并把此点在Y轴方向的位置数值设置为剪切图像起点的Y轴坐标，X轴坐标设置“1”。步骤2-3、图像二值化处理，本文选用最大方差法。该算法不需要人为的设定其他参数，是一种自动选择阈值的方法；步骤2-4、形态学腐蚀，本文使用的是3*3模板进行处理，使得光条边缘的毛刺以及一些孤立零散的点得以消除；步骤2-5、图像细化，通过水平和竖直方向扫描，找出所有像素值为1的点，找出光带在每一列上下边界的纵坐标，分别记为y1i和y2i。光带的宽度记为Δyi，中心线的纵坐标纪为ymidi，所以中心点坐标可以表示为(xi，ymidi)，其中步骤2-6、特征点提取，从左向右不断计算以N个像素点为单位长度的线段的斜率，将整个线段的斜率以曲线的类型表示。从斜率变化曲线可以清楚的知道线段的斜率变化，通过分析得知斜率最大值所对应的点便是曲线上所需求取的焊缝特征点的位置。步骤三：三维重建，将特征点坐标以及参考点坐标由图像坐标系转化到机器人坐标系，通过标定可知摄像机到腕部的转换矩阵T。机器人的六自由度关节角可以从示教器上得知，经过机器人的正解可以得知机器人末端相对于机器人基座的位姿矩阵B。最后，通过式pb＝B*T*pc，可求得pc点在基坐标系下的坐标pb。步骤四：各特征点的曲线插值，本课题采用B样条的理论来实现空间焊缝曲线的插值。在焊接加工中我们首先根据步骤二和步骤三中的图像处理算法以及三维重建，获取到曲线焊缝各个特征点的三维坐标，也就是型值点坐标，然后计算控制顶点。步骤五：确定焊枪在各个特征点位置的姿态，在直线和曲线上各选取一个参考点C和B，其中B点在曲线焊缝特征点起点的切线延长线上，C点在直线光条上。角BAC近似表示为斜交管的侧面张角。根据焊接工艺及要求，焊枪所在的位置应为斜交管侧面张角角平分线的位置。根据B样条曲线插值得到焊缝曲线表达式U，通过对U求导，从而得到沿曲线切线方向(即X轴方向)的方向向量Xx。把向量和单位化：初步计算焊枪尖点Z轴的方向向量：进一步求取特征点Y轴方向的方向向量：Xy＝Xz′×Xx；显然可以得出，Xx和Xy是相互垂直的，而Xx和Xz′不能保证垂直，所以需要对Xz′的方向向量进行方向修正：Xz＝Xx×Xy；根据该特征点三个方向向量的确定进而可以得到该特征点所对应焊枪位置的姿态矩阵：步骤六：焊枪姿态的离散，据步骤五中得到的各特征点的姿态矩阵，进而求解每相邻两个特征点之间各离散点的姿态。假设第一和第二特征点的姿态矩阵分别为R1和R2，R1和R2之间需要离散N个点。在这里我们可以得到：R1到R2的姿态变换矩阵：Rot1＝R1\\R2；利用机器人运动学求解得到R1和R2之间每个离散点之间的欧拉角梯度E1，进而得到每两个离散点之间的姿态梯度R01；最终得到第一个离散点的姿态矩阵R11＝R1*R01；同理可以得到第二个离散点的姿态矩阵为R12＝R1*R01*R01，以此类推求取接下来各离散点的姿态矩阵。本专利技术提供的基于线结构光的面向于斜交管的曲线焊缝自动化焊接技术与传统的轨迹规划技术有着本质的区别，本专利技术把机器视觉与机器人运动学很好的结合了起来，体现了如今自动化产业的发展方向和发展要求，摒弃了复杂落后的示教方法来确定焊缝特征点的过程。经实证表明，该算法具有较高的鲁棒性和实时性，在实际焊接中可以满足焊接的各种要求且具有较高的焊接精度。附图说明图1为算法的步骤流程框图；图2为图像处理部分流程框图；图3为焊接机器人各坐标转换示意图；图4为斜交管模型示意图；具体实施方式如图1所示为基于线结构光的面向于斜交管的曲线焊缝自动化焊接技术流程框图，下面根据附图及具体实例对本专利技术的实施作进一步说明：步骤一：调节六自由度工业机器人使其带动机械末端上的工业相机以及线结构光传感器，使结构光光带照射位置S1处，利用工业相机对曲线焊缝上的光带进行拍摄，且一直拍摄到Sn处，在实证中拍摄6幅图像，即拍摄到S6处。并将拍摄得到的数字图像传输给图像处理器。步骤二：针对所拍摄的曲线焊缝图像进行图像处理，其具体过程如下：步骤2-1、对图像进行滤波：步骤2-1-1、中值滤波：选择3*3的滤波模板对焊缝进行图像处理。该模板可以针对灰尘、飞溅带来的椒盐噪声得到明显的消除。步骤2-1-2、LOG滤波：本专利技术选择使用高斯-拉普拉斯滤波一维列向模板。其模板为s＝[-2；-2；-1；0；1；2；4；2；1；0；-1；-2；-2]，该操作可以很好的处理这些噪声并掏空噪声内部，使其边缘化。步骤2-2、ROI区域提取：提出一种新的ROI区域的提取算法，该算法会使非感兴趣区域带来的干扰得以消除，降低了数据运算规模，提高了图像处理的运算效率。ROI区域提取算法如下：步骤2-2-1、读取一幅灰度图像，并将该幅图像上所有像素点的灰度值存储在一个已经定义的一维数组当中；步骤2-本文档来自技高网...

【技术保护点】
一种基于线结构光的面向于斜交管的曲线焊缝焊接技术方法，其步骤如下：步骤一、控制六自由度工业机器人带动机械臂末端上的工业相机对曲线焊缝进行图像采集；步骤二、根据工业相机所采集的焊缝图像进行图像预处理工作，经过特征点提取算法，得到焊缝各特征点以及参考点的图像坐标；步骤三、利用步骤二求取得到的特征点以及参考点图像坐标进行三维重建，得到这些特征点和参考点的机器人坐标；步骤四、利用步骤三求取的机器人坐标进行空间曲线插值；步骤五、根据已经得到的空间曲线上的各特征点以及各参考点构建的角度，来确定焊枪在各个特征点位置的姿态；步骤六、曲线焊缝每相邻两个特征点之间焊枪姿态的离散。

【技术特征摘要】
1.一种基于线结构光的面向于斜交管的曲线焊缝焊接技术方法，其步骤如下：步骤一、控制六自由度工业机器人带动机械臂末端上的工业相机对曲线焊缝进行图像采集；步骤二、根据工业相机所采集的焊缝图像进行图像预处理工作，经过特征点提取算法，得到焊缝各特征点以及参考点的图像坐标；步骤三、利用步骤二求取得到的特征点以及参考点图像坐标进行三维重建，得到这些特征点和参考点的机器人坐标；步骤四、利用步骤三求取的机器人坐标进行空间曲线插值；步骤五、根据已经得到的空间曲线上的各特征点以及各参考点构建的角度，来确定焊枪在各个特征点位置的姿态；步骤六、曲线焊缝每相邻两个特征点之间焊枪姿态的离散。2.根据权利要求1所述的方法，其特征在于，在步骤二中：曲线焊缝原始图像在拍摄的过程中，有大量的烟雾以及阳光反射的噪声干扰，图像进行预处理之前巧妙的运用了ROI区域提取算法，该算法有效的排除了大量的噪声干扰，提高了运算效率。在此基础上进行中值滤波、Log滤波、图像二值化、图像腐蚀以及图像细化操作，经过特征点提取算法，得到各曲线焊缝特征点的图像坐标。3.根据权利要求1所述的方法，其特征在于，在步骤三中，通过标定可知摄像机到腕部的转换矩阵T。机器人的六自由度关节角可以从示教器上得知，经过机器人的正解可以得知机器人末端相对于机器人基座的位姿矩阵B。最后，通过式pb＝B*T*pc，可求得pc点在基坐标系下的坐标pb。其中pc为在以摄像机坐标系为参考下的坐标点。4.根据权利要求1所述的方法，其特征在于，在步骤四中，把机器视觉以及机器人运动学巧妙的结合了起来，摈弃了传统的通过示教的方法来获取焊缝特征点的方法。根据...

【专利技术属性】
技术研发人员：范明洋，嵇保健，洪磊，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：江苏;32