一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法技术

本发明专利技术公开了一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，该方法通过被测焊缝的结构光条纹图像处理，提取条纹单像素中心线并构建条纹中心线的斜率变化曲线。基于斜率分析提取相贯曲线焊缝点组图像特征，通过机器人焊接系统的位姿变换和Bspline曲线拟合，建立机器人基坐标系下的焊缝曲线及其两侧曲面变化特征模型。通过时间平均插值形成离线化的焊缝控制点位姿序列，根据焊接工艺要求构建焊枪坐标系，确定控制点序列对应的焊枪位姿。本发明专利技术解决了现有技术仅表征焊缝特征点位置，缺少焊缝周边曲面结构特征表达的局限，使所构建的曲线焊缝结构模型具有同时反映焊接位置和姿态的整体表征性，为后续焊接轨迹规划与控制提供基础。

【技术实现步骤摘要】
一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法
本专利技术属于焊缝检测及焊接自动化
，具体涉及一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法。
技术介绍
在焊接工程实践领域，存在许多不同形状管件相互交叉的结构，形成复杂的空间相贯曲线焊缝，这类空间曲线的焊接加工任务已广泛存在于汽车、船舶、石油、钢结构、各类压力容器等制造行业之中。由于空间曲线焊缝形态结构的多样性，人工焊接不仅劳动强度大、效率低，而且对工人的操作技能要求高，焊接质量不易保证。近年来，针对工业机器人在空间相贯曲线自动焊接的应用，研究者开展了大量有益的工作。现有研究热点主要是机器人离线编程，焊接离线编程控制依赖于精确的仿真焊缝模型，由于待焊工件自身形状、尺寸及相贯形式的不同，加之工件装配误差等不确定性因素的影响，使得建立一种通用精确的曲线焊缝模型变得十分困难。因此，曲线焊缝的数学建模是曲线焊接离线编程的关键技术之一。国内外学者针对各种不同接头形式的空间相贯曲线焊缝建模问题做了大量研究，代表性的有：ChenH.M等在国际期刊LectureNotesinElectricalEngineering，2011，88：73-80上发表的文章“CombinedPlanningbetweenWeldingPoseandWeldingParametersforanArcWeldingRobot”建立了马鞍曲线焊缝数学模型。张毅等在华中科技大学学报上发表文章“不规则管管相贯曲线的轨迹规划”建立了集斜交、偏移于一体的相贯曲线焊缝数学模型。石磊等在焊接学报，2015，36(6)：5-8发表的文章“主管旋转式相贯曲线自动焊接模型与仿真”建立了主管旋转式相贯曲线自动焊接的几何模型。上述研究者均采用空间解析几何法表示焊缝模型，模型精确且计算效率高，但仅针对某一类特定形式的相贯曲线，通用性不足，对于不规则工件偏心交方式形成的复杂焊缝曲线难以表达，且无法修正由于工件装配问题所导致的实际偏差。ChenC.L等在国际期刊RoboticsandComputer-IntegratedManufacturing，2013，29(4)：41-48上发表文章“Anapproachtothepathplanningoftube-sphereintersectionweldswiththerobotdedicatedtoJ-groovejoints”采用特定接触式测量头获取多个曲线采样点，再应用多项式函数拟合曲线法建立数学模型，该方法修正了工件装配的偏差，使焊缝位置模型更为精确，但对焊接姿态角度缺乏描述，且接触式测量的操作效率较低。因此，引入视觉检测来全面描述焊缝位置和姿态特征，对于曲线焊缝建模精度和效率的提高都是必要的。视觉检测方法在曲线焊缝形态建模方面已有一定的研究成果，中国专利技术专利“一种基于线结构光视觉检测的曲线焊缝三维重建方法”(授权公告号CN105783726B)，公布了一种基于线结构光视觉检测的曲线焊缝三维重建方法，其方法可识别两金属板对接、搭接和T型焊的结构形态，但上述焊缝结构形态较为简单，结构光条纹为直线形式，并未解决通过曲线形式的结构光条纹提取相贯曲线类焊缝轮廓特征的问题。中国专利技术专利申请“一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法”(申请公布号CN108907408A)公开了一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法，提出选取焊缝部位的边界点建立空间坐标系，通过特征识别相机对焊缝特征进行坐标化，进行焊缝点位置坐标表示。但该方法仅提出检测焊缝位置点，未涉及检测局部焊缝点周边结构的特征，且没有提出具体的相机识别算法。HeY.S等在国际期刊RoboticsandComputer-IntegratedManufacturing，2015.04.005：1-11发表的文章“Weldseamprofiledetectionandfeaturepointextractionformuti-passrouteplanningbasedonvisualattentionmodel”应用视觉显著性模型原理，采用多项式拟合及微分极值法检测多层焊道焊缝轮廓处的特征点，但方法仅检测出特征点，也未涉及焊缝轮廓特征的提取。综上所述，目前主要应用的空间几何法构建的模型不具备普适性，且忽略了工件加工装配误差等不确定因素的影响。而基于视觉特征检测的建模主要限于焊缝特征点的检测，缺少对焊缝周边工件结构特征的检测，所构建的模型无法反映焊接姿态角度特征，不能满足曲线焊缝的建模要求，因此需要提出全面描述曲线焊缝结构特征的建模方法。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题，在于克服现有技术存在的上述缺陷，提供一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，实现在不依赖于曲线焊缝具体尺寸形状条件下，采用线结构光视觉检测形成全面描述曲线焊缝结构特征的建模方案。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，包括以下步骤：一、线结构光条纹图像处理，提取条纹单像素中心线。具体为：1-1：调整机器人运动使线结构光条纹垂直于焊缝接口后，读取被测焊缝接口的结构光条原始图像；1-2：图像预处理，主要包括对原始图像的灰度化和高斯滤波；1-3：提取光条所在区域为图像感兴趣ROI区域，缩小图像处理的范围；1-4：对提取到的ROI图像进行二值化处理，获得条纹二值化图像；1-5：选择8领域元素细化结构模型，并根据选定的结构元素对二值图像实现遍历细化运算，通过多次细化运算的迭代获取条纹单像素中心线。二、基于斜率分析提取相贯曲线焊缝点组图像特征。具体为：2-1：构建线结构光条纹中心线的斜率变化曲线：将条纹中心线上的所有点按像素坐标大小顺序排列，各像素点记为Pi(i＝1～n)，共计n个点，取Pi到连续n0个点集做直线拟合并记录直线斜率值ki(i＝1～n-n0+1)，当Pi从起始点Pl顺次推移到的过程中，各直线斜率值随之连续变化，形成以点序i为横坐标，斜率ki为纵坐标的斜率变化曲线(i＝1～n-n0+1)。2-2：搜索斜率变化曲线的最大值及对应点序：搜索斜率变化曲线的最大值kmax及其对应的点序nmax。2-3：提取单个局部焊缝特征点组(Pu，Mu，Wu)的图像坐标：选择结构光条纹中心线曲边交点Pu及两曲边上与交点在邻近区域等距的两点Mu，Wu共同构成曲线焊缝单个局部位置的特征点组(Pu，Mu，Wu)，取点序nmax邻近前后两侧的局部区域点集(前区域：nmax-n0～nmax，后区域：nmax～nmax+n0。)的端点Pnmax，Pnmax-n0和Pnmax+n0。以前后两个区域点集分别拟合直线L1和L2，对应焊缝特征点所在位置在两侧待焊件上形成的两角线，两角线的交点作为焊缝点图像坐标Pu。进一步得到Mu，Wu：其中，s1和s2表示直线L1和L2的方向矢量，λ表示距离参数，三、建立焊缝曲线及其两侧曲面变化特征模型。具体为：3本文档来自技高网...

【技术保护点】
1.一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，其特征在于，包括以下步骤：/n步骤一：焊缝接口线结构光条纹图像处理，提取条纹单像素中心线；/n步骤二：基于斜率分析提取相贯曲线焊缝点组图像特征；/n步骤三：建立焊缝曲线及其两侧曲面变化特征模型；/n步骤四：确定焊枪控制位置和姿态。/n

【技术特征摘要】
1.一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，其特征在于，包括以下步骤：
步骤一：焊缝接口线结构光条纹图像处理，提取条纹单像素中心线；
步骤二：基于斜率分析提取相贯曲线焊缝点组图像特征；
步骤三：建立焊缝曲线及其两侧曲面变化特征模型；
步骤四：确定焊枪控制位置和姿态。


2.根据权利要求1所述的一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，其特征在于，所述步骤一具体为：(1)调整机器人运动使线结构光条纹垂直于焊缝接口并读取其结构光条原始图像；(2)通过灰度化和高斯滤波进行图像预处理；(3)提取光条所在区域为图像感兴趣ROI区域，并对提取到的ROI图像进行二值化处理，获得条纹二值化图像；(4)选择8领域元素细化结构模型，并根据选定的结构元素对二值图像实现遍历细化运算，经过迭代获取条纹单像素中心线。


3.根据权利要求2所述的一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，其特征在于，所述步骤二具体为：(1)构建线结构光条纹中心线的斜率变化曲线；(2)搜索斜率变化曲线的最大值及对应点序；(3)选择结构光条纹中心线曲边交点Pu及两曲边上与交点在邻近区域等距的两点Mu，Wu共同构成曲线焊缝单个局部位置的特征点组(Pu，Mu，Wu)，通过斜率变化曲线最大值对应点序邻近前后两侧局部区域点集的直线拟合，提取特征点组的图像坐标。


4.根据权利要求3所述的一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，其特征在于，所述步骤三具...

【专利技术属性】
技术研发人员：洪磊，王保升，王俭朴，郑堃，王玉国，闫注文，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：江苏;32