本发明专利技术提供了一种复杂背景下工件焊缝特征点自动搜寻并提取的方法及系统，包括：步骤S1：通过双目相机实时采集待焊工件图像；步骤S2：基于采集到的待焊工件图像通过深度学习算法确定图像中工件感兴趣区域，排除多余背景的干扰；步骤S3：对确定的图像中工件感兴趣区域进行预处理，得到预处理后的图像；步骤S4：对预处理后的图像运用边缘检测方法对图像中的工件轮廓信息进行提取；步骤S5：采用霍夫变换检测工件及其焊缝边缘直线，并合并特征直线；步骤S6：根据检测所得直线计算交点从而确定工件以及焊缝特征点的像素坐标。以及焊缝特征点的像素坐标。以及焊缝特征点的像素坐标。
【技术实现步骤摘要】
复杂背景下工件焊缝特征点自动搜寻并提取的方法及系统
[0001]本专利技术涉及智能焊接
，具体地，涉及复杂背景下工件焊缝特征点自动搜寻并提取的方法及系统，更为具体地，涉及针对复杂背景工件图像的焊缝特征点自动搜寻并提取的方法及系统。
技术介绍
[0002]随着制造业逐渐向着智能化转型，机器人焊接也顺应焊接自动化、智能化的趋势不断发展。如何提高机器人焊接的自动化水平，提高机器人焊接的生产效率，最终保证焊接质量，一直是一个重大的挑战。
[0003]目前控制机器人焊接路径的方式大多为示教再现型以及离线编程型。示教再现操作简单，得到了广泛的应用，但焊接轨迹精度依靠人工目测，对复杂轨迹耗时长，效率低下。离线编程虽然可以实现复杂的运动轨迹、进行最佳路径规划等。但是，该方法必须建立机器人及其工作环境的理论模型，而该模型与实际执行焊接任务时的工况难免会存在偏差。因此需要让机器人与传感器相结合，使其获得感知外界的能力，提高其适应性，向自主定位的方向发展。目前大多采用视觉传感的方式来定位焊缝。而双目视觉的方式在实际工程中应用最广，开发双目视觉的图像处理技术具有十分重要的意义。
[0004]经对现有技术文献检索分析，现有的图像处理方法，均存在着不同程度的不足之处。
[0005]专利文献CN110539109A(申请号：201910802496.7)公开了一种基于单双目视觉的机器人自动焊接系统，包括前置视觉检测模块、运动控制模块、焊枪，其中前置视觉检测模块包括单目相机、双目相机、防飞溅挡板、图像采集卡，运动控制模块包括上位机、机器人控制器、运动轴执行机构；单目相机设置在焊枪的一侧，防飞溅挡板设置在单目相机与焊枪之间，双目相机设置在单目相机的另一侧，且单目相机和双目相机分别通过图像采集卡与上位机连接；上位机对焊缝图像进行分析处理，分别得到工件及焊缝的坐标以及运动轴执行机构的运动轨迹规划结果，并通过机器人控制器将运动轨迹规划结果相应的控制命令传送到运动轴执行机构。专利文献CN106442533A(申请号：201611149985.X)公开了基于工业CCD焊缝信息的提取系统。此系统应用到工业焊缝中，不仅可以提高企业的技术水平，也可以有效提高工业焊接的工作效率和可靠性。基于工业CCD的焊缝信息提取的方法包括：图像采集卡和摄像头与计算机相连，摄像头通过图像采集卡采集焊缝图像，并将图像传送给计算机；对采集到的焊缝图像进行预处理，目标识别与目标提取，最终得到焊缝目标；基于VS2008软件开发平台，实现焊缝的图像提取，编写图像预处理算法、目标识别算法和目标提取算法软件。其中所用的图像处理及目标识别方法对图像要求高，仅能处理小区域焊缝，面对具有复杂背景的大视场图片中的焊缝无法自动寻找以及提取特征点，适用性不强。
[0006]专利文献CN113042939A(申请号：202110303640.X)公开了一种基于三维视觉信息的工件焊缝定位方法及系统，获取焊接场景的图像，获取三维视觉点云信息；通过点云滤波算法对获取的初始点云信息进行预处理，得到工件点云；通过焊缝提取算法进行焊缝点云
提取，得到目标点簇；对目标点簇，利用奇异值分解算法直线拟合得到目标焊缝直线方程，得到目标焊缝轨迹。该专利依赖点云数据，若待焊件越大，相应的点云数据量越大，算法处理过程越复杂，耗时也越长，不利于实际生产。
[0007]总而言之，目前缺乏一种能够在具有复杂背景的大视场图像中自主识别焊缝并高效地计算特征点位置的技术，有必要对现有技术进行改进解决不足之处。
技术实现思路
[0008]针对现有技术中的缺陷，本专利技术的目的是提供一种复杂背景下工件焊缝特征点自动搜寻并提取的方法及系统。
[0009]根据本专利技术提供的一种复杂背景下工件焊缝特征点自动搜寻并提取的方法，包括：
[0010]步骤S1：通过双目相机实时采集待焊工件图像；
[0011]步骤S2：基于采集到的待焊工件图像通过深度学习算法确定图像中工件感兴趣区域，排除多余背景的干扰；
[0012]步骤S3：对确定的图像中工件感兴趣区域进行预处理，得到预处理后的图像；
[0013]步骤S4：对预处理后的图像运用边缘检测方法对图像中的工件轮廓信息进行提取；
[0014]步骤S5：采用霍夫变换检测工件及其焊缝边缘直线并合并特征直线；
[0015]步骤S6：根据检测所得直线计算交点从而确定工件以及焊缝特征点的像素坐标。
[0016]优选地，所述步骤S1采用：利用自动装配系统中的双目相机采集待焊工件图像；
[0017]所述自动装配系统包括：双目相机、采集卡、工控机以及待焊工件；
[0018]所述采集卡安装于所述工控机上，所述采集卡与所述双目相机通过总线连接，实现工控机对双目相机的控制以及两者间的数据传输。
[0019]优选地，所述步骤S2采用：
[0020]步骤S2.1：将采集到的待焊工件图像通过训练后的深度学习网络生成包含工件图像像素的掩膜图像；
[0021]步骤S2.2：掩膜图像通过形态学处理将掩膜扩大并修正实现工件与背景基本分离的效果。
[0022]优选地，所述步骤S3采用：对确定的图像中工件感兴趣区域进行包括去畸变以及滤波处理。
[0023]优选地，所述步骤S4采用：
[0024]步骤S4.1：通过Canny边缘检测提取待焊工件及焊缝边缘轮廓；
[0025]步骤S4.2：对曲线图像施加闭运算联通Canny算子提取边缘数据；
[0026]步骤S4.3：基于八连通的概念删除总面积小于预设值的连通像素，保留边缘主体。
[0027]优选地，所述步骤S5采用：
[0028]步骤S5.1：采用霍夫变换检测工件及其焊缝边缘直线；
[0029]ρ＝xcosθ+ysinθ
ꢀꢀꢀ
(1)
[0030]其中，ρ是原点到直线的垂直距离；θ为直线的垂线与横轴顺时针方向的夹角；
[0031]步骤S5.2：依据每条直线的(ρ,θ)值对直线进行分组分类，并将同组同类直线进行
合并。
[0032]优选地，所述步骤S5.2采用：
[0033]步骤S5.2.1：根据θ值将全部直线进行排序，对排序后的直线在θ值发生跳变处设置标记，完成初步的直线分组；
[0034]步骤S5.2.2：对每组直线根据ρ由小到大进行排序，在ρ值发生跳变处设置标记，完成直线分类；
[0035]步骤S5.2.3：将同组同类直线进行合并得到合并后的直线(ρ',θ')；
[0036][0037][0038]其中，n表示n条直线。
[0039]优选地，所述步骤S6采用：针对预设区域内部边缘特征进行直线提取计算求得坡口角点；
[0040]设待求焊缝特征点p的像素坐标为(x,y)，所提取的两条直线分别为l1和l2；
[0041]l1的直线方程为：
[0042]ρ1＝xcosθ1+ysinθ1ꢀꢀꢀ
(4)
...
【技术保护点】
【技术特征摘要】
1.一种复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，包括：步骤S1：通过双目相机实时采集待焊工件图像；步骤S2：基于采集到的待焊工件图像通过深度学习算法确定图像中工件感兴趣区域，排除多余背景的干扰；步骤S3：对确定的图像中工件感兴趣区域进行预处理，得到预处理后的图像；步骤S4：对预处理后的图像运用边缘检测方法对图像中的工件轮廓信息进行提取；步骤S5：采用霍夫变换检测工件及其焊缝边缘直线并合并特征直线；步骤S6：根据检测所得直线计算交点从而确定工件以及焊缝特征点的像素坐标。2.根据权利要求1所述的复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，所述步骤S1采用：利用自动装配系统中的双目相机采集待焊工件图像；所述自动装配系统包括：双目相机、采集卡、工控机以及待焊工件；所述采集卡安装于所述工控机上，所述采集卡与所述双目相机通过总线连接，实现工控机对双目相机的控制以及两者间的数据传输。3.根据权利要求1所述的复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，所述步骤S2采用：步骤S2.1：将采集到的待焊工件图像通过训练后的深度学习网络生成包含工件图像像素的掩膜图像；步骤S2.2：掩膜图像通过形态学处理将掩膜扩大并修正实现工件与背景基本分离的效果。4.根据权利要求1所述的复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，所述步骤S3采用：对确定的图像中工件感兴趣区域进行包括去畸变以及滤波处理。5.根据权利要求1所述的复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，所述步骤S4采用：步骤S4.1：通过Canny边缘检测提取待焊工件及焊缝边缘轮廓；步骤S4.2：对曲线图像施加闭运算联通Canny算子提取边缘数据；步骤S4.3：基于八连通的概念删除总面积小于预设值的连通像素，保留边缘主体。6.根据权利要求1所述的复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，所述步骤S5采用：步骤S5.1：采用霍夫变换检测工件及其焊缝边缘直线；ρ＝xcosθ+ysinθ
ꢀꢀꢀꢀ
(1)其中，ρ是原点到直线的垂直距离；θ为直线的垂线与横轴顺时针方向的夹角；步骤S5.2：依据每条直线的(ρ,θ)值对直线进行分组分类，并将同组同类直线进行合并。7.根据权利要求1所述的复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，所述步骤S5.2采用：步骤S5.2.1：根据θ值将全部直线进行排序，对排序后的直线在θ值发生跳变处设置标记，完成初步的直线分组；步骤S5.2.2：对每组直线根据ρ由小到大进行排序，在ρ值发生跳变处设置标记，完成直线分类；
步骤S5.2.3：将同组同类直线进行合并得到合并后的直线(ρ',θ')；步骤S5.2.3：将同组同类直线进行合并得到合并后的直线(ρ',θ')；其中，n表示n条直线。8.根据权利要求1所述的复杂背景下工件焊缝特征点自动搜寻并提取的方法，其特征在于，所述步骤S6采用：针对预设区域内部边缘特征进行直线提取计算求得坡口角点；设待求焊缝特征点...
【专利技术属性】
技术研发人员：张轲，王皖勇，张宇辉，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。