一种熔池形貌检测及弧焊机器人控制方法技术

本发明专利技术公开了一种熔池形貌检测及弧焊机器人控制方法，包括：采集弧焊增材制造熔覆池视频，提取单帧彩色图像，进行灰度变换和噪声滤波；进行掩膜修补，剔除金属液滴区域部分，去除图像多余的部分，利用天牛须搜索自适应阈值算法的边缘检测，进行阈值分割和灰度增强，从而达到对图像进行去噪和增强；通过像素遍历搜寻出熔覆池圆心，再进行区域图像分割、镜像对称和组合，拟合出椭圆，通过圆心遍历出长轴和短轴，对长轴和短轴像素数大小进行计算，判断长轴和短轴的变化量，进而控制弧焊机器人是否继续打印，再根据当前图像是否为最后一帧来决定是否结束循环，进而实现本方法，为弧焊增材制造打印质量提供低成本、高效率的检测分析与控制方法。

A method of weld pool shape detection and arc welding robot control

【技术实现步骤摘要】
一种熔池形貌检测及弧焊机器人控制方法
本专利技术属于弧焊增材制造与图像处理的
，涉及一种熔池形貌检测及弧焊机器人控制方法。
技术介绍
弧焊增材制造是以三维CAD模型转换为数字STL模型为基础，通过对其切片处理生成加工路径，然后以逐层叠加的方式完成材料的填充，最终实现目标件成形。其小熔池熔炼与铸造的工艺特点，能解决大型金属构件铸造过程中成分偏析的问题，能低成本、高效率地制造成分均匀、力学性能好的高性能大型金属构件，是金属三维打印的重要发展方向之一。在弧焊增材制造的过程中，往往需要对金属基材熔化并形成熔池，影响熔池形貌的因素有很多，比如说激光的功率，打印速度等，这些因素也都影响着打印结果，打印结果的好坏就可以通过熔池形貌的变化反应出来，而在弧焊增材制造过程中，其熔池形貌是不断变化的。目前，对熔池形貌的分析识别有通过有经验的工人全程监控，进而调整工艺参数，但是效率较低；也有通过对成形过程中温度场的演变与组织转变行为来监控，这种方法复杂且繁琐，成本较高。通过对熔池形貌的特征提取及识别，针对熔池形貌的平面图像乃至动态图像进行分析，找出一套合理可靠的算法，推算出熔池平面的具体形貌，以及实时的变化情况，甚至于解决在只有单摄像机拍摄下，对熔池形貌边缘大小做出适当的测算，为弧焊增材制造打印质量提供低成本、高效率的检测分析与控制方法。
技术实现思路
本专利技术目的在于，实现对弧焊增材制造过程中熔覆池形状和尺寸的实时检测，提供了一种熔池形貌检测及弧焊机器人控制方法，包括如下步骤：步骤1，采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；步骤2，针对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换得到熔覆池灰度图像，从而减少计算量，降低后续处理的复杂性；步骤3，由于图像在传输过程中，会有很多噪声，为了减少噪声对后续图像拟合时的影响，对熔覆池灰度图像进行滤波处理。为了让滤波后的图像保留更多的细节和平滑的边缘，对熔覆池灰度图像进行基于多级卷积核加权的噪声滤波，得到熔覆池滤波图像；步骤4，为了系统能够自动的减少金属液滴区域部分对熔池边缘的影响，对基于多级卷积核加权的噪声滤波图像进行基于阈值处理的掩膜修补方法，去除金属液滴区域部分，得到修补后的熔覆池灰度图像；步骤5，为了减少边缘检测所用的时间，对修补后的熔覆池灰度图像进行两次区域图像分割，分离出多余的图像，保留核心的部分，得到二次区域分割图像。步骤6，为了快速而准确的检测出熔覆池图像的边缘部分，对二次区域分割图像进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池边缘检测图像；步骤7，为了进一步消除非边缘部分以及增强现有的熔覆池边缘形貌视觉效果，对熔覆池边缘检测图像进行阈值分割【可参考夏博文.基于图像处理的覆冰绝缘子覆冰特征与闪络特性研究，天津大学，硕士学位论文，2018，pp.16-18】和基于粒子群算法的伽马变换，进行灰度增强，得到去噪和增强后熔覆池边缘图像；步骤8，为了后续能够进行椭圆拟合，对去噪和增强后熔覆池边缘图像进行像素遍历，得到熔覆池的圆心像素点坐标；步骤9，以熔覆池的圆心像素点坐标为基准，进行基于竖轴和横轴的区域图像分割【可参考何俊，葛红，王玉峰.图像分割算法研究综述[J].计算机工程与科学，2019，31(12)：58-59】，再通过右半平面和下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像；步骤10，以熔覆池的圆心像素点坐标为基准，对熔覆池的椭圆拟合图像进行像素遍历，计算出长轴和短轴像素数大小；利用长轴和短轴的变化量判断终止打印或者继续打印。判断当前熔覆池视频序列帧彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤1。步骤2包括：将单帧熔覆池视频序列帧彩色图像中每个像素点进行灰度变换，并利用以下公式重新赋值：Graym＝0.2986*Rm+0.5871*Gm+0.1143*Bm其中，Graym为灰度变换后的灰度值，Rm为单帧熔覆池视频序列帧彩色图像中红色分量的值，Gm为绿色分量的值，Bm为蓝色分量的值，它们的系数是根据人肉眼视觉的色彩感受设定的。步骤3包括：进行四级卷积核加权，卷积核的尺寸为n×n，取尺寸分别为3×3、5×5、7×7、9×9的四级卷积核，n＝2×k+1，k为正整数，取值范围无穷大，如取1、2、3、4……，将卷积核所覆盖像素中的中值作为中心点的像素值，遍历所有元素，四级卷积核加权公式如下：dst＝0.4*dst1+0.3*dst2+0.2*dst3+0.1*dst4其中，dst表示加权后的像素值，dst1、dst2、dst3、dst4分别是卷积核尺寸为3×3、5×5、7×7、9×9作用后的像素值，权重是根据每种尺寸卷积核的重要程度进行选取。步骤4需要选取阈值进行图像分割，再去除金属液滴区域部分，具体方法为：步骤4-1，根据熔覆池滤波图像的灰度直方图【可参考林旭鹏.基于车载红外图像的目标检测系统，北京交通大学，硕士学位论文，2019，pp.18-19】，选取170作为图像分割的阈值。使用阈值分割分离出金属液滴区域部分，以金属液滴区域部分构成熔覆池滤波图像的掩膜，也即熔覆池滤波图像的待修复区域。步骤4-2，对熔覆池滤波图像进行修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像，修补公式如式：其中，I(u)为熔覆池滤波图像修补后的灰度值，为熔覆池滤波图像灰度值的梯度，Ω为待修复区域，x和y分别为像素点的横坐标和纵坐标。步骤5需要对修补后的图像进行区域图像分割，具体方法为：步骤5-1，在修补后的熔覆池灰度图像中选取一个矩形，矩形四个顶点的像素坐标分别为(130,125)、(360,125)、(130,20)和(360,20)，遍历所有的像素，如果像素坐标在这个矩形区域内，则像素值不变；如果像素坐标在这个矩形区域外，则把像素值置为0，即黑色，得到初步区域分割图像。步骤5-2，在初步区域分割图像中选取一个矩形，矩形四个顶点的像素坐标分别为(200,100)、(200,50)、(300,100)和(300,50)，遍历所有的像素，如果像素坐标在这个矩形区域内，像素值置为0，即黑色；如果像素坐标在这个矩形区域外，则像素值不变；得到二次区域分割图像。步骤6，利用Sobel算子对二次区域分割图像进行卷积计算得到边缘梯度值，对边缘梯度值使用天牛须搜索自适应阈值算法，当边缘梯度值大于自适应阈值时标记为边缘，得到熔覆池边缘检测图像，Sobel算子如下：Gx＝G_x*A,Gy＝G_y*A,|G|＝|Gx|+|Gy|,其中，Gx及Gy分别代表经过横向边缘检测的图像灰度值和经过纵向边缘检测的图像灰度值，G_x及G_y分别为横坐标x方向需要使用的卷积因子和纵坐标y方向需要使用的卷积因子，A代表二次区域分割图像，|G|为经过Sobel算子计算后的边缘梯度值。所述天牛须搜索自适应阈值算法包括：步骤6-1，建立天牛须朝向的随本文档来自技高网...

【技术保护点】
1.一种熔池形貌检测及弧焊机器人控制方法，其特征在于，包括如下步骤：/n步骤1，采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；/n步骤2，针对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换得到熔覆池灰度图像；/n步骤3，对熔覆池灰度图像进行基于多级卷积核加权的噪声滤波，得到熔覆池滤波图像；/n步骤4，对基于多级卷积核加权的熔覆池滤波图像进行基于阈值处理的掩膜修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像；/n步骤5，对修补后的熔覆池灰度图像进行两次区域图像分割，得到二次区域分割图像；/n步骤6，对二次区域分割图像进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池边缘检测图像；/n步骤7，对熔覆池边缘检测图像进行阈值分割和基于粒子群算法的伽马变换，进行灰度增强，得到去噪和增强后的熔覆池边缘图像；/n步骤8，对去噪和增强后的熔覆池边缘图像进行像素遍历，得到熔覆池的圆心像素点坐标；/n步骤9，以熔覆池的圆心像素点坐标为基准，进行基于竖轴和横轴的区域图像分割，再通过右半平面和下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像；/n步骤10，以熔覆池的圆心像素点坐标为基准，对熔覆池的椭圆拟合图像进行像素遍历，计算出长轴和短轴像素数大小；利用长轴和短轴的变化量判断终止打印或者继续打印；判断当前熔覆池视频序列帧彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤1。/n...

【技术特征摘要】
1.一种熔池形貌检测及弧焊机器人控制方法，其特征在于，包括如下步骤：
步骤1，采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；
步骤2，针对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换得到熔覆池灰度图像；
步骤3，对熔覆池灰度图像进行基于多级卷积核加权的噪声滤波，得到熔覆池滤波图像；
步骤4，对基于多级卷积核加权的熔覆池滤波图像进行基于阈值处理的掩膜修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像；
步骤5，对修补后的熔覆池灰度图像进行两次区域图像分割，得到二次区域分割图像；
步骤6，对二次区域分割图像进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池边缘检测图像；
步骤7，对熔覆池边缘检测图像进行阈值分割和基于粒子群算法的伽马变换，进行灰度增强，得到去噪和增强后的熔覆池边缘图像；
步骤8，对去噪和增强后的熔覆池边缘图像进行像素遍历，得到熔覆池的圆心像素点坐标；
步骤9，以熔覆池的圆心像素点坐标为基准，进行基于竖轴和横轴的区域图像分割，再通过右半平面和下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像；
步骤10，以熔覆池的圆心像素点坐标为基准，对熔覆池的椭圆拟合图像进行像素遍历，计算出长轴和短轴像素数大小；利用长轴和短轴的变化量判断终止打印或者继续打印；判断当前熔覆池视频序列帧彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤1。


2.根据权利要求1所述的方法，其特征在于，步骤2包括：将单帧熔覆池视频序列帧彩色图像中每个像素点进行灰度变换，并利用以下公式重新赋值：
Graym＝0.2986*Rm+0.5871*Gm+0.1143*Bm
其中，Graym为灰度变换后的灰度值，Rm为单帧熔覆池视频序列帧彩色图像中红色分量的值，Gm为绿色分量的值，Bm为蓝色分量的值。


3.根据权利要求2所述的方法，其特征在于，步骤3包括：进行四级卷积核加权，卷积核的尺寸为n×n，取尺寸分别为3×3、5×5、7×7、9×9的四级卷积核，n＝2×k+1，k为正整数，将卷积核所覆盖像素中的中值作为中心点的像素值，遍历所有元素，四级卷积核加权公式如下：
dst＝0.4*dst1+0.3*dst2+0.2*dst3+0.1*dst4
其中，dst表示加权后的像素值，dst1、dst2、dst3、dst4分别是卷积核尺寸为3×3、5×5、7×7、9×9作用后的像素值。


4.根据权利要求3所述的方法，其特征在于，步骤4包括：
步骤4-1，根据熔覆池滤波图像的灰度直方图，选取170作为图像分割的阈值，使用阈值分割分离出金属液滴区域部分，以金属液滴区域部分构成熔覆池滤波图像的掩膜，也即熔覆池滤波图像的待修复区域；
步骤4-2，对熔覆池滤波图像进行修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像，修补公式如式：



其中，I(u)为熔覆池滤波图像修补后的灰度值，▽u(x,y)为熔覆池滤波图像灰度值的梯度，Ω为待修复区域，x和y分别为像素点的横坐标和纵坐标。


5.根据权利要求4所述的方法，其特征在于，步骤5包括：
步骤5-1，在修补后的熔覆池灰度图像中选取一个矩形，矩形四个顶点的像素坐标分别为(130,125)、(360,125)、(130,20)和(360,20)，遍历所有的像素，如果像素坐标在这个矩形区域内，则像素值不变；如果像素坐标在这个矩形区域外，则把像素值置为0，即黑色，得到初步区域分割图像；
步骤5-2，在初步区域分割图像中选取一个矩形，矩形四个顶点的像素坐标分别为(200,100)、(200,50)、(300,100)和(300,50)，遍历所有的像素，如果像素坐标在这个矩形区域内，像素值置为0，即黑色；如果像素坐标在这个矩形区域外，则像素值不变，得到二次区域分割图像。


6.根据权利要5所述的方法，其特征在于，步骤6包括：利用Sobel算子对二次区域分割图像进行卷积计算得到边缘梯度值，对边缘梯度值使用天牛须搜索自适应阈值算法，当边缘梯度值大于自适应阈值时标记为边缘，得到熔覆池边缘检测图像，Sobel算子如下：
Gx＝G_x...

【专利技术属性】
技术研发人员：谢非，朱腾飞，杨继全，刘益剑，刘宗熙，陆飞，冯春梅，汪璠，吴俊，章悦，
申请(专利权)人：南京师范大学，南京智能高端装备产业研究院有限公司，
类型：发明
国别省市：江苏;32