【技术实现步骤摘要】
本专利技术涉及焊接技术监测，具体为一种基于机器视觉的实时焊接特征提取与熔透监测方法。
技术介绍
1、焊接作为现代制造技术的关键部分，主要用于机械制造、建筑工程、轨道交通、海洋工程、航空航天等工业制造领域。由于先进制造技术的高速发展，以数控、计算机、电力电子以及机器人技术为代表的智能焊接技术逐渐代替传统的手工焊接方法，以提高焊接产品质量和焊接效率，同时解决了焊工的工作强度和改善焊接环境问题，因此，现代焊接生产技术不断趋向机械化、自动化、智能化方向，这对改善劳动条件、提高生产率和焊接精度、保证焊接质量以及降低运营成本具有重要意义。
2、焊接过程质量控制是智能化焊接技术的重要组成部分，焊接质量通常指通过焊接工艺而生产的产品质量是否满足产品设计要求，其内容包括:力学性能、焊接后几何尺寸以及内、外部缺陷等，在实际焊接过程中，焊缝的熔深、熔宽、焊缝余高等几何参数均是直接影响焊缝质量的重要因素，因此，研究焊接过程中熔池信息以及对熔池参数的控制对焊接质量控制具有重大实际意义，维持稳定合适的熔透状态是保证焊接质量的前提，不适当的熔透状态，如未熔透、过度熔透、烧穿等将严重降低焊缝接头强度和构件连接的可靠性，轻则导致工件报废，重则造成损失惨重的安全事故，熔透状态受到焊接参数、接头形式、工件材料、散热条件等多方面因素的综合影响，在机器人焊接过程中，凭借焊工经验和大量焊接试验建立工艺库，为不同工况条件设置焊接规范是获取合适熔透状态的常用方案，然而，该方法缺乏对焊接状态的实时感知和对焊接流程的有效干预，难以保证在外界扰动以及热量持续积累下焊缝熔
技术实现思路
1、(一)解决的技术问题
2、本专利技术的目的是提出了一种具有实时提取焊接熔池特征并预测焊缝熔透状态的方法。本方法具有抗干扰能力强，计算参数少，精度高等特点，用以满足不同工况下的焊接过程监测的要求，而提出的一种基于机器视觉的实时焊接特征提取与熔透监测方法。
3、(二)技术方案
4、本专利技术解决上述技术问题的技术方案如下：
5、一种基于机器视觉的实时焊接特征提取与熔透监测方法，包括以下步骤：
6、s1、使用ccd相机采集未熔透、适度熔透、过熔透三种情况的熔池图像；
7、s2、分别对熔透、适度熔透、过熔透三种情况的熔池图像进行像素级的标注，生成相应的标注图；
8、s3、将生成的标注图和原图同时进行数据增强，扩充数据集，制作熔池特征提取模型数据集以及熔池熔透状态监测模型数据集；
9、s4、搭建熔池特征提取模型，并采用训练数据集对其进行训练；
10、s5、搭建熔池熔透状态监测模型，并采用训练数据集对其进行训练；
11、s6、在实际焊接过程中，使用ccd相机拍摄焊接区域实时图像﹐将实时图像输入轻量化熔池图像语义分割模型，提取熔池区域形态特征；
12、s7、将从轻量化熔池图像语义分割模型中生成二值化熔池图像输入到熔池熔透状态监测模型中，预测出熔透状态。
13、在上述技术方案的基础上，本专利技术还可以做如下改进。
14、更进一步的，所述在步骤s1中具体包括以下步骤：
15、s101、使用ccd相机分别在焊接过程中拍摄未熔透、适度熔透、过熔透三种情况出现的片段；
16、s102、将未熔透、适度熔透、过熔透三种情况视频文件分别按帧分割成图片数据，存放在不同的文件夹中，最后以熔池为中心，剪裁感兴趣的区域；
17、s103、使用中值滤波对图像进行处理，抑制噪声，强化熔池特征。
18、更进一步的，所述在步骤s2中具体包括以下步骤：
19、s201、采用labelme标注工具分别对熔透、适度熔透、过熔透三种情况的熔池图像进行标注工作；
20、s202、选择labelme软件中的ploygongs功能，将熔池边缘轮廓逐像素点标记出来，生成于原图对应的json文件，然后使用python脚本生成同名的掩膜图像；
21、s203、在标注完成后将生成的文件转换为二值图，其中黑色部分为背景，像素值为0，白色部分为熔池特征，像素值为255。
22、更进一步的，所述在步骤s3中具体包括以下步骤：
23、s301、将步骤s2得到的掩膜图像与原图同时使用旋转、反转、缩放、改变亮度、改变对比度5种方式进行数据增强，扩充数据集，在扩充后数据集后制作熔池特征提取模型数据集和熔池熔透状态监测模型数据集；
24、s302、熔池语义分割模型数据集包含未熔透、适度熔透、过熔透三种情况的熔池图像和对应的标注图，存放在一个文件夹中；
25、s303、熔池熔透状态监测模型仅包含未熔透、适度熔透、过熔透三种情况的标注图，分别存放在三个文件夹中；
26、s304、将数据集分为训练集、测试集、验证集。
27、更进一步的，所述在步骤s4中具体包括以下步骤：
28、s401、搭建轻量化熔池图像语义分割模型；
29、s402、采用训练集训练模型，然后使用测试集和验证集测试模型；
30、s403、绘制模型训练的损失值与训练轮数、miou值与训练轮数、mpa值与训练轮数的变化曲线；
31、s404、根据模型验证的损失值值观察模型是否收敛。判断是否被充分训练；
32、s405、根据模型训练的损失值、mpa、miou值，记录并保存最优模型。
33、更进一步的，所述在步骤s5中具体包括以下步骤：
34、s501、搭建熔池熔透状态监测模型；
35、s502、熔透状态分为未熔透、适度熔透和过熔透，采用熔池形态特征作为输入、熔透状态为输出，训练熔池熔透状态监测模型。
36、(三)有益效果
37、与现有技术相比，本申请的技术方案具有以下有益技术效果：
38、本专利技术提出熔池特征提取模型是基于改进的unet深度学习网络模型和ecanet注意力机制模块，网络左侧是编码结构即特征提取模块，包含4次下采样，每次下采样采用池化的方式去降低特征图维度，加大模型的感知范围，获得更多的全局信息，每次下采样之前采用卷积层块来提取特征，每个卷积层块包含两个卷积层，每次卷积后进行一次标准化处理和relu函数进行修正，网络的右侧是解码模块，包含四次上采样，逐步的把编码器提取的特征图像的大小恢复到原始输入图片的大小，最后输出分割后的激光条纹，在图像不断的卷积过程中，虽然使模型能够学习到更深层次的图像特征，但会丢失图像的细节，因此，在解码器中每一次上采样后与对应的编码器中的特征图进行特征融合，用以提高分割结构的边缘准确率。
本文档来自技高网...【技术保护点】
1.一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，所述在步骤S1中具体包括以下步骤：
3.根据权利要求2所述的一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，所述在步骤S2中具体包括以下步骤：
4.根据权利要求3所述的一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，所述在步骤S3中具体包括以下步骤：
5.根据权利要求1所述的一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，所述在步骤S4中具体包括以下步骤：
6.根据权利要求1所述的一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，所述在步骤S5中具体包括以下步骤：
【技术特征摘要】
1.一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，所述在步骤s1中具体包括以下步骤：
3.根据权利要求2所述的一种基于机器视觉的实时焊接特征提取与熔透监测方法，其特征在于，所述在步骤s2中具体包括以下步骤：
4.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。