本发明专利技术公开了一种焊缝特征提取方法、装置及电子设备，该方法包括：步骤S1，设计用于生成拟真焊接图像的生成对抗网络；步骤S2，设计用于焊缝特征提取的深度卷积神经网络；步骤S3，采集焊接图像、焊缝图像、激光条纹图像，获得第一数据集；步骤S4，将第一数据集输入到生成对抗网络进行训练，得到若干拟真焊接图像；步骤S5，对使用生成网络产生拟真焊接图像，采用图像处理方法处理激光条纹图像获取对应的亚像素级别的标注，得到批量的带有标注的拟真焊接图像，形成第二数据集；步骤S6，将第二数据集中带有标注的拟真焊接图像输入深度卷积神经网络进行训练；步骤S7，将真实焊接图像输入训练好的深度卷积神经网络模型，得到焊缝特征。得到焊缝特征。得到焊缝特征。
【技术实现步骤摘要】
一种焊缝特征提取方法、装置及电子设备
[0001]本专利技术涉及焊接智能化
，尤其是一种基于GAN(Generative adversarial nets，生成对抗网络)和VGG
‑
net(Visual Geometry Group Net)的焊缝特征提取方法、装置及电子设备。
技术介绍
[0002]焊接是现代工业的基石，在航空航天工业、汽车制造及船舶制造等领域中广泛应用，是一种不可或缺的现代制造工艺及技术。随着社会经济、科技及工业的快速发展，手工焊接已经不能够满足产品批量生产、质量标准化的要求。这就驱使焊接从最初的手工技艺逐渐发展为一门先进的系统专业学科，而焊接自动化、智能化是其中的重要方向。基于线激光和计算机视觉的焊缝特征检测技术是将激光条纹投射在焊缝表面以获取焊缝的轮廓及位置信息，从而实时引导焊枪完成对焊缝的焊接作业，实现智能化焊接。然而在焊接过程中，弧光、飞溅、烟尘等强干扰会严重降低相机采集到的图像的信噪比，影响轮廓信息及位置信息的提取，从而影响焊接质量。因此，焊缝特征的高鲁棒性提取是焊接自动化、智能化领域的重要研究课题。
[0003]传统图像形态学处理方法在处理强烈噪声图像时存在较大的局限性，适应性差，制约了焊接智能化的发展。近年来，随着计算机的计算能力提升，深度学习技术快速发展。深度卷积神经网络是深度学习的代表算法之一，通过使用多个非线性特征提取阶段实现强大的表征学习能力。因此，在处理强噪声污染的焊接图像时，深度卷积神经网络相比传统图像形态学处理方法能够更准确且稳定地提取出焊缝特征，克服噪声干扰。但现有的深度学习技术框架下，深度卷积神经网络的应用效果取决于数据集，及其标注，训练数据规模越大，标注质量越高，网络模型的性能就越好。然而，在焊接应用领域中，高质量、大批量的标注样本获取困难且成本高，这制约了深度学习技术在这一领域的应用。
技术实现思路
[0004]为克服上述现有技术存在的不足，本专利技术的目的在于提供一种焊缝特征提取方法、装置及电子设备，以解决传统方法在处理时焊接环境中被噪声严重干扰存在较大局限性以及深度学习技术在应用过程中训练数据标注获取成本高的问题。
[0005]为达到上述目的，本专利技术提供一种焊缝特征提取方法，包括以下步骤：
[0006]步骤S1，设计用于生成拟真焊接图像的生成对抗网络；
[0007]步骤S2，设计用于焊缝特征提取的深度卷积神经网络；
[0008]步骤S3，采集焊接图像、焊缝图像、激光条纹图像，以获得生成对抗网络训练所需的第一数据集；
[0009]步骤S4，将获得的第一数据集输入到生成对抗网络进行训练，得到若干拟真焊接图像；
[0010]步骤S5，对使用生成网络产生拟真焊接图像，采用图像处理方法处理激光条纹图
像获取对应的亚像素级别的标注，得到批量的带有标注的拟真焊接图像，形成深度卷积神经网络训练所需的第二数据集；
[0011]步骤S6，将所述第二数据集中带有标注的拟真焊接图像输入深度卷积神经网络进行训练；
[0012]步骤S7，将真实焊接图像输入训练好的深度卷积神经网络模型，得到焊缝特征。
[0013]可选地，步骤S3进一步包括：
[0014]步骤S300，连续采集在焊接过程中焊接图像；
[0015]步骤S301，通过长曝光模式采集不同位置、姿态下的未起弧的焊缝图像，通过短曝光采集对应的激光条纹图像；
[0016]步骤S302，通过对采集的焊接图像、未起弧的焊缝图像以及激光条纹图像在激光条纹周围随机裁剪实现数据增广。
[0017]可选地，所述生成对抗网络包括生成器与鉴别器，使用所述第一数据集的未起弧的焊缝图像及对应的激光条纹图像作为输入，所述未起弧的焊缝图像及对应的激光条纹图像与经过多层逆卷积的随机噪声向量融合，输出端输出拟真焊接图像。
[0018]可选地，所述生成对抗网络的生成器生在约束控制下，分别模拟飞溅噪声分布和弧光噪声分布，并能够通过调整约束控制噪声的特性，生成器网络通过多层反卷积进行上采样并通过与鉴别器交替对抗训练，将随机噪声向量映射到目标数据分布空间。
[0019]可选地，步骤S5进一步包括：
[0020]步骤S500，对各拟真焊接图像使用图像处理方法处理对应的激光条纹图像，生成焊缝特征标注；
[0021]步骤S501，将拟真焊接图像、激光条纹图像、焊缝特征标注汇总，完成深度卷积神经网络所需要的第二数据集的制作。
[0022]可选地，在步骤S6中，将所述第二数据集中带有标注的拟真焊接图像输入到所述深度卷积神经网络，经过多层卷积进行特征提取，将各层卷积提取的特征分别上采样后融合，输出能够完整表征焊缝截面信息的特征的焊接图像的特征。
[0023]可选地，在步骤S7中，将真实采集的焊接图像输入训练好的深度卷积神经网络模型，通过训练好的深度卷积神经网络模型进行前向传播，完成焊缝特征的提取，提取的焊缝特征包括轮廓信息和位置信息。
[0024]可选地，所述深度卷积神经网络为VGG
‑
net深度卷积神经网络。
[0025]为达到上述目的，本专利技术还提供一种焊缝特征提取装置，包括：
[0026]生成对抗网络设计单元，用于设计用于生成拟真焊接图像的生成对抗网络；
[0027]深度卷积神经网络设计单元，用于设计用于焊缝特征提取的深度卷积神经网络；
[0028]第一数据集制作单元，用于采集焊接图像、焊缝图像、激光条纹图像，以获得生成对抗网络训练所需的第一数据集；
[0029]第一训练单元，用于将获得的数据集输入到所述生成对抗网络进行训练，得到若干拟真焊接图像；
[0030]第二数据集制作单元，用于对使用生成网络产生拟真焊接图像，采用图像处理方法处理激光条纹图像获取对应的亚像素级别的标注，得到批量的带有标注的拟真焊接图像，形成深度卷积神经网络训练所需的第二数据集；
[0031]第二训练单元，用于将所述第二数据集中带有标注的拟真焊接图像输入深度卷积神经网络进行训练；
[0032]焊缝特征提取单元，用于将真实采集的焊接图像输入训练好的深度卷积神经网络模型，得到焊缝特征。
[0033]为达到上述目的，本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的焊缝特征提取方法的步骤。
[0034]与现有技术相比，本专利技术一种焊缝特征提取方法、装置及电子设备，具有如下有益效果
[0035](1)本专利技术利用生成对抗网络从样本数据中学习飞溅、弧光噪声的分布，批量自动生成高质量标注的数据集，解决了人工标注速度慢、精度低的问题；
[0036](2)本专利技术利用深度卷积神经网络强大的表征能力，克服严重弧光、飞溅噪声干扰，提取能够完整表征焊缝截面信息的焊缝特征。
[0037](3)本专利技术不需要人工对数据集进行标注，能够快速迁移到不本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种焊缝特征提取方法，包括以下步骤：步骤S1，设计用于生成拟真焊接图像的生成对抗网络；步骤S2，设计用于焊缝特征提取的深度卷积神经网络；步骤S3，采集焊接图像、焊缝图像、激光条纹图像，以获得生成对抗网络训练所需的第一数据集；步骤S4，将获得的第一数据集输入到生成对抗网络进行训练，得到若干拟真焊接图像；步骤S5，对使用生成网络产生拟真焊接图像，采用图像处理方法处理激光条纹图像获取对应的亚像素级别的标注，得到批量的带有标注的拟真焊接图像，形成深度卷积神经网络训练所需的第二数据集；步骤S6，将所述第二数据集中带有标注的拟真焊接图像输入深度卷积神经网络进行训练；步骤S7，将真实焊接图像输入训练好的深度卷积神经网络模型，得到焊缝特征。2.如权利要求1所述的焊缝特征提取方法，其特征在于，步骤S3进一步包括：步骤S300，连续采集在焊接过程中焊接图像；步骤S301，通过长曝光模式采集不同位置、姿态下的未起弧的焊缝图像，通过短曝光采集对应的激光条纹图像；步骤S302，通过对采集的焊接图像、未起弧的焊缝图像以及激光条纹图像在激光条纹周围随机裁剪实现数据增广。3.如权利要求2所述的焊缝特征提取方法，其特征在于，所述生成对抗网络包括生成器与鉴别器，使用所述第一数据集的未起弧的焊缝图像及对应的激光条纹图像作为输入，所述未起弧的焊缝图像及对应的激光条纹图像与经过多层逆卷积的随机噪声向量融合，输出端输出拟真焊接图像。4.如权利要求3所述的焊缝特征提取方法，其特征在于，所述生成对抗网络的生成器生在约束控制下，分别模拟飞溅噪声分布和弧光噪声分布，并能够通过调整约束控制噪声的特性，生成器网络通过多层反卷积进行上采样并通过与鉴别器交替对抗训练，将随机噪声向量映射到目标数据分布空间。5.如权利要求4所述的焊缝特征提取方法，其特征在于，步骤S5进一步包括：步骤S500，对各拟真焊接图像使用图像处理方法处理对应的激光条纹图像，生成焊缝特征标注；步骤S5...
【专利技术属性】
技术研发人员：吕娜，陶卫，赵辉，陈少杰，秦明辉，田航，陈果，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。