一种焊接图像缺陷识别方法、装置、存储介质及设备制造方法及图纸

本发明专利技术提供了一种焊接图像缺陷识别方法、装置、存储介质及设备；其中方法包括：获取待识别的焊接图像；将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；对初始缺陷识别模型进行训练处理为：利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调。本发明专利技术基于深度学习和迁移学习技术结合，可在样本数量有限情况下实现缺陷识别模型的高效训练，提高焊接图像缺陷识别的准确率。

【技术实现步骤摘要】
一种焊接图像缺陷识别方法、装置、存储介质及设备
本专利技术涉及焊接缺陷识别
，更具体地说，涉及一种焊接图像缺陷识别方法、装置、存储介质及设备。
技术介绍
焊接缺陷识别是保障焊接工艺质量的重要环节。人工进行焊接缺陷识别不适合于持续性高强度的作业，且人工识别的准确度依赖于检测员的水平，不利于焊接生产效率的提升和焊接质量的严格把控，因此推动实现焊接缺陷的自动化识别是进一步提升焊接制造自动化水平的关键。当前主流的焊接缺陷识别依赖于数字图像处理及复杂的特征工程，仍存在特征工程主观性强、实施复杂且难以在不同工况下推广等不足，焊接缺陷识别自动化程度及准确率难以进一步提升。近年来，深度学习崛起，并在自然语言处理、图像识别等领域取得突破性的进展，为提升焊接缺陷自动化识别性能提供了新途径。深度学习方法依靠大量数据和计算资源进行图像识别模型训练，通过卷积神经网络自动分层提取图像中的特征，能有效摆脱对特征工程的依赖，提升缺陷分类的准确率和模型泛化能力，具有广阔的应用前景。中国专利技术专利申请《一种基于深度学习的激光焊接缺陷识别方法、装置及设备》(公开号：CN110441329A)，该方案采集激光焊接的光电图像、正面焊接图像及侧面焊接图像作为输入，以不存在缺陷、驼峰缺陷、凹陷缺陷为输出类别，通过标注的数据集训练卷积神经网络，以实现输入图像到焊接缺陷类别的直接映射。但该方法需要获取大量标注的焊接缺陷图像数据，耗费较大的人力和物力，且训练时间较长。
技术实现思路
为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种焊接图像缺陷识别方法、装置、存储介质及设备；本专利技术基于深度学习和迁移学习技术结合，可在样本数量有限情况下实现缺陷识别模型的高效训练，提高焊接图像缺陷识别的准确率。为了达到上述目的，本专利技术通过下述技术方案予以实现：一种焊接图像缺陷识别方法，其特征在于：包括：获取待识别的焊接图像；将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：S101、采集所有焊接缺陷类型的焊接图像样本；S102、将焊接图像样本划分为训练集、验证集以及测试集；S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；S104、存储完成迁移训练的缺陷识别模型。优选地，所述步骤S103包括如下分步骤：S1031、加载预训练模型的卷积基，卷积基的输入为焊接图像，输出为卷积基提取的高级抽象特征；S1032、在卷积基上搭建全连接分类器构成缺陷识别模型，卷积基的输出经展平层后连接全连接分类器的输入；全连接分类器的输入神经元个数与展平层输出神经元个数相同；全连接分类器输入层和输出层相连，输出神经元个数与焊接图像类型数量相同；S1033、冻结卷积基，训练全连接分类器：缺陷识别模型以分类交叉熵损失函数作为优化的目标函数；采用ADAM优化器更新全连接分类器的权重，按预设的迭代次数循环训练全连接分类器；S1034、对缺陷识别模型进行微调；将卷积基的顶部层解冻，联合训练所述顶部层与全连接分类器；S1035、使用验证集对缺陷识别模型性能进行验证，根据验证的结果调整缺陷识别模型的超参数；S1036、使用测试集验证缺陷识别模型的最终性能；若符合预期指标则进入步骤S104，否则重复步骤S1031～S1036。优选地，所述步骤S1031中，所述预训模型为基于ImageNet数据集预训练的ResNet18；所述步骤S1032中，全连接分类器的输入层采用ReLu激活函数，输出层使用softmax激活函数：其中，yik为全连接分类器输入层第k个神经元的激活函数值，xik为全连接分类器输入层第k个神经元的输入值；其中，yk为全连接分类器输出层第k个神经元的激活函数值，zk为全连接分类器输出层第k个神经元的输入值；所述步骤S1033中、所述ADAM优化器的β1取0.9，β2取0.999；初始学习率为1×10-3，在训练集上每迭代十次学习率衰减0.5。优选地，所述步骤S1032中，焊接图像类型包括：无缺陷、焊穿、气孔、错边、裂纹。优选地，所述步骤S102中，对训练集进行有放回采样：统计训练集中各类型焊接图像样本数，以各类型样本数的倒数作为对整个训练集进行采样的权重，以提升数量较少的缺陷类型焊接图像样本在批处理中出现的概率：其中，wi为i类型焊接图像样本的采样权重，Ci为训练集中i类型焊接图像样本的总数；在对训练集样本进行采样的同时，对采样原焊接图像样本进行数据增强。所述步骤S101包括如下分步骤：S1011、根据待分类的焊接缺陷类型，预设工艺参数以试制出焊接缺陷样本；在试制焊接缺陷样本过程中，实时采集焊接缺陷图像；S1012、提取焊接缺陷图像中焊接缺陷所在帧作为焊接图像样本，并按焊接缺陷类型和试制序号进行标注和归档；S1013、重复步骤S1011～S1012，直至完成所有焊接缺陷类型的焊接缺陷样本的图像采集和数据标注。优选地，所述步骤S101中，采用焊接设备试制焊接缺陷样本；所述焊接设备包括焊接机器人、焊接电源、高动态相机和工控机；所述焊接机器人与焊接电源电性连接；高动态相机通过夹具夹持于焊接机器人的焊炬；高动态相机与工控机电性连接；所述焊接机器人根据预设工艺参数执行焊接流程；焊接电源根据预设工艺参数为焊接流程提供能量；高动态相机随焊接机器人的焊炬移动，实时采集焊接缺陷图像；工控机接收并存储高动态相机采集的焊接缺陷图像。一种焊接图像缺陷识别装置，其特征在于，包括：数据输入模块，用于获取待识别的焊接图像；数据识别模块，用于将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：S101、采集所有焊接缺陷类型的焊接图像样本；S102、将焊接图像样本划分为训练集、验证集以及测试集；S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；S104、存储完成迁移训练的缺陷识别模型。一种存储介质，其特征在于，本文档来自技高网...

【技术保护点】
1.一种焊接图像缺陷识别方法，其特征在于：包括：/n获取待识别的焊接图像；/n将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；/n所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：/nS101、采集所有焊接缺陷类型的焊接图像样本；/nS102、将焊接图像样本划分为训练集、验证集以及测试集；/nS103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；/nS104、存储完成迁移训练的缺陷识别模型。/n

【技术特征摘要】
1.一种焊接图像缺陷识别方法，其特征在于：包括：
获取待识别的焊接图像；
将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；
所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：
S101、采集所有焊接缺陷类型的焊接图像样本；
S102、将焊接图像样本划分为训练集、验证集以及测试集；
S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；
S104、存储完成迁移训练的缺陷识别模型。


2.根据权利要求1所述的焊接图像缺陷识别方法，其特征在于：所述步骤S103包括如下分步骤：
S1031、加载预训练模型的卷积基，卷积基的输入为焊接图像，输出为卷积基提取的高级抽象特征；
S1032、在卷积基上搭建全连接分类器构成缺陷识别模型，卷积基的输出经展平层后连接全连接分类器的输入；全连接分类器的输入神经元个数与展平层输出神经元个数相同；全连接分类器输入层和输出层相连，输出神经元个数与焊接图像类型数量相同；
S1033、冻结卷积基，训练全连接分类器：缺陷识别模型以分类交叉熵损失函数作为优化的目标函数；采用ADAM优化器更新全连接分类器的权重，按预设的迭代次数循环训练全连接分类器；
S1034、对缺陷识别模型进行微调；将卷积基的顶部层解冻，联合训练所述顶部层与全连接分类器；
S1035、使用验证集对缺陷识别模型性能进行验证，根据验证的结果调整缺陷识别模型的超参数；
S1036、使用测试集验证缺陷识别模型的最终性能；若符合预期指标则进入步骤S104，否则重复步骤S1031～S1036。


3.根据权利要求2所述的焊接图像缺陷识别方法，其特征在于：所述步骤S1031中，所述预训模型为基于ImageNet数据集预训练的ResNet18；
所述步骤S1032中，全连接分类器的输入层采用ReLu激活函数，输出层使用softmax激活函数：



其中，yik为全连接分类器输入层第k个神经元的激活函数值，xik为全连接分类器输入层第k个神经元的输入值；



其中，yk为全连接分类器输出层第k个神经元的激活函数值，zk为全连接分类器输出层第k个神经元的输入值；
所述步骤S1033中、所述ADAM优化器的β1取0.9，β2取0.999；初始学习率为1×10-3，在训练集上每迭代十次学习率衰减0.5。


4.根据权利要求2所述的焊接图像缺陷识别方法，其特征在于：所述步骤S1032中，焊接图像类型包括：无缺陷、焊穿、气孔、错边、裂纹。

【专利技术属性】
技术研发人员：王振民，钟启明，陈浩宇，张芩，吴祥淼，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44