基于改进的卷积神经网络的车身焊接缺陷实际检测方法技术

基于改进的卷积神经网络的车身焊接缺陷实际检测方法。该方法包括以下步骤：步骤1，焊接图像采集：利用高清相机采集存有焊接缺陷的车身焊接图像；步骤2，训练样本制作：利用YOLO v3模型提取车身存在缺陷的焊接区域，并对各焊接缺陷进行分类并制作相应的标签；步骤3，模型离线训练：利用步骤2所得的训练样本对改进的卷积神经网络进行训练，直至网络模型收敛；步骤4，模型在线检测：将步骤1~步骤3训练得到的改进的卷积神经网络安装于上位机中，实时对采集上传的车身图像进行焊接缺陷的检测。本发明专利技术所述方法可以准确有效的对车身中存在的焊接缺陷进行检测，保证出厂车身的质量，具有良好的实际应用价值。的实际应用价值。的实际应用价值。

【技术实现步骤摘要】
基于改进的卷积神经网络的车身焊接缺陷实际检测方法


[0001]本专利技术涉及车身焊接缺陷检测领域，特别是涉及基于改进的卷积神经网络的车身焊接缺陷实际检测方法。

技术介绍

[0002]随着机械制造、航空航天、能源交通、石油化工及建筑和电子行业等现代工业的飞速发展，焊接技术在机械制造业中的地位也日趋提高。因此，对焊接质量和自动化的程度要求也越来越高，焊接生产自动化、智能化己经成为21世纪焊接技术发展的重要方向。特别是在汽车行业中，为了降低成本，争取最大利润，提高生产的自动化程度已经成为必然的选择。如何提高生产线的自动化程度和生产速度，同时又保证产品的质量，是建立生产线的重要标准。而焊接又是自动化生产线中的技术难点，尤其是关键部位的焊缝是否合格，这对于整个产品的质量影响很大。因此，准确有效的对车身焊接中存在的缺陷进行准确有效的识别，保证汽车出厂质量，是非常重要且具有现实意义的一件事。
[0003]从目前的研究来看，涉及车身焊接缺陷检测的技术手段主要是人工检测或在已定的规则下进行检测。现如今深度学习技术手段成熟，且在机器视觉领域有着很广泛的应用，若能利用深度学习模型，从机器视觉的角度出发，对焊接车身的图像中存在的缺陷进行检测以代替传统的人力检测，一方面大大的节约人力物力，另一方面可以带来良好的经济收益。
[0004]国内涉及车身焊接缺陷检测的专利有“一种在线整体焊接质量检测装置”（201920243217.3），该专利技术包括有固定焊接件的流水线、机器手截断面和发射模块，另外还有设置在机器手上的局部接收模块以及处理采集信息的处理器，其中截断面发射模块和局部接收模块将采集到的数据发送给处理器，经过处理器的比对后得到不同位置的焊接质量，实现在流水线上对焊点检查，实现了汽车车身焊接质量的全部检测，但该专利所述方法无法对车身焊接各类缺陷进行准确有效的识别，导致缺陷检测的泛化性不足。国家专利技术专利“一种车身总成集焊接和检测于一身的工装”（201020174494.2），该专利技术主要包括底盘、前侧围、后围框、焊接机械手主要组件，前围框和后围框垂直安装在底盘的两条平行导轨上，在前围框和后围框上均设置定位夹紧器；焊接机械手设置在底盘的两侧，检测仪安装在焊接机械手的下侧面，但是该专利未详述车身焊接缺陷的具体检测方法。

技术实现思路

[0005]为解决上述问题，本专利技术卷积神经网络（Convolutional Neural Network，CNN）的基础上，提出了一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法。针对传统CNN模型来说，卷积层和dropout层是单独隔开的，这极大的增加了模型的训练时间，为此本专利提出了动态卷积层算法，从而缩短的模型的训练时间；另外，针对传统CNN中Max
‑
Pooling和Ave
‑
Pooling难以全面的抓取特征图所含有的局部特征和全局特征的难题，本专利提出了Fu
‑
Pooling算法，该算法一方面实现了特征图的降维，另一方面全面抓取了特征图所含
特征，提高了模型的检测精度。为达此目的，本专利技术提供一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法，具体步骤如下，其特征在于：步骤1，焊接图像采集：利用高清相机采集存有焊接缺陷的车身焊接图像；步骤2，训练样本制作：利用YOLO v3模型提取车身存在缺陷的焊接区域，并对各焊接缺陷进行分类并制作相应的标签；步骤3，模型离线训练：利用步骤2所得的训练样本对改进的卷积神经网络进行训练，直至网络模型收敛；步骤3中对改进的卷积神经网络进行训练的具体步骤为：步骤3.1，利用Tensorflow架构搭建改进的卷积神经网络，其架构为：输入层
‑
动态卷积层1
‑
动态卷积层2
‑
Fu池化层1
‑
动态卷积层3
‑ꢀ
动态卷积层4
‑
Fu池化层2
‑
Flatten层
‑
全连接层1
‑
全连接层2
‑
Softmax层；步骤3.2，利用提出的动态卷积层1和2对上一层的输出进行特征提取，其中的具体描述为：动态卷积层是在现有的卷积层基础上加以改进，增加了随机性的置0概率，动态卷积层的非线性激活的算法过程为：式中， 为第n层动态卷积上第l个动态卷积核的输出，为RULE激活函数，为第n层第l个卷积核的置0概率，为第n层第l个动态卷积核的权重系数，为第n
‑
1层第m个特征输出，是偏置项。
[0006]对卷积层运算中的置0概率P，其计算准则为：其中x表示在卷积核运算中的置0概率P的控制变量，其满足均匀分布，即；步骤3.3，利用提出的融合池化Fusion pooling，Fu
‑
Pooling算法对动态卷积层2的输出进行特征降维，Fu
‑
Pooling的算法表述如下：对s
×
t维的动态卷积层的输出特征，计算其均值和最大值，而后计算Fu
‑
Pooling的输出，具体计算过程为：步骤3.4，动态卷积层3、动态卷积层4和Fu池化层2依次进行特征提取，其算法与步骤3.2和步骤3.3中的算法保持一致；步骤3.5，将Fu池化层2的输出以Flatten的方式展开，接着利用全连接层1、全连接层2和Softmax层依次进行连接；
步骤3.6，利用随机梯度下降Stochastic Gradient Descent，SGD算法对网络参数进行更新，并重复训练直至网络收敛，此处损失函数在原有的交叉熵损失函数的基础上添加了正则化项，具体的表达式为：式中，N为样本总量，为实际样本标签，为Softmax层判别的标签，表示正则项惩罚系数，表示卷积核权重系数；步骤4，模型在线检测：将步骤1~步骤3训练得到的改进的卷积神经网络安装于上位机中，实时对采集上传的车身图像进行焊接缺陷的检测。
[0007]进一步的所述，步骤2中对各焊接缺陷进行分类并制作相应的标签的具体描述为：所述检测的缺陷类型有：漏焊、焊接螺柱螺纹损坏、螺柱位置偏离、焊缝区有气孔、板材被焊穿和焊接螺柱倾斜，加之焊接正常的类型，一共7类，同时对各类型进行编码，分别编码为：本专利技术一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法，有益效果：本专利技术的技术效果在于：1. 考虑到传统CNN模型中卷积层和dropout层是单独隔开的，这极大的增加了模型的训练时间，为此本专利技术提出了动态卷积层算法，简化了模型的结构，加快了模型的收敛速度；2. 针对传统CNN中Max
‑
Pooling和Ave
‑
Pooling难以全面的抓取特征图所含有的局部特征和全局特征的难题，本专利提出了Fu
‑
Pooling算法，该算法一方面实现了特征图的降维，另一方面全面抓取了特征图所含特征，提高了模型的检测精度。
附图说明
[0008]图1为本专利技术的流程图；图2为本专利技术的动态卷积核示意图；图3为本专利技术所用的改进的卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进的卷积神经网络的车身焊接缺陷实际检测方法，具体步骤如下，其特征在于：步骤1，焊接图像采集：利用高清相机采集存有焊接缺陷的车身焊接图像；步骤2，训练样本制作：利用YOLO v3模型提取车身存在缺陷的焊接区域，并对各焊接缺陷进行分类并制作相应的标签；步骤3，模型离线训练：利用步骤2所得的训练样本对改进的卷积神经网络进行训练，直至网络模型收敛；步骤3中对改进的卷积神经网络进行训练的具体步骤为：步骤3.1，利用Tensorflow架构搭建改进的卷积神经网络，其架构为：输入层
‑
动态卷积层1
‑
动态卷积层2
‑
Fu池化层1
‑
动态卷积层3
‑ꢀ
动态卷积层4
‑
Fu池化层2
‑
Flatten层
‑
全连接层1
‑
全连接层2
‑
Softmax层；步骤3.2，利用提出的动态卷积层1和2对上一层的输出进行特征提取，其中的具体描述为：动态卷积层是在现有的卷积层基础上加以改进，增加了随机性的置0概率，动态卷积层的非线性激活的算法过程为：式中， 为第n层动态卷积上第l个动态卷积核的输出，为RULE激活函数，为第n层第l个卷积核的置0概率，为第n层第l个动态卷积核的权重系数，为第n
‑
1层第m个特征输出，是偏置项；对卷积层运算中的置0概率P，其计算准则为：其中x表示在卷积核运算中的置0概率P的控制变量，其满足均匀...

【专利技术属性】
技术研发人员：陆晓佳，王毅，
申请(专利权)人：智飞捷物联科技南京有限公司，
类型：发明
国别省市：