一种基于深度学习的焊缝超声TOFD‑D扫描缺陷类型的自动识别方法技术

本发明专利技术公开了一种基于深度学习技术的焊缝超声TOFD‑D扫描缺陷类型的自动识别方法。首先，通过超声TOFD‑D扫描技术采集焊缝典型缺陷的D扫描图像数据；其次，在MATLAB编程环境中搭建由特征图提取卷积神经网络VGG16、区域提议网络RPN以及FRCN网络构成FasterR‑CNN深度学习网络框架；最后，对Faster R‑CNN深度学习网络进行分阶段训练。网络测试结果显示：Faster R‑CNN网络具备高效识别焊缝D扫描图像中缺陷类型的能力。本发明专利技术所公开的方法，充分利用了FasterR‑CNN识别网络对图像识别的优势，将其应用在焊缝超声TOFD‑D扫描图像检测中，避免了检测人员主观因素的影响，有效的提高了对TOFD‑D扫描图像中缺陷类型的识别能力及效率，具有检测准确率高、鲁棒性好、抗干扰性强的优点，可应用于智能化无损检测技术中。

Automatic recognition method based on deep learning of the weld ultrasonic D scan TOFD defect types

The invention discloses a method for automatic recognition of weld defect type ultrasonic TOFD D scanning technology based on deep learning. First of all, through the D scan data of typical defects in TOFD ultrasonic D scanning technology acquisition of weld; secondly, set up by the feature map extraction convolutional neural network VGG16, RPN network and FRCN network proposed regional FasterR CNN deep learning network framework in MATLAB programming environment; finally, staged training on Faster R CNN deep learning network. The test results show that the Faster network R CNN network has the capability of efficient type recognition of weld defects in D images. The method of this invention, make full use of the advantages of FasterR CNN network recognition of image recognition and its application in TOFD weld ultrasonic D scan image detection, avoid the subjective factors affecting the detection of personnel, effectively improve the recognition ability and the efficiency of the defects of TOFD D scan image type. Has high detection accuracy and good robustness and anti-interference, can be applied to intelligent nondestructive testing technology.

【技术实现步骤摘要】
一种基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法
本专利技术涉及一种基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法，属于超声波无损检测及图像自动识别领域。
技术介绍
超声衍射时差法（TimeofflightDiffraction，TOFD）是应用最广泛的焊缝成像检测方法之一。基于TOFD-D扫描图像的缺陷类型识别受检测员经验、专业知识、检测环境的影响，存在检测效率、检测结果争议大、缺乏可靠性等问题。因此，采用图像自动识别方法对D扫描图像进行缺陷类型识别具有重要意义。通常采用人工提取的图像特征结合传统机器学习方法实现图像的自动识别，人工特征提取时常常面临特征选择及优化难、理论分析困难、需要经验和技巧等问题。FasterR-CNN识别网络具有自动提取特征、泛化能力强以及准实时性的特点，识别结果对于图像中目标的平移、比例缩放、倾斜或者其它形式的变形具有高度的不变性，可用于易受检测条件影响、结构复杂的超声TOFD-D扫描缺陷图像的自动识别。本专利技术设计了一种基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法。通过样本扩展、网络配置及训练优化提高了网络的识别效率，实现了对焊缝超声TOFD-D扫描图像中典型缺陷类型的自动识别。缩略语和关键术语定义TOFD：TimeOfFlightDiffraction超声波衍射时差法。PCS：ProbesCenterSpacing探头间距。CNN：ConvolutionalNeuralNetworks卷积神经网络。RCNN：RegionBasedConvolutionalNeuralNetworks区域卷积神经网络。FRCN：FastRegionbasedConvolutionalNeuralNetworks快速区域神经网络。FasterR-CNN：FasterRegion-basedConvolutionalNeuralNetwork高速区域神经网络。RPN：RegionProposalNetworks区域提议网络。NMS：Non-maximumSuppression非极大值抑制算法。
技术实现思路
专利技术目的：本专利技术针对超声衍射时差法（TOFD）D扫描图像中缺陷类型的人工识别可靠性低、争议大且效率低的问题，提供了一种基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法，以提高焊缝超声TOFD-D扫描图像中缺陷类型的识别能力和效率。深度学习网络的训练过程S1为：采集焊缝TOFD-D扫描图像数样本并进行样本扩充；在MATLAB编程环境中配置FasterR-CNN深度学习网络；通过ImageNet数据集对识别网络进行预训练；采用D扫描图像样本对RPN网络和FRCN网络分别训练；共享VGG16网络对RPN网络和FRCN网络进行整体训练直至网络收敛，得到FasterR-CNN识别网络最终模型；缺陷识别过程S2为：设置缺陷类型的置信度阈值，高于该置信度阈值的判定缺陷；将TOFD-D扫描图像输入训练完成的FasterR-CNN网络进行测试，得到测试结果。训练过程S1的包含以下子步骤：步骤S11、通过超声TOFD-D扫描检测试验采集焊缝典型缺陷（未焊透、未熔合、夹渣、裂纹、气孔）的TOFD-D扫描图像数据，并通过试验方法扩充图像样本，图像样本扩充通过改变探头频率、楔块角度、PCS、深度范围、扫描方向获得同一焊缝缺陷的具有一定缩放和变形特征的D扫描图像。将经过扩充的图像分为训练集、验证集、测试集。步骤S12、在MATLAB编程环境中配置由特征图提取卷积神经网络VGG16、区域提议网络RPN以及FRCN网络构成FasterR-CNN深度学习网络框架。步骤S13、利用ImageNet数据集对S12中得到的FasterR-CNN网络框架中VGG16网络进行预训练，初始化VGG16网络中各层卷积神经网络层的权值，得到一个具有提取特征图能力的VGG16特征提取网络；步骤S14、将S11中所得的TOFD-D扫扫查图像样本送入VGG16特征提取网络，对RPN网络和FRCN网络进行分别训练并调整学习速率，得到一个具有初步目标预测能力的RPN网络和初步分类能力的FRCN网络。具体的，在对RPN网络和FRCN网络进行分别训练时，应先对RPN网络进行训练，再对FRCN网络进行训练；训练时，应对各网络的权值和总体网络的学习速率进行调整。进一步的，RPN网络训练时应将目标提议框配置为宽高比1:1或1:2的像素框、宽度范围设置128和256两种像素尺寸，即RPN目标区域建议框的像素尺寸为：128×128、256×256、128×256、256×512共四种。各层网络权值初始化时，应直接将VGG16网络中的参数值拷贝至RPN网络、FRCN网络与VGG16网络共有的卷积层参数，剩余的卷积层参数通过标准差等于0.01的高斯分布进行设置；学习速率调整方法为，当整个网络对验证集拟合程度较差时调大学习速率，而拟合较好时则调小学习速率，直到网络在验证集上的误差达到一定阈值时即停止训练。步骤S15、将VGG16特征提取网络同时接入S14中分别训练得到的RPN网络和FRCN网络进行联合训练且采用与步骤S14相同的方法调整学习速率，利用FRCN网络初始化RPN网络并共享VGG16深度卷积层，对RPN网络进行联合调优，得出FasterR-CNN识别网络最终模型。至此，本专利技术所提供的一种基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法的模型训练阶段完成。识别测试过程S2的包含以下子步骤：步骤S21、设定置信度阈值，输出的置信度大于该阈值表示可识别该缺陷；否则无法识别缺陷。本专利技术中置信度阈值设置为0.6，即置信度高于0.6时设为确认缺陷，低于0.6时设为不确定是否存在缺陷。步骤S22、将S11中所得的图像样本中的测试集输入S15中训练完成的FasterR-CNN识别网络最终模型进行测试，分别计算图像样本中缺陷的类型及置信度得到测试结果，缺陷类型判别通过设置目标提议框为不同颜色进行区分，其中：夹渣—黄色、气孔—绿色、未焊透—白色、未熔合—灰色、裂纹—红色。至此，本专利技术所提供的一种基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法的模型测试阶段完成。本专利技术构建了应用于焊缝超声TOFD-D扫描图像缺陷类型自动识别的深度学习神经网络FasterR-CNN网络，通过样本扩展、网络训练及相关参数优化，采用相应的训练方法得到FasterR-CNN神经网络，该网络具备识别超声TOFD-D扫描图像中的焊缝典型缺陷类型，如：裂纹、夹渣、未焊透、未熔合、气孔的能力，具有鲁棒性强、识别率高、速度快的特点。该方法可广泛的应用于焊缝的自动化检测的缺陷类型的自动分类识别中，对于提高缺陷综合评价能力具有重要作用。附图说明图1为本专利技术所公开的一种基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法的整体流程图。图2为本专利技术步骤S12所述FasterR-CNN图像识别网络框架示意图。图3为本专利技术步骤S12所述VGG16网络结构框图。图4为本专利技术步骤S12所述RPN网络结构框图。图5为本专利技术步骤S12所述FRCN网络结构框图。图6为本专利技术步骤S12所述预测框与回归框说明。图7为本专利技术步骤S22所述TOFD本文档来自技高网...

【技术保护点】
基于深度学习的焊缝超声TOFD‑D扫描缺陷类型的自动识别方法，所述方法包括模型训练过程和识别过程，如下：深度学习网络的训练过程S1为：采集焊缝TOFD‑D扫描图像数样本并进行样本扩充；在MATLAB编程环境中配置Faster R‑CNN深度学习网络；通过ImageNet数据集对识别网络进行预训练；采用D扫描图像样本对RPN网络和FRCN网络分别训练；共享VGG16网络对RPN网络和FRCN网络进行整体训练直至网络收敛，得到Faster R‑CNN识别网络最终模型；缺陷识别过程S2为：设置缺陷的置信度阈值，高于阈值的缺陷置信度确定为该类缺陷；将TOFD‑D扫描图像输入训练完成的Faster R‑CNN网络进行测试，得到测试结果。

【技术特征摘要】
1.基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法，所述方法包括模型训练过程和识别过程，如下：深度学习网络的训练过程S1为：采集焊缝TOFD-D扫描图像数样本并进行样本扩充；在MATLAB编程环境中配置FasterR-CNN深度学习网络；通过ImageNet数据集对识别网络进行预训练；采用D扫描图像样本对RPN网络和FRCN网络分别训练；共享VGG16网络对RPN网络和FRCN网络进行整体训练直至网络收敛，得到FasterR-CNN识别网络最终模型；缺陷识别过程S2为：设置缺陷的置信度阈值，高于阈值的缺陷置信度确定为该类缺陷；将TOFD-D扫描图像输入训练完成的FasterR-CNN网络进行测试，得到测试结果。2.根据权利要求1所述基于深度学习的焊缝超声TOFD-D扫描缺陷类型的自动识别方法，其特征在于，训练过程S1的步骤如下：S11、通过超声TOFD-D扫描技术采集焊缝典型缺陷的TOFD-D扫描图像数据，并通过试验方法扩充图像样本，图像样本分为训练集、验证集、测试集；S12、在MATLAB编程环境中搭建由特征图提取卷积神经网络VGG16、区域提议网络RPN以及FRCN网络构成FasterR-CNN深度学习网络框架；S13、利用ImageNet数据集对S12中得到的FasterR-CNN网络框架中VGG16网络进行预训练，初始化VGG16网络中各层卷积神经网络层的权值，得到一个具有提取图像特征图能力的VGG16特征提取网络；S14、将S11中所得的TOFD-D扫扫查图像样本输入VGG16特征提取网络，对RPN网络和FRCN网络进行分别训练并调整学习速率，得到一个具有初步目标预测能力的RPN网络和初步分类能力的FRCN网络；S15、将VGG16特征提取网络的输出同时接入S14中分别训练得到的RPN网络和FRCN网络进行联合训练且采用与步骤S14相同的方法调整学习速率，利用FRCN网络初始化RPN网络并共享VGG16深度卷积层，对RPN网络权值进行联合调优，得出FasterR-CNN识别网络最终模型。3.根据权利要求1所述基...

【专利技术属性】
技术研发人员：陈振华，黄智刚，卢超，陈果，郑志远，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：江西,36