一种基于迁移学习的复合材料缺陷检测方法技术

本发明专利技术涉及计算机视觉和人工智能技术领域，具体为一种基于迁移学习的复合材料缺陷检测方法，包括以下步骤：步骤101、利用C扫描对复合材料进行检测成像，获取图像进行预处理；步骤102、建立数据集并进行标注；步骤103、数据增强并按照VOC数据集格式划分为训练集、测试集和验证集；步骤104、源域进行预训练，得到复合材料缺陷模型的初始权重参数；步骤105、获得优化后的复合材料缺陷模型；步骤106、进行检测识别。本发明专利技术以FasterR

【技术实现步骤摘要】
一种基于迁移学习的复合材料缺陷检测方法


[0001]本专利技术涉及计算机视觉和人工智能
，具体为一种基于迁移学习的复合材料缺陷检测方法。

技术介绍

[0002]碳纤维复合材料(CFRP)是将两种及两种以上不同性质的材料通过加工制造技术复合而成的新型材料，广泛应用于航空航天工业、医学、军事、汽车结构、机器人等领域。但是，CFRP在生产和使用的过程中内部会出现各种各样的缺陷，其主要缺陷为裂纹、分层、褶皱等，这会对CFRP的性能等方面产生巨大的影响。为了防止CFRP在检测过程中收到二次损伤，因此对CFRP的检测一般选择无损检测技术。涡流检测的实现是基于电磁感应原理，且具有灵敏度和自动化程度高等优点，能够实现CFRP分层、分层、裂缝等隐藏缺陷的成像。
[0003]CFRP缺陷的传统图像处理技术是由手工提取缺陷的特点，并且在很大程度上依赖人工特征提取的准确性。随着计算机技术的快速发展，卷积神经网络(Convolutional Neural Network，CNN)在图像分类、目标检测等方面具有更加优异的性能比。另外，卷积神经网络的识别技术可以从图像中自动抽取出有用的特征，其准确率高、运算速度快、可适应各种缺陷类型等优点。对于目标检测算法主要分成两类：one
‑
stage和two
‑
stage。one
‑
stage算法如YOLO算法、SSD算法等，这类算法无需对候选区域进行提取，只需要输入图像，就可以检测出图像中的目标类别和边框，从而大大提高了检测速度，但对于小目标的检测，其效果比较差、精度较低。two
‑
stage算法如Faster RCNN系列算法等，先提取图像中的特征，然后对可能出现目标的候选区域进行选取，利用分类与回归器，得到目标的类别与位置。
[0004]针对上述问题，本专利技术将Faster RCNN网络应用到复合材料缺陷的检测，能够自动识别出各种缺陷类型以及位置，检测精度高。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提出了一种基于迁移学习的复合材料缺陷检测方法。该方法涉及对于涡流无损检测技术中C扫描获取的复合材料图像中裂纹、分层、褶皱缺陷图像的检测，并且利用Faster RCNN框架与迁移学习的结合构建一个只有小样本的复合材料缺陷数据集且具用良好的检测效果的目标检测模型。
[0006]本专利技术所要解决的技术问题采用以下技术方案来实现：
[0007]一种基于迁移学习的复合材料缺陷检测方法，包括以下步骤：
[0008]步骤(101)利用涡流成像技术中的C扫描对复合材料进行检测成像，获取图像进行预处理；
[0009]步骤(102)建立数据集并进行标注：
[0010]将预处理后得到的复合材料图像按类别分为三类：裂纹、分层、褶皱，各类别数量分别为14、10、21张，制作成数据集，采用Labeling标注工具对数据集中的三类缺陷进行标
注，生成与图像相对应的xml标签文件；
[0011]步骤(103)数据增强并按照VOC数据集格式划分为训练集、测试集和验证集：
[0012]将标注完成的数据集进行数据增强，将增强后的数据集按照VOC数据集格式8：2的比例划分为训练集、测试集；
[0013]步骤(104)源域进行预训练，得到复合材料缺陷模型的初始权重参数：
[0014]使用在ImageNet数据集上预先训练的Resnet50特征提取网络，提出相似源域匹配，特征匹配出NEU热轧带钢表面缺陷数据集中与复合材料裂纹、分层、褶皱缺陷高度相似的夹杂、斑、划痕缺陷的作为源域训练样本，利用迁移学习，并将其应用在预先训练的Resnet50网络模型上进行预训练，得到复合材料缺陷模型的初始权重参数；
[0015]步骤(105)获得优化后的复合材料缺陷模型：
[0016]构建以Faster R
‑
CNN为框架的复合材料缺陷检测模型：将数据增强后的复合材料数据集作为目标域，再次利用迁移学习的方法，将步骤(104)中训练好的模型参数作为目标域模型的初始化参数在Faster R
‑
CNN模型进行训练，获得优化后的复合材料缺陷模型；
[0017]步骤(106)进行检测识别：
[0018]将待检测的复合材料缺陷图像输入到复合材料缺陷模型中，检测复合材料的缺陷类别。
[0019]优选的，步骤(101)中预处理具体为：将伪彩色图转化成灰度图并进行统一缩放到200*200的尺寸，灰度图做反色处理。
[0020]优选的，步骤(102)中采用Labeling标注工具对复合材料图像中的裂纹、分层、褶皱缺陷进行标注，生成与图像相对应的xml格式的标签文件，其中xml文件中包含了缺陷的标注框位置及种类。
[0021]优选的，步骤(103)中利用旋转、饱和度调节、亮度调节、高斯噪声、水平与垂直翻转对S3中数据集进行数据增强，以扩充图像数据集的总样本数量。
[0022]优选的，旋转的计算公式如下：
[0023][0024]式中：(x
′
，y
′
)为原始图像坐标；(x，y)为旋转后的图像坐标；旋转角度α∈[0
°
，360
°
]。
[0025]优选的，饱和度调节设置为原始图像的1.5倍，亮度调节分别设置为原始图像的1.1倍与0.8倍，高斯噪声随机添加。
[0026]优选的，步骤(104)中所述的相似源域匹配：
[0027]在NEU热轧带钢表面缺陷数据集中通过预训练好的MobileNetV2卷积神经网络降维与K
‑
means聚类的方法对与复合材料三种缺陷相似的图像进行聚类。
[0028]优选的，步骤(105)中所述的微调：
[0029]输入图像经过平均池化层(average pooling)输出为1
×
2048的特征向量，然后连接全连接层，把特征向量的维度降低到1
×
n，n表示数据集中需要识别的类别。当n＝3时，代表了裂纹、分层、褶皱缺陷三种类别。Softmax回归作为一个学习算法来优化分类结果，可以将最后全连接层的输出变成了一个概率分布，其计算公式为：
[0030][0031]式中：softmax(y)
i
表示类别i的分类概率；y
i
表示全连接层的输出；n表示数据集的类别。
[0032]优选的，步骤(105)中所述的迁移学习：
[0033]源域在预先训练好的Resnet50上训练出的权重作为复合材料缺陷模型的初始权重，共设置200个epoch，采用冻结训练方式，在前50个epoch冻结主干网络，利用模型在源域上训练得到的参数作为初始参数，初始学习率设为0.001；在第51个epoch解冻训练，同时学习率为0.0001，每次迭代输入样本的batchsize为16，梯度下降的优化方法用Adam，权值衰减本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的复合材料缺陷检测方法，其特征在于：包括以下步骤：步骤(101)利用涡流成像技术中的C扫描对复合材料进行检测成像，获取图像进行预处理；步骤(102)建立数据集并进行标注：将预处理后得到的复合材料图像按类别分为三类：裂纹、分层、褶皱，各类别数量分别为14、10、21张，制作成数据集，采用Labeling标注工具对数据集中的三类缺陷进行标注，生成与图像相对应的xml标签文件；步骤(103)数据增强并按照VOC数据集格式划分为训练集、测试集和验证集：将标注完成的数据集进行数据增强，将增强后的数据集按照VOC数据集格式8：2的比例划分为训练集、测试集；步骤(104)源域进行预训练，得到复合材料缺陷模型的初始权重参数：使用在ImageNet数据集上预先训练的Resnet50特征提取网络，提出相似源域匹配，特征匹配出NEU热轧带钢表面缺陷数据集中与复合材料裂纹、分层、褶皱缺陷高度相似的夹杂、斑、划痕缺陷的作为源域训练样本，利用迁移学习，并将其应用在预先训练的Resnet50网络模型上进行预训练，得到复合材料缺陷模型的初始权重参数；步骤(105)获得优化后的复合材料缺陷模型：构建以Faster R
‑
CNN为框架的复合材料缺陷检测模型：将数据增强后的复合材料数据集作为目标域，再次利用迁移学习，将步骤(104)中训练好的模型参数作为目标域模型的初始化参数在Faster R
‑
CNN模型进行训练，获得优化后的复合材料缺陷模型；步骤(106)进行检测识别：将待检测的复合材料缺陷图像输入到复合材料缺陷模型中，检测复合材料的缺陷类别。2.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法，其特征在于：步骤(101)中预处理具体为：将伪彩色图转化成灰度图并进行统一缩放到200*200的尺寸，灰度图做反色处理。3.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法，其特征在于：步骤(102)中采用Labeling标注工具对复合材料图像中的裂纹、分层、褶皱缺陷进行标注，生成与图像相对应的xml格式的标签文件，其中xml文件中包含了缺陷的标注框位置及种类。4.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法，其特征在于：步骤(103)中利用旋转、饱和度调节、亮度调节、高斯噪声、水平与垂直翻转对S3中数据集进...

【专利技术属性】
技术研发人员：程军，朱煜龙，刘莉，刘蒙蒙，汪步云，许德章，
申请(专利权)人：芜湖安普机器人产业技术研究院有限公司，
类型：发明
国别省市：