基于深度学习的复合材料加工表面缺陷检测及评价方法技术

本发明专利技术属于精密加工检测相关技术领域，并公开了一种基于深度学习的复合材料加工表面缺陷检测及评价方法，包括：(1)拍摄缺陷图像，并对图像进行数据标记；(2)划分训练集和测试集，并对数据集进行数据增强处理；(3)将训练集输入深度学习模型进行训练；(4)将测试集输入已训练好的模型，得到图像中缺陷的类别、位置、区域面积及模型评价指标；(5)形成评价指标对评价分数的映射。本发明专利技术还公开了相应的系统。通过本发明专利技术，可实现高准确率、高效率的颗粒增强型复合材料加工表面缺陷检测，实现对检测出的缺陷进行量化评价，能有效指导选取最优工艺参数，因而尤其适用于颗粒增强型复合材料加工表面缺陷检测及评价的应用场合。表面缺陷检测及评价的应用场合。表面缺陷检测及评价的应用场合。

【技术实现步骤摘要】
基于深度学习的复合材料加工表面缺陷检测及评价方法


[0001]本专利技术属于精密加工检测相关
，更具体地，涉及一种基于深度学习的复合材料加工表面缺陷检测及评价方法。

技术介绍

[0002]随着航天器在空间及临近空间应用，各种系统的核心光学元件的结构体积、重量和制造精度越来越受到重视，航天器高性能光学元件的轻质化和超精密制造是保证航天装备优质综合性能的必由之路。单一材料总是不能满足工业领域中某些需求，所以能够满足这些需求的颗粒增强型复合材料被广泛应用。
[0003]复合材料热膨胀系数小，具有高强度和高刚度以及耐磨损、耐腐蚀、耐高温等优异性能，是一种理想的新型轻质材料。而复合材料因为自身金属基体与增强相物理、力学性能差异大，导致在加工过程中极易形成各种形式的缺陷，常有犁沟、裂纹、颗粒破碎、凸起、界面剥落等，会严重影响材料性能。
[0004]现有技术中，用于颗粒增强型材料加工表面缺陷检测的方法主要有传统人工肉眼检测、超声波检测、X射线检测、高频脉冲涡流检测等。其中，人工检测偏向于主观判断，同时发现较小缺陷，效率和准确度都很低；超声波检测是目前复合材料较为普遍和广泛使用的检测技术，但其缺陷显示不够直观对缺陷定性定量较为困难，需要耦合剂且主要适用于内部缺陷检测；涡流检测要求材料本身具有导电性，且需要专业人员分析判断。这些方法大多需要人工或者半人工的方式进行缺陷判断，导致效率很低。
[0005]相应地，本领域亟需对此做出进一步的研究改进，以便更好地满足复合材料加工表面的高精度高效率检测及量化评价需求。

技术实现思路

[0006]针对现有技术的以上缺陷或需求，本专利技术的目的在于提供一种基于深度学习的复合材料加工表面缺陷检测及评价方法，其中通过充分考虑复合材料加工表面缺陷的相关特性，选择深度学习算法并针对性设计训练、测试及评价等操作，与现有技术相比能够进一步提升模型对于复合材料加工表面缺陷的检测能力，并获得高准确性、高效率的加工表面缺陷检测和更为全面量化的评价结果。
[0007]为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度学习的复合材料加工表面缺陷检测及评价方法，其特征在于，该方法包括：
[0008]步骤一、图像获取和标注
[0009]拍摄复合材料加工表面的图像，将获得的图像汇总成图像集并执行缺陷标注，由此形成图像数据集；
[0010]步骤二、图像数据集划分及数据增强
[0011]将步骤一所形成的图像数据集划分成训练集和测试集，分别用来训练模型和测试模型，同时对划分好的训练集进行图像数据增强处理，以扩大训练集的规模；
[0012]步骤三、缺陷检测模型训练
[0013]将步骤二得到的训练集输入到深度学习模型中，进行模型训练；
[0014]步骤四、缺陷检测模型测试
[0015]将步骤二得到的测试集输入到已训练好的深度学习模型中进行测试，得到图像中的缺陷类别、缺陷位置、缺陷深度、缺陷面积、缺陷面积占比、缺陷区域最小外接矩形长宽等信息，从而获取对应的缺陷评价指标值；
[0016]步骤五、缺陷评价
[0017]基于步骤四获取的缺陷评价指标值，并结合预设的缺陷评价分数准则，形成评价指标与评价分数之间的映射关系，由此完成整个的检测及评价过程。
[0018]作为进一步优选地，在步骤一中，所获得的图像数量优选不小于800张，每种缺陷相应数量优选不少于200张；所述缺陷标注优选包括：缺陷种类、缺陷区域框的坐标信息、缺陷实例边界点，缺陷实例面积等。
[0019]作为进一步优选地，在步骤二中，所述训练集和测试集的划分比例优选为8：2，并且可采用旋转、缩放、剪切、Mosaic、CutMix等方法来完成所述训练集的图像数据增强处理。
[0020]作为进一步优选地，对于所述深度学习模型而言，其优选设定如下：它的backbone使用ResNet网络进行特征提取，结合FPN网络进行不同大小特征图输出；通过RPN网络生成proposals，Fast
‑
RCNN网络对RPN生成的proposals进行类别预测与位置微调；Mask分支生成全部类别的Mask，并提取出预测类别相应的Mask。
[0021]作为进一步优选地，在步骤三中，所述模型训练的过程优选设计如下：
[0022]对所述训练集的缺陷标注框进行K
‑
means聚类，得到合适的anchor尺寸；通过backbone和FPN网络提取不同层次的特征图，通过RPN网络得到proposals，再将其映射回相应层次特征图上得到proposals特征图，其对应关系为：
[0023][0024]其中，k0为w
·
h＝S2所映射的层数，w、h分别为proposal的宽、高；
[0025]此外，通过RoIAlign将不同层次的proposals特征图转化为同一尺寸，再通过两个全连接层，最后经过两个并联的全连接层实现特征图的类别预测和proposal偏移量的预测，Mask分支在训练时输入目标是由RPN提供的proposals。
[0026]作为进一步优选地，在步骤三中，所述模型训练的损失优选包括RPN网络损失、Fast
‑
RCNN损失、Mask损失，其中
[0027]相关的RPN损失函数设计为：
[0028][0029]其中，N
cls
为一张图片选取计算损失的候选框个数，p
i
为第i个anchor预测为正样本的概率，当为正样本时为1，负样本时为0，N
reg
为anchor位置点个数，t
i
为预测第i个anchor对应回归参数，为第i个anchor对应GTBox的回归参数；
[0030]相关的Fast
‑
RCNN损失函数设计为：
[0031]L(p，u，t
u
，v)＝L
cls
(p，u)+λ[u≥1]L
loc
(t
u
，v)
[0032]其中，t
u
为预测对应类别u的回归参数，v对应真实目标的边界框回归参数；
[0033]相关的Mask损失函数设计为：
[0034]L(m，n)＝L
BCE
(m，n)
[0035]其中，m为对应预测类别的Mask，n为GT Mask。
[0036]作为进一步优选地，在步骤四中，所述模型测试的过程优选设计如下：
[0037]通过backbone和FPN得到多个特征图，通过RPN网络生成每个特征图相应的proposals，并将这些proposals映射到相应特征图上得到proposals特征图；接着，通过RoIAlign、两个全连接层、两个并联全连接层得到一个proposal对应的预测类别和相关偏移量，将Fast
‑
RCNN网络输出的偏移后的proposals映射回特征图，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的复合材料加工表面缺陷检测及评价方法，其特征在于，该方法包括：步骤一、图像获取和标注拍摄复合材料加工表面的图像，将获得的图像汇总成图像集并执行缺陷标注，由此形成图像数据集；步骤二、图像数据集划分及数据增强将步骤一所形成的图像数据集划分成训练集和测试集，分别用来训练模型和测试模型，同时对划分好的训练集进行图像数据增强处理，以扩大训练集的规模；步骤三、缺陷检测模型训练将步骤二得到的训练集输入到深度学习模型中，进行模型训练；步骤四、缺陷检测模型测试将步骤二得到的测试集输入到已训练好的深度学习模型中进行测试，得到图像中的缺陷类别、缺陷位置、缺陷深度、缺陷面积、缺陷面积占比、缺陷区域最小外接矩形长宽等信息，从而获取对应的缺陷评价指标值；步骤五、缺陷评价基于步骤四获取的缺陷评价指标值，并结合预设的缺陷评价分数准则，形成评价指标与评价分数之间的映射关系，由此完成整个的检测及评价过程。2.如权利要求1所述的复合材料加工表面缺陷检测及评价方法，其特征在于，在步骤一中，所获得的图像数量优选不小于800张，每种缺陷相应数量优选不少于200张；所述缺陷标注优选包括：缺陷种类、缺陷区域框的坐标信息、缺陷实例边界点，缺陷实例面积等。3.如权利要求1或2所述的复合材料加工表面缺陷检测及评价方法，其特征在于，在步骤二中，所述训练集和测试集的划分比例优选为8：2，并且可采用旋转、缩放、剪切、Mosaic、CutMix等方法来完成所述训练集的图像数据增强处理。4.如权利要求1
‑
3任意一项所述的复合材料加工表面缺陷检测及评价方法，其特征在于，对于所述深度学习模型而言，其优选设定如下：它的backbone使用ResNet网络进行特征提取，结合FPN网络进行不同大小特征图输出；通过RPN网络生成proposals，Fast
‑
RCNN网络对RPN生成的proposals进行类别预测与位置微调；Mask分支生成全部类别的Mask，并提取出预测类别相应的Mask。5.如权利要求1
‑
4任意一项所述的复合材料加工表面缺陷检测及评价方法，其特征在于，在步骤三中，所述模型训练的过程优选设计如下：对所述训练集的缺陷标注框进行K
‑
means聚类，得到合适的anchor尺寸；通过backbone和FPN网络提取不同层次的特征图，通过RPN网络得到proposals，再将其映射回相应层次特征图上得到proposals特征图，其对应关系为：其中，k0为w
·
h＝S2所映射的层数，w、h分别为proposal的宽、高；此外，通过RoIAlign将不同层次的proposals特征图转化为同一尺寸，再通过两个全连接层，最后经过两个并联的全连接层实现特征图的类别预测和proposal偏移量的预测，Mask分支在训练时输入目标是由RPN提供的proposals。
6.如权利要求5所述的复合材料加工表面缺陷检测及评价方法，其特征在于，在步骤三中，所述模型训练的损失优选包括RPN网络损失、Fast
‑
RCNN损失、Mask损失，其中相关的RPN损失函数设计为：其中，N
cls
为一张图片选取计算损失的候选框个数，p
i
为第i个anchor预测为正样本的概率，...

【专利技术属性】
技术研发人员：许剑锋，郑正鼎，骆易葳，张建国，王茂，陈肖，肖峻峰，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：