一种基于图像的编织预制体缺陷检测方法及装置制造方法及图纸

本发明专利技术涉及一种基于图像的编织预制体缺陷检测方法及装置，包括：获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集；构建编织复合材料缺陷识别网络，将图像数据集分为训练集和测试集，利用训练集训练编织复合材料缺陷识别网络，利用测试集验证编织复合材料缺陷识别网络的泛化性；利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。本发明专利技术可实现预制体图像中缺陷的位置及缺陷类别的实时高效、准确检测，解决现有技术中预制体缺陷检测效率和精度低的问题。预制体缺陷检测效率和精度低的问题。预制体缺陷检测效率和精度低的问题。

【技术实现步骤摘要】
一种基于图像的编织预制体缺陷检测方法及装置


[0001]本专利技术涉及编织复合材料预制体缺陷检测
，具体而言，涉及一种基于图像的编织预制体缺陷检测方法及装置。

技术介绍

[0002]三维编织复合材料是三维编织技术和现代复合材料技术相结合的产物，由三维编织复合材料预制体增强而生成。在预制体中，纱线和纤维束按不同的取向相互交织在一起，形成一个不分层的三维四相整体结构。由三维编织复合材料预制体增强生成的三维编织复合材料以其高比刚度、高比强度以及优良的抗冲击，抗分层性能被广泛应用于航空航天领域结构之中。
[0003]三维编织复合材料的性质取决于其预制体的结构参数。为了生成满足需求的编织复合材料，首先需对编织预制体的参数进行测量和控制。因此，编织预制体若存在缺陷，将会严重影响最终成型的三维编织复合材料的性能。然而，目前对于预制体中的缺陷仍依赖人工识别和检测，该检测手段存在效率低、速度慢、容易受主观因素影响等问题。

技术实现思路

[0004]针对上述
技术介绍
中所指出的问题，本专利技术提出一种高效、准确的基于图像的编织预制体缺陷检测方法及装置，实现编织预制体缺陷自动准确识别。
[0005]本专利技术所采用的技术方案为：
[0006]一种基于图像的编织预制体缺陷检测方法，包括如下步骤：
[0007]步骤一、获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集；
[0008]步骤二、构建编织复合材料缺陷识别网络，将所述图像数据集分为训练集和测试集，利用所述训练集训练编织复合材料缺陷识别网络，利用所述测试集验证编织复合材料缺陷识别网络的泛化性；
[0009]步骤三、利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。
[0010]进一步地，步骤一中，图像预处理具体为：对预制体图像进行数据增强处理，包括图像左右翻转、亮度调节和随机移动，同时增强预制体图像对比度；
[0011]缺陷标注具体为：标注出经预处理的预制体图像中存在的缺陷和缺陷类别。
[0012]进一步地，步骤二包括：基于yolo目标检测框架构建编织复合材料缺陷识别网络，包括24个卷积层，1个空间金字塔池化层SPP和2个全连接层；
[0013]分批输入训练集数据，包括任意尺寸的训练图像和标注的标签数据；标签数据提前编码为7
×7×
30的向量，7表示检测精度，可自行设定；30＝((4+1)*2+20)，4表示检测框坐标x、y和高宽w、h，1表示置信度，2表示回归两个矩形框，20表示20个类别；
[0014]loss函数采用yolov1原始loss函数，用网络输出与样本标签的各项内容的误差平方和作为一个样本的整体误差；最后利用非极大值抑制去除网络输出结果中的重复框，通过测试集验证网络泛化性。
[0015]进一步地，图像数据集中80％为训练集，20％为测试集。
[0016]一种基于图像的编织预制体缺陷检测装置，包括：
[0017]数据采集模块，用于采集三维编织预制体图像数据；
[0018]分析模块，用于分析编织预制体图像中缺陷位置及缺陷类别；
[0019]预警模块，用于检测到缺陷时，作出预警提示。
[0020]进一步地，所述数据采集模块包括高精度工业相机、照明光源和图像采集卡；所述分析模块包括内置预训练编织复合材料缺陷识别网络的图像处理系统和用于图像处理算法计算的数据处理卡；所述预警模块包括用于有缺陷的预制体编号实时提示的缺陷预制体提示模块、缺陷位置提示的缺陷位置提示模块和缺陷类别提示的缺陷类别提示模块。
[0021]本专利技术的有益效果在于：
[0022]本专利技术可实现预制体图像中缺陷的位置及缺陷类别的实时高效、准确检测，解决现有技术中预制体缺陷检测效率和精度低的问题。
附图说明
[0023]图1为本专利技术的基于图像的编织预制体缺陷检测方法流程框图；
[0024]图2为编织复合材料缺陷识别网络结构图；
[0025]图3为基于图像的编织预制体缺陷检测装置的结构示意图。
具体实施方式
[0026]下面结合附图和具体的实施例对本专利技术的基于图像的编织预制体缺陷检测方法及装置作进一步地详细说明。
[0027]如图1所示，一种基于图像的编织预制体缺陷检测方法，包括如下步骤：
[0028]步骤一、获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集。
[0029]图像预处理具体为：对预制体图像进行数据增强处理，包括图像左右翻转、亮度调节和随机移动，同时增强预制体图像对比度，提高识别准确度(图像数据由高精度工业相机获取，以此弥补训练数据样本过少的问题)。
[0030]缺陷标注具体为：(利用软件人工)标注出经预处理的预制体图像中存在的缺陷和缺陷类别。需要注意的是由于本专利技术中的编织复合材料缺陷识别网络特性，无需将输入裁剪为统一尺寸。
[0031]步骤二、构建编织复合材料缺陷识别网络，将图像数据集分为训练集和测试集(图像数据集中80％为训练集，20％为测试集)，利用训练集训练编织复合材料缺陷识别网络，利用测试集验证编织复合材料缺陷识别网络的泛化性。
[0032]具体包括：基于yolo目标检测框架构建编织复合材料缺陷识别网络，如图2所示，包括24个卷积层，1个空间金字塔池化层SPP(Spatial Pyramid Pooling layer)和2个全连接层。常规分类器(SVM/Softmax)及全连接层，均需要输入一个固定长度的向量，该向量由Bag
‑
of
‑
Words(BoW)生成，而空间金字塔下采样增强了BoW，因为它通过汇集空间分块保留了空间信息。这些空间分块的大小与图像大小成正比，因此无论图像大小如何，分块的数量都是固定的，这使得SPP不仅提高了预制体缺陷识别网络性能，而且通过避免重复计算卷积特征，大大减少了所需的计算时间，使编织复合材料预制体表面缺陷能够被实时检测。同
时，SPP层的加入让本专利技术搭建的预制体缺陷识别网络能够处理任意尺寸的输入图片。
[0033]对搭建好的编织复合材料缺陷识别网络进行训练，具体为：分批输入训练集数据，包括任意尺寸的训练图像和标注的标签数据。标签数据提前编码为7
×7×
30的向量，7表示检测精度，可自行设定。30＝((4+1)*2+20)，4表示检测框坐标x、y和高宽w、h，1表示置信度，2表示回归两个矩形框，20表示20个类别。
[0034]loss函数采用yolov1原始loss函数，用网络输出与样本标签的各项内容的误差平方和作为一个样本的整体误差。最后利用非极大值抑制去除网络输出结果中的重复框，通过测试集验证网络泛化性。
[0035]步骤三、利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。通过加载已经训练好的网络模型，将工业相机实时采集的预制体原始图像输入该预制体缺陷识别网络中，网络模型即可实时框选出预制体图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的编织预制体缺陷检测方法，其特征在于，包括如下步骤：步骤一、获取预制体图像数据，经图像预处理和缺陷标注后，形成图像数据集；步骤二、构建编织复合材料缺陷识别网络，将所述图像数据集分为训练集和测试集，利用所述训练集训练编织复合材料缺陷识别网络，利用所述测试集验证编织复合材料缺陷识别网络的泛化性；步骤三、利用训练好的编织复合材料缺陷识别网络对预制体缺陷进行实时检测。2.根据权利要求1所述的基于图像的编织预制体缺陷检测方法，其特征在于，步骤一中，图像预处理具体为：对预制体图像进行数据增强处理，包括图像左右翻转、亮度调节和随机移动，同时增强预制体图像对比度；缺陷标注具体为：标注出经预处理的预制体图像中存在的缺陷和缺陷类别。3.根据权利要求1所述的基于图像的编织预制体缺陷检测方法，其特征在于，步骤二包括：基于yolo目标检测框架构建编织复合材料缺陷识别网络，包括24个卷积层，1个空间金字塔池化层SPP和2个全连接层；分批输入训练集数据，包括任意尺寸的训练图像和标注的标签数据；标签数据提前编码为7
×7×
30的向量，7表示检测精度，可自行设定；30＝(...

【专利技术属性】
技术研发人员：单忠德，汪俊，曹轩铭，谢乾，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：