一种多模态融合的铺丝机复合材料表面缺陷检测系统技术方案

本发明专利技术公开了一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块、多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块。多模态神经网络数据加载模块导入用于多模态神经网络算法训练模块所需要的训练数据，包含两种类型：图像类型数据和点云类型数据，生成算法模块训练所需的格式化数据。多模态神经网络算法训练模块以格式化图像数据和点云数据作为输入，训练后多模态神经网络缺陷检测模块以现场获取的铺丝机复合材料表面图像和点云数据作为输入，输出缺陷分析图像，标注出缺陷所在位置。本发明专利技术能够满足实际飞机复合材料生产精度的检测效率和检测精度，具有高效、可靠等优势。可靠等优势。可靠等优势。

【技术实现步骤摘要】
一种多模态融合的铺丝机复合材料表面缺陷检测系统


[0001]本专利技术涉及航空制造机器视觉检测领域，具体涉及一种多模态融合的铺丝机复合材料表面缺陷检测系统。

技术介绍

[0002]目前全球飞机制造仅有少数厂商可以批量化生产，而新一代的飞机材料将逐步采用复合材料替代传统材料，从目前的趋势看，飞机上大量采用复合材料是一种趋势，最近几年出现的新型飞机，普遍都采用了大面积的复合材料来制造，其目的就是为了减重，同时复合材料的可设计性好，复合材料的性能和构成方式，决定了它可以在制造过程中根据构件最终形态的需求来制造出复杂的三维曲线型面。
[0003]目前国外引进的复合材料铺丝机在自动铺放过程铺层表面质量及切口表面形貌质量方面的检测，仍然依靠人工目测，不仅检测效率低，而且检测误差大，严重影响了复材零部件的制造效率，因此急需借助机器视觉检测技术进行自动化智能检测。

技术实现思路

[0004]本专利技术为解决飞机制造过程中复合材料铺丝机在自动铺放过程中铺层表面质量及切口表面形貌质量的自动化检测，提供了一种多模态融合的铺丝机复合材料表面缺陷检测系统，以实现复合材料铺丝机铺丝质量的自动化检测需求。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；
[0007]多模态神经网络数据加载模块用于将数据格式化为训练数据，输入到多模态神经网络算法训练模块中进行训练；训练数据包含两种类型：复合材料图像数据和复合材料点云数据；两种类型数据均包含20％的良好数据(正样本)和80％的缺陷数据(负样本)。
[0008]为优化上述技术方案，采取的具体措施还包括：
[0009]进一步地，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小(112
×
112)，点云数据进行抽稀(约20000个点左右)，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20％。
[0010]进一步地，多模态神经网络算法训练模块采用多模态神经网络架构，网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。
[0011]进一步地，多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码。
[0012]进一步地，编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量，解码器将该向量解码成N
×
M维矩阵，其中N表示输入材料点云数据，M表示缺陷种类数量，包含无缺陷类型。
[0013]进一步地，解码器包含三个SL模块，每个模块包含一个插值层和一个卷积层；
[0014]插值层将采样后的点进行上采样，将点云数量从N1上采样到N1‑1，N1和N1‑1分别为第l层即SA层的输入点云数量和输出点云数量；其中每个点的特征根据其在原始点云中周围k个邻近点按照如下公式的插值函数进行计算：
[0015][0016]其中，x为待计算特征点，x
i
为其k个邻近点，f
i
为第i个邻近点的特征，d(x，x
i
)为x点到其邻近点之间的距离；
[0017]三个SL模块逐步采样会原始输入数量的点云，特征维度依次降为128、64及M，M为缺陷种类数量，包含无缺陷类型。
[0018]进一步地，多模态神经网络架构采用简化的ResNet架构方式：
[0019]首先将大小为112
×
112，通道数为3的彩色图像通过7
×
7大小的卷积层，映射成通道数为64的特征图，同时步长取为2；
[0020]之后进行步长为2的最大池化；
[0021]再利用3
×
3的卷积核将特征逐步映射成128维，256维通道的特征图；其中逐层映射时采用残差连接的结构，即卷积层进行卷积时，上一层的输出特征和本层的输出特征进行相加，作为下一层卷积层的输入特征；将最后一层具有256个通道的特征图进行均值池化，得到256维的特征编码。
[0022]进一步地，多模态神经网络架构中，复合材料点云数据编码采用三层PointNet++中的SA模块：每层模块包含一个采样模块、一个聚类模块和一个微型PointNet层；采样模块对输入点云进行采样，得到若干采样点，聚类模块用于将每个采样点周围邻域内的点进行聚集，采样点及其邻域内的点作为一个超点，输入到微型PointNet层中提取特征，作为当前采样点的特征。
[0023]进一步地，多模态神经网络算法训练模块用训练集进行多次训练，输入到网络中的数据均为未带标注的数据，在经过多模态神经网络算法训练模块计算之后，用预测的结果和提前标注好的标注信息进行损失对比计算，即计算损失函数；然后神经网络进行反向传播修正网络参数进行学习；
[0024]训练时经过多次迭代直到损失函数收敛，输出网络最佳参数；损失函数采用预标注的点云和网络输出点云之间的交叉熵损失函数进行计算。
[0025]进一步地，多模态神经网络缺陷检测模块在使用前需预先加载最佳参数设置，并实时输入复合材料图像数据和复合材料点云数据，网络输出带缺陷标注的点云进行可视化显示。
[0026]进一步地，所述缺陷检测系统反馈模块根据网络输出带缺陷标注的点云，可以控制铺丝机的工作状态或者发出缺陷警报反馈给工作人员进行管控。
[0027]本专利技术的有益效果是：本专利技术实施例公开了一种多模态融合的铺丝机复合材料表面缺陷检测系统，通过多模态神经网络架构训练学习铺丝机符合材料表面缺陷类型，融合点云数据和图像数据两种数据类型提高网络识别精度。本专利技术具有能够满足实际飞机复合材料生产精度的检测效率和检测精度，相对于传统的人工目测具有高效、可靠等优势，符合了新一代智能飞机制造技术的趋势。
附图说明
[0028]图1为本专利技术实施例中多模态融合的铺丝机复合材料表面缺陷检测系统的示意图。
[0029]图2为本专利技术实施例中多模态融合的铺丝机复合材料表面缺陷检测系统的多模态神经网络算法训练模块网络架构示意图。
具体实施方式
[0030]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态融合的铺丝机复合材料表面缺陷检测系统，其特征在于，包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；多模态神经网络数据加载模块用于将数据格式化为训练数据，输入到多模态神经网络算法训练模块中进行训练；训练数据包含两种类型：复合材料图像数据和复合材料点云数据；两种类型数据均包含20％的良好数据和80％的缺陷数据。2.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小，点云数据进行抽稀，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20％。3.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络算法训练模块采用多模态神经网络架构，网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。4.根据权利要求3所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码。5.根据权利要求4所述的铺丝机复合材料表面缺陷检测系统，其特征在于，编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量，解码器将该向量解码成N
×
M维矩阵，其中N表示输入材料点云数据，M表示缺陷种类数量，包含无缺陷类型。6.根据权利要求4所述的铺丝机复合材料表面缺陷检测系统，其特征在于，解码器包含三个SL模块，每个模块包含一个插值层和一个卷积层；插值层将采样后的点进行上采样，将点云数量从N1上采样到N
l
‑1，N1和N1‑1分别为第l层即SA层的输入点云数量和输出点云数量；其中每个点的特征根据其在原始点云中周围k个邻近点按照如下公式的插值函数进行计算：其中...

【专利技术属性】
技术研发人员：单忠德，汪俊，张一鸣，谢乾，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：