一种多模态融合的铺丝机复合材料表面缺陷检测系统技术方案

本发明专利技术公开了一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块、多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块。多模态神经网络数据加载模块导入用于多模态神经网络算法训练模块所需要的训练数据，包含两种类型：图像类型数据和点云类型数据，生成算法模块训练所需的格式化数据。多模态神经网络算法训练模块以格式化图像数据和点云数据作为输入，训练后多模态神经网络缺陷检测模块以现场获取的铺丝机复合材料表面图像和点云数据作为输入，输出缺陷分析图像，标注出缺陷所在位置。本发明专利技术能够满足实际飞机复合材料生产精度的检测效率和检测精度，具有高效、可靠等优势。可靠等优势。可靠等优势。

【技术实现步骤摘要】
一种多模态融合的铺丝机复合材料表面缺陷检测系统


[0001]本专利技术涉及航空制造机器视觉检测领域，具体涉及一种多模态融合的铺丝机复合材料表面缺陷检测系统。

技术介绍

[0002]目前全球飞机制造仅有少数厂商可以批量化生产，而新一代的飞机材料将逐步采用复合材料替代传统材料，从目前的趋势看，飞机上大量采用复合材料是一种趋势，最近几年出现的新型飞机，普遍都采用了大面积的复合材料来制造，其目的就是为了减重，同时复合材料的可设计性好，复合材料的性能和构成方式，决定了它可以在制造过程中根据构件最终形态的需求来制造出复杂的三维曲线型面。
[0003]目前国外引进的复合材料铺丝机在自动铺放过程铺层表面质量及切口表面形貌质量方面的检测，仍然依靠人工目测，不仅检测效率低，而且检测误差大，严重影响了复材零部件的制造效率，因此急需借助机器视觉检测技术进行自动化智能检测。

技术实现思路

[0004]本专利技术为解决飞机制造过程中复合材料铺丝机在自动铺放过程中铺层表面质量及切口表面形貌质量的自动化检测，提供了一种多模态融合的铺丝机复合材料表面缺陷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态融合的铺丝机复合材料表面缺陷检测系统，其特征在于，包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；多模态神经网络数据加载模块用于将数据格式化为训练数据，输入到多模态神经网络算法训练模块中进行训练；训练数据包含两种类型：复合材料图像数据和复合材料点云数据；两种类型数据均包含20％的良好数据和80％的缺陷数据。2.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小，点云数据进行抽稀，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20％。3.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络算法训练模块采用多模态神经网络架构，网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。4.根据权利要求3所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码。5.根据权利要求4所述的铺丝机复合材料表面缺陷检测系统，其特征在于，编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量，解码器将该向量解码成N
×
M维矩阵，其中N表示输入材料点云数据，M表示缺陷种类数量，包含无缺陷类型。6.根据权利要求4所述的铺丝机复合材料表面缺陷检测系统，其特征在于，解码器包含三个SL模块，每个模块包含一个插值层和一个卷积层；插值层将采样后的点进行上采样，将点云数量从N1上采样到N
l
‑1，N1和N1‑1分别为第l层即SA层的输入点云数量和输出点云数量；其中每个点的特征根据其在原始点云中周围k个邻近点按照如下公式的插值函数进行计算：其中...

【专利技术属性】
技术研发人员：单忠德，汪俊，张一鸣，谢乾，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：