一种多模态数据复杂缺陷特征检测方法技术

本发明专利技术公开了一种多模态数据复杂缺陷特征检测方法，包括多模态数据特征提取、多模态特征交叉引导学习以及多模态特征融合以及缺陷分类回归，首先构建多模态二维数据特征提取网络，并将缺陷数据集送入网络进行训练；在训练中利用多模态特征交叉引导网络实现了交叉引导学习；然后利用权重自适应方法进行特征融合；最后利用分类及回归子网络实现缺陷检测任务，本发明专利技术可以高效地实现多模态数据在复杂缺陷特征检测过程中的融合，能够更加有效地提升工业环境下复杂缺陷的检测能力，保证了工业制造过程中的生产效率。造过程中的生产效率。造过程中的生产效率。

【技术实现步骤摘要】
一种多模态数据复杂缺陷特征检测方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种多模态数据复杂缺陷特征检测方法。

技术介绍

[0002]随着基于深度学习的计算机视觉的快速发展，基于深度学习的目标检测方法在工业界工业缺陷检测中的应用也越来越深入和广泛。目前，在工业界大部分场景下的可视化缺陷都已经提出了充分的解决方案。同时，针对一些在多种传感器下都可以采集到多模态数据的复杂缺陷，一般利用计算机对不同数据进行处理融合，然后进行缺陷检测。这种图像融合方法具备冗余和互补的特性，能够克服原图像在分辨率、物理属性、信息量等方面的局限性，还可以抑制噪音，增强图像信息的聚集程度。最终，可以大规模提升在工业场景下针对具备多模态数据的复杂缺陷检测精度。
[0003]然而，现有的图像数据融合方法一方面计算过程复杂，难以应用于流水线状态下工业检测，另一方面融合效果差，无法在后续过程中检测复杂缺陷特征。因此，急需一种针对复杂缺陷的多模态数据融合检测方法。

技术实现思路

[0004](一)解决的技术问题
[0005]本专利技术提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态数据复杂缺陷特征检测方法，其特征在于，具体包括以下步骤：步骤S1：构建特征提取网络；步骤S2：将多模态训练数据输入特征提取网络，进行多模态特征并行学习；步骤S3：构建多模态特征交叉引导网络，在平行的多模态数据提取网络之间建立局部连接，形成了多模态特征交叉引导机制；步骤S4：多模态权重自适应融合；步骤S5：利用分类及回归子网络实现缺陷检测。2.根据权利要求1所述的一种多模态数据复杂缺陷特征检测方法，其特征在于，所述步骤S1具体包括：利用卷积神经网络构建多个并行的特征提取网络，分别对应多种模态的数据提取，每个并行的特征提取网络都包含了六层，分别由不同的卷积层、池化层、密集块结构和膨胀瓶颈层结构构成。3.根据权利要求1所述的一种多模态数据复杂缺陷特征检测方法，其特征在于，所述步骤S2具体包括：将工业缺陷多模态数据集分为训练集和测试集，将训练集首先输入到并行的所述特征提取网络中进行特征提取。4.根据权利要求2所述的一种多模态...

【专利技术属性】
技术研发人员：汪俊，吴宇祥，李大伟，张沅，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：