一种缺陷检测方法、多模态融合网络及设备技术

本发明专利技术属于工业图像处理相关技术领域，其公开了一种缺陷检测方法、多模态融合网络及设备，包括以下步骤：基于自注意机制、视觉的相似性图及文本引导的相似图得到注意力矩阵；将注意力矩阵以通道方式叠加成注意力图，并基于注意力图进行融合得到视觉信息及文本信息，进而用损失函数对分割子模块进行训练，并基于训练后的分割子模块得到像素级缺陷定位结果；其中，训练过程中引入真值掩膜作为参考标签，分割子模块的输入为融合得到的视觉信息及文本信息。本发明专利技术通过多模态注意力融合方式来实现文本特征与视觉特征的融合，以有效捕获两种模态的互补信息，避免多模态融合期间出现特征干扰。

【技术实现步骤摘要】

本专利技术属于工业图像处理相关，更具体地，涉及一种缺陷检测方法、多模态融合网络及设备。

技术介绍

1、随着工业的浪潮涌动，数字化、信息化和智能化已经成为工业制造的重要趋势。在工业生产中，表面缺陷检测，在改善产品质量、增加产品的可靠性和合格率方面显得尤为关键。传统的缺陷检测依赖于人工的经验，通过目视进行产品检查。然而，由于视觉疲劳、环境干扰和个体差异等因素的影响，检测的效率和质量无法得到充分保证。为了应对这些挑战，许多企业选择采用机器视觉技术来进行工业缺陷检测。机器视觉借助计算机视觉系统模拟人类的感知能力，在工业生产领域具备广泛的应用潜力。该技术通过光学设备如摄像头拍摄产品图像，随后利用图像处理算法对拍摄图像进行分析和识别，进而辨别产品表面的缺陷。

2、然而在真实工业检测场景中应用图像缺陷检测方法面临独特的挑战。首先，获取大量缺陷数据，无论是标记的还是未标记的，都被认为是一项具有挑战性的任务。其次，在各种产品类别中收集全面且多样化的正常数据需要大量资源和时间。因此，仅利用有限正常数据的小样本缺陷检测，被认为是解决这些挑战的有效方法。

本文档来自技高网...

【技术保护点】

1.一种缺陷检测方法，该方法包括以下步骤：

2.如权利要求1所述的缺陷检测方法，其特征在于：获得注意力矩阵之前还包括以下步骤：构建包含多种缺陷样本的缺陷数据样本集，采用自适应CLIP编码器从缺陷数据样本集中提取文本特征和视觉特征，进而得到视觉的相似性图及文本引导的相似图；其中，自适应CLIP编码器包括文本编码器及视觉编码器，视觉编码器及文本编码器的输出端分别连接有图像适配器及文本适配器。

3.如权利要求2所述的缺陷检测方法，其特征在于：采用正常特征紧凑度损失函数在预设半径r内压缩正常样本，其利用最近邻搜索来找到第k个距离正常特征最近的原型特征Pk，正常特征被嵌入到...

【技术特征摘要】

1.一种缺陷检测方法，该方法包括以下步骤：

2.如权利要求1所述的缺陷检测方法，其特征在于：获得注意力矩阵之前还包括以下步骤：构建包含多种缺陷样本的缺陷数据样本集，采用自适应clip编码器从缺陷数据样本集中提取文本特征和视觉特征，进而得到视觉的相似性图及文本引导的相似图；其中，自适应clip编码器包括文本编码器及视觉编码器，视觉编码器及文本编码器的输出端分别连接有图像适配器及文本适配器。

3.如权利要求2所述的缺陷检测方法，其特征在于：采用正常特征紧凑度损失函数在预设半径r内压缩正常样本，其利用最近邻搜索来找到第k个距离正常特征最近的原型特征pk，正常特征被嵌入到pk的附近，半径r作为识别缺陷的阈值，正常特征紧凑度损失函数为：

4.如权利要求2所述的缺陷检测方法，其特征在于：使用缺陷特征分离损失函数将缺陷特征从正常簇中推开，缺陷特征分离损失函数为：

5.如权利要求2所述的缺陷检测方法，其特征在于：采用多类型缺陷合成模块生成4种类型的缺陷，并将将4种类型的缺陷合成到一张图片上，进而形成包含多种缺陷样本的缺陷数据样本集；4种类型的缺陷分别为结构错位型缺陷、裂痕缺陷、模糊型缺陷及噪声型缺陷。<...

【专利技术属性】
技术研发人员：沈卫明，姜雨欣，程育奇，张天航，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：