一种基于图文对比学习的表面异常检测方法技术

本发明专利技术涉及一种基于图文对比学习的表面异常检测方法，包括以下步骤：通过监控设备获取产品的表面图像；从产品文档中提取与产品表面异常相关的文本；分别提取图像特征和文本特征；将文本特征复制到和图像特征一样的数量组成图像文本的特征对，使用图文对比学习算法计算该特征对的相似度，然后取其平均数的相反数作为损失函数，并反向传播至图文对比学习算法中进行参数的调整，得到相似度的设定阈值；提取待检测样本的图像特征和文本特征，计算图像特征和文本特征的相似度；将该相似度与设定的阈值比较，如果相似度大于给定阈值，则为正常样本，否则为异常样本。与现有技术相比，本发明专利技术具有通过文本数据学习到异常有关的信息，以及快速的检测能力等优点。

【技术实现步骤摘要】

本专利技术涉及图像异常检测领域，尤其是涉及一种基于图文对比学习的表面异常检测方法。

技术介绍

1、随着工业化、现代化和智能化的发展，消费电子产品的生产需要实现全流程的自动化。每一件产品被生产出，都需要经过质量检测程序来检测以剔除残次品，从而保证流入商品流通市场的合格率。但异常数据是稀缺的，在一批电子产品中，优质、无损的产品占绝大多数样品，而局部破损、色差、挤压变形等不良品只占少数样品，甚至没有样品。异常样本的极端稀缺性导致所开发的深度学习模型将所有样本预测为好样本。此外，异常数据的类型又是多样且未知的，将所有类型的异常统一视为属于一个类别对于深度学习模型具有一定的挑战性。

2、现有的无监督的模型通常只使用正常样本进行学习，因此这类方法训练的模型通常对于异常缺少认知，难以取得更好的效果。因此，亟需设计一种无监督、端到端、并且能学习到异常信息的方法。

技术实现思路

1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图文对比学习的表面异常检测方法，解决了传统无监督训练无法提取异常信息的本文档来自技高网...

【技术保护点】

1.一种基于图文对比学习的表面异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述预处理包括进行数据增强处理，缩放到统一大小。

3.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述数据增强处理包括随机翻转和随机裁剪增强策略。

4.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述归一化包括方差归一化。

5.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述图像编码器和文本编码器均采用Trans...

【技术特征摘要】

1.一种基于图文对比学习的表面异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述预处理包括进行数据增强处理，缩放到统一大小。

3.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述数据增强处理包括随机翻转和随机裁剪增强策略。

4.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述归一化包括方差归一化。

5.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法，其特征在于，所述图像编码器和文本编码器均采用transformer编码器。

6.根据权利要求1所述的一种基于图文对比学习的表面异常检测方法...

【专利技术属性】
技术研发人员：高洪皓，蒋汪洋，冉琼慧子，王烨，
申请(专利权)人：上海大学，
类型：发明
国别省市：