一种基于CLIP模型跨域学习的钢材表面缺陷检测方法和系统技术方案

本发明专利技术公开了一种基于CLIP模型跨域学习的钢材表面缺陷检测方法和系统，解决钢材表面和拍摄条件的变化，以及高光反射等因素，会导致检测精度下降，尤其是在跨域应用中，传统方法的性能难以满足实际需求的问题。本发明专利技术包括：搭建两个基于CLIP的定位网络，均由一个视觉编码器，一个文本编码器，一个额外线性层和一个领域判别器组成；一个基于SAM的脱落缺陷分割网络，网络由一个双掩码高光抑制机制和SAM模型组成。基于CLIP的脱落缺陷定位网络和基于CLIP的高光定位网络分别生成缺陷区域和高光区域的粗略分割结果，通过双掩码高光抑制机制提取点和框提示，引导SAM生成“白色脱落”缺陷区域的精准掩膜，最终通过将多个掩膜融合归一化得到细粒度的分割结果。

【技术实现步骤摘要】

本专利技术属于计算机视觉、钢材表面缺陷检测领域，具体涉及一种基于clip模型跨域学习的钢材表面缺陷检测方法。

技术介绍

1、在工业生产中，钢材作为一种基础建材，广泛应用于建筑、机械、汽车及船舶制造等领域。钢材的质量直接关系到成品的质量和安全性能，其中钢材表面缺陷是评估钢材质量的重要指标之一。钢材表面缺陷的类型多样，包括裂纹、划痕、凹陷、锈蚀等，这些缺陷可能源于生产过程中的各种因素，如原材料质量、加工工艺、储运环境等。因此，钢材表面缺陷检测对于保障产品质量、降低生产成本、提高生产效率具有至关重要的意义。

2、传统的钢材表面缺陷检测方法主要有人工视觉检查和物理检测两大类。人工视觉检查是早期较为常见的检测手段，检测人员凭借肉眼观察钢材表面，凭借经验和专业知识来判断是否存在缺陷。然而，这种方法存在诸多弊端。一方面，人工检查效率较低，难以满足大规模生产中快速检测的需求，尤其是在钢材产量日益增加的现代工业生产环境下，人工逐个检查钢材表面耗时费力，严重影响生产进度。另一方面，人工检测的结果极易受到主观因素的干扰，不同检测人员的经验、视力、注意力等因素差异较大本文档来自技高网...

【技术保护点】

1.一种基于CLIP模型跨域学习的钢材表面缺陷检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于CLIP模型跨域学习的钢材表面缺陷检测方法，其特征在于：使用道路裂缝检测与分割数据集CrackForest以及热轧带钢表面缺陷分割数据Neu-seg中的白色划痕表面缺陷数据，作为源域数据Source1和Source2，脱落缺陷标注数据SDDH-D作为目标域数据Target1，用于训练脱落缺陷定位网络；

3.如权利要求2所述的一种基于CLIP模型跨域学习的钢材表面缺陷检测方法，其特征在于：基于CLIP的脱落缺陷定位网络的处理过程如下：

4.如...

【技术特征摘要】

1.一种基于clip模型跨域学习的钢材表面缺陷检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于clip模型跨域学习的钢材表面缺陷检测方法，其特征在于：使用道路裂缝检测与分割数据集crackforest以及热轧带钢表面缺陷分割数据neu-seg中的白色划痕表面缺陷数据，作为源域数据source1和source2，脱落缺陷标注数据sddh-d作为目标域数据target1，用于训练脱落缺陷定位网络；

3.如权利要求2所述的一种基于clip模型跨域学习的钢材表面缺陷检测方法，其特征在于：基于clip的脱落缺陷定位网络的处理过程如下：

4.如权利要求2所述的一种基于clip模型跨域学习的钢材表面缺陷检测方法，其特征在于：基于clip的高光定位网络的处理过程如下：

5.如权利要求1所述的一种基于clip模型跨域学习的钢材表面缺陷检测方法，其特征在于：步骤3c的具体实现方式如下：

6.如权利要求3所述的一种基于clip模型跨域学习的钢材表面缺陷检测方法，其特征在于：基于clip的脱落缺陷定位网络中的clip视觉编码器中还输出视觉特征向量给领域判别器，领域判别器接收到视觉特征...

【专利技术属性】
技术研发人员：李丽，程天宇，周雅烯，颜小运，王兆静，彭涛，胡俊杰，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：