【技术实现步骤摘要】
本专利技术涉及工业视觉领域，特别涉及一种工业视觉缺陷自动标注方法。
技术介绍
1、工业视觉缺陷是指在生产中产品出现的裂痕、起泡、碰伤的缺陷，这些缺陷大往往需要通过人工挑选的方式进行检测，人工检测虽然准确性高但是效率低，为了解决这一问题，提出传统算法和深度学习算法相结合的缺陷检测方式。
2、基于深度学习的缺陷检测方式需要大量的标注缺陷图像支持，在模型训练时需要学习缺陷的特征，以便于对不同种类的工业缺陷进行定位和分类，而人工标注的数据具有多样性，工业缺陷图像标注难度大、周期长、质量难以得到统一。
3、针对这些问题，在现有的自动标注方法中，往往只解决了部分问题，如中国专利文献号cn117095394a,公开了一种基于sam的变电设备缺陷半自动化标注方法，该方法首先对采集好的缺陷数据进行预处理，并基于sam建立半自动标注模型，采用模型人工标注缺陷图像，其次使用人工标注的缺陷图像数据对半自动标注模型进行初步训练，之后将未经人工标注的缺陷图像数据送入半自动标注模型，获取半自动标注模型的标注结果，最后人工矫正模型，微调模型结果并迭代，该方法可以加快标注的效率，但是也需要人工的介入，容易存在漏标的情况，无法做到全自动标注。
4、如中国专利文献号cn116721419a，公开了结合视觉大模型sam的辅助标注方法，该方法首先通过视觉大模型sam将待标注图片分割成若干个图像嵌入掩码，然后通过鼠标滚轮悬浮选择符合用户需求的图像嵌入掩码，标注框生成，重复上述步骤，直至图片全部标注完成，该方法对于有较多的候选嵌入掩码，鼠
5、如中国专利文献号cn115641323a，公开了医学图像自动标注的方法及装置，该方法第一步对医学图像进行标注，第二步通过预处理之后的图像数据对对应的分割模型进行自适应训练，最后通过训练的最优模型对未标注的缺陷进行自动标注并迭代这个步骤，该方法可以对图像数据全自动标注，但是标注的数据轮廓精确性差，缺陷类别存在不确定性，对于工业缺陷来说，缺陷大小和形状对于后续量化有着重要的作用。
6、目前工业缺陷自动标注仍无法完全脱离人工介入，需要在现有技术基础上提高标注准确率和效率的同时，减少人工的介入。
技术实现思路
1、本专利技术的目的在于提供一种工业视觉缺陷自动标注方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种工业视觉缺陷自动标注方法，包括以下步骤：
3、步骤一：从工业生产现场收集缺陷图片和无缺陷图片，并对这些数据进行裁剪和清洗；
4、步骤二：基于sam建立半自动标注模型，通过交互功能调整缺陷的轮廓形状和大小，生成需要的缺陷，并自定义缺陷种类，完成半自动标注；
5、步骤三：标注好的工业缺陷图像采用yolov5模型训练，取结果最优的模型作为监督定位模型；
6、步骤四：无缺陷的图片采用半监督memseg模型训练，取结果最优的模型作为半监督定位模型；
7、步骤五：将标注好的缺陷图像放大1倍轮廓裁剪下来，并按照类别划分，采用vit分类模型训练，取结果最优的模型作为分类模型；
8、步骤六：将未经半自动标注的缺陷图像数据传输到全自动标注工具中，缺陷图像通过训练好的yolov5监督模型和memseg半监督模型进行缺陷的定位，缺陷去重，再计算出缺陷中心点坐标并传输给sam模型，通过sam模型调整轮廓和大小，最后将缺陷放大1倍轮廓，通过vit分类模型进行分类，生成标注好的缺陷。
9、优选的，所述步骤二中的sam模型包括网络结构、损失函数、数据增强、预训练模型，所述网络结构采用编码器和解码器结构，其结构类似于u-net网络，其编码器用于对缺陷图像特征提取，并且由卷积层和池化层组成，所述解码器由多个反卷积层和上卷积层组成，用于将尺度变换后的特征图转换到目标大小，输出最后分割的结果。
10、优选的，所述损失函数的sam算法是基于交叉熵的多任务，所述损失函数包括像素级别的分类损失和回归损失，所述分类损失用于判断每个像素是否都属于缺陷，所述回归损失用于判断真实缺陷的轮廓和预测出来的缺陷轮廓差异性。
11、优选的，所述sam算法采用随机旋转、缩放、裁剪、翻转、颜色空间变换和噪声添加的数据增强技术，用于提高模型的泛化能力，所述sam模型采用预训练图像分类模型作为编码器的初始权重，用于提取缺陷高质量的特征，所述sam的骨干网络是基于vit算法，其中包含多头注意力机制，多头注意力机制的计算公式可以表示为：
12、sa(q,k,v)=softmax()v
13、其中，q表示查询矩阵，k是键矩阵，v是值矩阵，dk是键和查询的维度，kt是键矩阵k的点积，矩阵计算过程中分别先对q，k，v，进行线性升维操作，输出，，，=，dk=，然后注意力机制的头部head部分做h次操作，最后将结果拼接起来，head部分拼接公式可以表示为：
14、headi=sa(,,)
15、o=concat(,,)
16、其中，对q，k，v进行线性升维操作，最后拼接结果。
17、优选的，所述步骤三中的yolov5网络是一种单阶段检测算法，主要由输入端、骨干网络、颈部网络和头部网络组成。
18、yolov5模型的输入端采用mosaic数据增强、自适应锚框计算、自适应图片缩放。
19、其中骨干网络主要包括focus结构，focus结构主要作用是对图片进行切片操作，骨干网络还包括csp结构，csp结构主要将特征图拆成两部分，一部分进行利用卷积层做特征提取，另一部分和上一部分的结果通过叠加通道数融合。
20、优选的，所述步骤三yolov5中的颈部网络采用fpn和pan的结构，fpn层自顶向下传达强语义信息，而pan自底向上传达定位特征。
21、头部网络主要对颈部网络中得到的不同尺度特征图进行1×1卷积通道扩充，头部网络包含3个检测层，分别对应颈部3种不同尺度的特征图，网络设定3个不同宽高比的anchor用于预测和回归目标，目标框的回归计算公式可以表示为：
22、=2δ()-0.5+
23、=2δ()-0.5+
24、=×(2δ())2
25、=×(2δ())2
26、其中，表示生成预测框的x轴，y轴中心点坐标，，表示预测框的宽度和高度，，表示预测框中心点所在网格的左上角坐标，，表示预测框的中心点相对于网格左上角坐标的偏移量，，表示预测框的宽高相对于锚框宽高的缩放比例，，表示锚框的宽和高，yolov5采用宽高比匹配的策略，主要流程是：
27、(1)分别计算出人工标注的标签与9种不同的锚框的宽比值(w1/w2,w2/w1)，还有高的比值(h1/h2,h2/h1)；
28、(2)并分别计算出(w1/w2,w2/w1)，(h1/h2,h2/h1)中的最大值，作为人工标记的本文档来自技高网...
【技术保护点】
1.一种工业视觉缺陷自动标注方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤二中的SAM模型包括网络结构、损失函数、数据增强、预训练模型，所述网络结构采用编码器和解码器结构，其结构类似于U-Net网络，其编码器用于对缺陷图像特征提取，并且由卷积层和池化层组成，所述解码器由多个反卷积层和上卷积层组成，用于将尺度变换后的特征图转换到目标大小，输出最后分割的结果。
3.根据权利要求2所述的一种工业视觉缺陷自动标注方法，其特征在于，所述损失函数的SAM算法是基于交叉熵的多任务，所述损失函数包括像素级别的分类损失和回归损失，所述分类损失用于判断每个像素是否都属于缺陷，所述回归损失用于判断真实缺陷的轮廓和预测出来的缺陷轮廓差异性。
4.根据权利要求3所述的一种工业视觉缺陷自动标注方法，其特征在于，所述SAM算法采用随机旋转、缩放、裁剪、翻转、颜色空间变换和噪声添加的数据增强技术，用于提高模型的泛化能力，所述SAM模型采用预训练图像分类模型作为编码器的初始权重，用于提取缺陷高质量的特征，所述SAM的
5.根据权利要求1所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤三中的YOLOv5网络是一种单阶段检测算法，主要由输入端、骨干网络、颈部网络和头部网络组成；
6.根据权利要求5所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤三中的YOLOv5中的颈部网络采用FPN和PAN的结构，FPN层自顶向下传达强语义信息，而PAN自底向上传达定位特征；
7.根据权利要求6所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤三中YOLOv5模型包含多个损失函数，损失函数的作用就是衡量预测的结果和真实标注结果的差距，YOLOv5总损失可以表示为；
8.根据权利要求7所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤四中的MemSeg算法是一种半监督的图像表面缺陷检测网络，主要使用差异性和共性来检测工业品表面上的缺陷，所述MemSeg算法模型主要基于U-Net网络，使用预训练模型ResNet18作为编码器，引入模拟异常样本的记录模块和多尺度特征融合模块和注意力机制模块，提升异常定位模型精度；
9.根据权利要求1所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤五中ViT模型主要用于对裁剪好的小缺陷图进行分类与训练，所述ViT模型是一种基于Transformer的图像分类器，ViT模型可以分为以下几个部分：
10.根据权利要求1所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤六中的具体实施方式为：
...【技术特征摘要】
1.一种工业视觉缺陷自动标注方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤二中的sam模型包括网络结构、损失函数、数据增强、预训练模型，所述网络结构采用编码器和解码器结构，其结构类似于u-net网络，其编码器用于对缺陷图像特征提取，并且由卷积层和池化层组成，所述解码器由多个反卷积层和上卷积层组成，用于将尺度变换后的特征图转换到目标大小，输出最后分割的结果。
3.根据权利要求2所述的一种工业视觉缺陷自动标注方法，其特征在于，所述损失函数的sam算法是基于交叉熵的多任务，所述损失函数包括像素级别的分类损失和回归损失，所述分类损失用于判断每个像素是否都属于缺陷，所述回归损失用于判断真实缺陷的轮廓和预测出来的缺陷轮廓差异性。
4.根据权利要求3所述的一种工业视觉缺陷自动标注方法，其特征在于，所述sam算法采用随机旋转、缩放、裁剪、翻转、颜色空间变换和噪声添加的数据增强技术，用于提高模型的泛化能力，所述sam模型采用预训练图像分类模型作为编码器的初始权重，用于提取缺陷高质量的特征，所述sam的骨干网络是基于vit算法，其中包含多头注意力机制，多头注意力机制的计算公式可以表示为：
5.根据权利要求1所述的一种工业视觉缺陷自动标注方法，其特征在于，所述步骤三中的yolov5网络是一种...
【专利技术属性】
技术研发人员：李嘉欣，钱凯，甘如玉，沈云帆，
申请(专利权)人：德济智能科技苏州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。