一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法技术

本发明专利技术公开了一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，包括：获取注塑制品样本图像，构建语义分割数据集和图像重建数据集；构建SSAL网络模型，将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练；将待检测的注塑制品样本图像输入到训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图；根据语义分割结果图，将注塑制品缺陷区域量化，得到缺陷检测结果。本发明专利技术实现了注塑制品表面缺陷的自动化检测，提高了语义分割模型在小样本数据集下对注塑制品缺陷的检测准确率和泛化能力，更好地满足了工业场景的应用需求。景的应用需求。景的应用需求。

【技术实现步骤摘要】
一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法


[0001]本专利技术涉及计算机视觉及工业自动化
，具体涉及基于半监督辅助学习(Semi
‑
Supervised Auxiliary Learning，SSAL)语义分割的注塑制品表面缺陷检测方法。

技术介绍

[0002]注塑成型是一个复杂的过程，其产品质量容易受到工艺参数和环境条件的影响。即便是在稳定生产的情况下，注塑机的性能波动和材料的参数变化等影响因素仍然会导致注塑缺陷的出现，对注塑制品的外观和性能产生严重影响。因此，对注塑制品进行缺陷检测是注塑成型生产质量控制中的重要一环。
[0003]现有的缺陷检测手段主要依靠人工检测，这种方式效率低下，易受主观性影响，无法实现缺陷反馈。机器视觉和机器学习算法可以用于表面缺陷的自动化检测，但是它们的准确率相对较低，而且难以适应生产线调整所带来的变化。
[0004]近年来，深度学习算法在图像分类、目标检测、语义分割等领域取得了重大进展，并且因其端到端和鲁棒性强等特点被广泛应用于缺陷检测领域。语义分割算法在面对形态各异的缺陷时，可以逐像素地区分图像中缺陷区域和正常区域，为实现精确的缺陷量化提供了必要条件。
[0005]此外，在实际的工业生产情况中，由于缺陷样本的不平衡性，深度学习方法容易出现过拟合现象，导致检测精度下降。为缓解过拟合问题，数据增强、数据合成和迁移学习等技术被广泛应用于模型训练。然而，这些方法在训练过程中所用的数据均源自已有的缺陷样本，无法解决样本缺乏的根本问题，而且可能会将噪声和人工信息引入到模型中，同时，生产过程中许多不包含缺陷的样本并没有得到充分利用。
[0006]公开号为CN 110473173 A的专利申请文件公开了一种基于语义分割的缺陷检测方法，包括：制作物体表面缺陷训练图像集；完成表面缺陷图像的手动标注；搭建应用于物体表面缺陷检测的深度学习语义分割缺陷检测模型；进行深度学习语义分割缺陷检测模型的训练；基于已训练的深度学习语义分割缺陷检测模型，进行物体表面缺陷检测；得到对应输出的具有缺陷种类标签图像，获得缺陷检测结果。该专利技术仅采用缺陷样本图像进行模型训练，没有充分利用不包含缺陷的样本图像，无法解决样本缺乏的根本问题。
[0007]因此，亟需寻找一种新的注塑制品表面缺陷的检测方法，充分利用不包含缺陷的样本对注塑制品缺陷进行精确检测，以满足工业场景的应用具有重要意义。

技术实现思路

[0008]本专利技术的目的在于提供一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，充分利用不包含缺陷的样本，提高语义分割模型在小样本数据集下对注塑制品缺陷的检测准确率和泛化能力，满足工业场景的应用需求。
[0009]一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，包括以下步
骤：
[0010]步骤a：获取注塑制品样本图像，构建语义分割数据集和图像重建数据集；
[0011]步骤b：构建SSAL网络模型，将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练；
[0012]步骤c：将待检测的注塑制品样本图像输入到步骤b训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图；
[0013]步骤d：根据语义分割结果图，将注塑制品缺陷区域量化，得到缺陷检测结果。
[0014]进一步地，步骤a中，获取注塑制品样本图像，构建语义分割数据集和图像重建数据集的具体步骤为：
[0015]步骤a1：收集若干包含表面缺陷的注塑制品样本和若干不包含表面缺陷的注塑制品样本，采集注塑制品样本图像，获得包含注塑制品表面缺陷的图像和不包含注塑制品表面缺陷的图像；
[0016]步骤a2：对包含注塑制品表面缺陷的图像进行标注，获得对应的语义分割标签图像；
[0017]步骤a3：使用数据增强扩充包含注塑制品表面缺陷的图像及其对应的语义分割标签图像，将扩充后得到的包含注塑制品表面缺陷的图像及其对应的语义分割标签图像组成语义分割数据集；使用数据增强扩充不包含注塑制品表面缺陷的图像，将扩充后得到的不包含注塑制品表面缺陷的图像与扩充后得到包含注塑制品表面缺陷的图像组成图像重建数据集。
[0018]进一步地，步骤a3中，所述的数据增强扩充包括图像翻转、图像缩放和图像扭曲。
[0019]进一步地，步骤a3中，所述的语义分割数据集包含像素级的语义分割标签图像，所述的图像重建数据集不包含语义分割标签图像。
[0020]进一步地，步骤b中，所述的SSAL网络模型包括主干网络部分和网络输出部分：
[0021]所述主干网络部分由编码部分和解码部分依次连接构成，编码部分的输入为主干网络部分的输入，解码部分的输出为主干网络部分的输出，
[0022]所述编码部分主要由一个初始卷积模块和四个连续的下采样模块依次连接构成，每个下采样模块由一个最大池化层和若干个卷积层依次连接构成，每个卷积层由二维卷积层和ReLU层依次连接构成；
[0023]所述解码部分主要由四个连续的上采样模块构成，每个上采样模块由一个上采样层、一个拼接层和两个卷积层依次连接构成；每个卷积层由二维卷积层和ReLU层依次连接构成；
[0024]初始卷积模块的输出特征图和第四个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第四个上采样模块中的卷积层中，第一个下采样模块输出的特征图和第三个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第三个上采样模块中的卷积层中，第二个下采样模块输出的特征图和第二个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第二个上采样模块中的卷积层中，第三个下采样模块输出的特征图和第一个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第一个上采样模块中的卷积层中，第四个下采样模块输出的特征图被作为第一个上采样模块的输入；
[0025]所述网络输出部分主要由语义分割输出分支和图像重建输出分支构成，
[0026]所述语义分割输出分支由一个二通道卷积层构成，语义分割输出分支的输入是主干网络部分的输出；
[0027]所述图像重建输出分支由一个三通道卷积层构成，图像重建输出分支的输入是主干网络部分的输出。
[0028]进一步地，所述的主干网络部分的编码部分中，每个下采样模块处理后将特征图的尺寸减小一倍，并将特征图的深度增大一倍，最终得到所需的特征图。
[0029]进一步地，所述的主干网络部分的解码部分中，四个连续的上采样模块中依次设置双线性插值上采样层，逐层将特征图的尺寸增大一倍，并将特征图的深度减小一倍。
[0030]进一步地，步骤b中，所述的语义分割任务为主任务，所述的图像重建任务为辅助任务，图像重建任务在无标签数据集上进行半监督辅助学习。
[0031]进一步地，步骤b中，SSAL网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，包括以下步骤：步骤a：获取注塑制品样本图像，构建语义分割数据集和图像重建数据集；步骤b：构建SSAL网络模型，将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练；步骤c：将待检测的注塑制品样本图像输入到步骤b训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图；步骤d：根据语义分割结果图，将注塑制品缺陷区域量化，得到缺陷检测结果。2.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤a中，获取注塑制品样本图像，构建语义分割数据集和图像重建数据集的具体步骤为：步骤a1：收集若干包含表面缺陷的注塑制品样本和若干不包含表面缺陷的注塑制品样本，采集注塑制品样本图像，获得包含注塑制品表面缺陷的图像和不包含注塑制品表面缺陷的图像；步骤a2：对包含注塑制品表面缺陷的图像进行标注，获得对应的语义分割标签图像；步骤a3：使用数据增强扩充包含注塑制品表面缺陷的图像及其对应的语义分割标签图像，将扩充后得到的包含注塑制品表面缺陷的图像及其对应的语义分割标签图像组成语义分割数据集；使用数据增强扩充不包含注塑制品表面缺陷的图像，将扩充后得到的不包含注塑制品表面缺陷的图像与扩充后得到包含注塑制品表面缺陷的图像组成图像重建数据集。3.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b中，所述的SSAL网络模型包括主干网络部分和网络输出部分：所述主干网络部分由编码部分和解码部分依次连接构成，编码部分的输入为主干网络部分的输入，解码部分的输出为主干网络部分的输出，所述编码部分由一个初始卷积模块和四个连续的下采样模块依次连接构成，每个下采样模块由一个最大池化层和若干个卷积层依次连接构成，每个卷积层由二维卷积层和ReLU层依次连接构成；所述解码部分由四个连续的上采样模块构成，每个上采样模块由一个上采样层、一个拼接层和两个卷积层依次连接构成，每个卷积层由二维卷积层和ReLU层依次连接构成；初始卷积模块的输出特征图和第四个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第四个上采样模块中的卷积层中，第一个下采样模块输出的特征图和第三个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第三个上采样模块中的卷积层中，第二个下采样模块输出的特征图和第二个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第二个上采样模块中的卷积层中，第三个下采样模块输出的特征图和第一个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第一个上采样模块中的卷积层中，第四个下采样模块输出的特征图被作为第一个上采样模块的输入；所述网络输出部分由语义分割输出分支和图像重建输出分支构成，所述语义分割输出分支由一个二通道卷积层构成，语义分割输出分支的输入是主干网络部分的输出；
所述图像重建输出分支由一个三通道卷积层构成，图像重建输出分支的输入是主干网络部分的输出。4.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b中，所述的将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练的具体步骤为：步骤b1：将语义分割数据集划分为语义分割训练集和语义分割验证集，将图像重建数据集划分为图像重建...

【专利技术属性】
技术研发人员：张树有，俞子安，伊国栋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：