一种基于多任务学习的表面缺陷检测方法技术

本发明专利技术公开了一种基于多任务学习的表面缺陷检测方法，包括：获取具有标注信息的输入图像并将输入图像分为训练集图像和测试集图像；对训练集图像进行剪切，得到缺陷实例并对缺陷实例进行增强，得到增强图像；构建表面缺陷检测网络并将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据。通过使用本发明专利技术，可解决缺陷样本不足问题的同时提高工业缺陷检测的速度和精度。本发明专利技术作为一种基于多任务学习的表面缺陷检测方法，可广泛应用于工业视觉缺陷检测领域。

【技术实现步骤摘要】
一种基于多任务学习的表面缺陷检测方法
本专利技术涉及工业视觉缺陷检测领域，尤其涉及一种基于多任务学习的表面缺陷检测方法。
技术介绍
中国是一个制造业大国，每天都有海量的工业产品走下生产线。用户和生产企业对产品质量的要求越来越高，除要求满足使用性能外，还要有良好的外观，即良好的表面质量。由于技术手段的限制，在传统的工业生产制造中仍然主要采用人工检测的方法来检测工业产品表面的缺陷。受制于人工经验和主观因素的影响，人工肉眼检测不仅抽检率低、准确性不高、实时性差、效率低下，而且劳动强度大、人工成本高，无论对于企业还是工人都是一项沉重的负担，还有部分检测方法如基于训练模型和基于统计的检测方法，这类方法需要仔细设计人工特征来提取图像的颜色信息、纹理信息等，其结果严重依赖于对图像中缺陷属性的建模程度，依赖于领域专家的专业知识，针对一种工业产品表面缺陷的检测方法和模型往往不适用检测另外一种工业产品的表面缺陷。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种基于多任务学习的表面缺陷检测方法，可快速和准确的识别出工业产品的表面缺陷。本专利技术所采用技术方案是：一种基于多任务学习的表面缺陷检测方法，包括以下步骤：获取具有标注信息的输入图像并将输入图像分为训练集图像和测试集图像；对训练集图像进行剪切，得到缺陷实例并对缺陷实例进行增强，得到增强图像；构建表面缺陷检测网络并将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据。进一步，所述对训练集图像进行剪切，得到缺陷实例并对缺陷实例进行增强，得到增强图像这一步骤，其具体包括：根据标注信息对训练集图像进行剪切得到缺陷实例，并修复剪切后的训练集图像，得到修复图像；根据标注信息得到缺陷实例的蒙版标注并对其执行膨胀操作，得到缺陷实例的多个相邻区域；计算缺陷实例被放置在修复图像不同位置时的相邻区域和原始位置相邻区域之间的相似度，得到缺陷实例在修复图像上的环境相似性热力图；将环境相似性热力图标准化得到位置选择概率图，并根据位置选择概率图选定缺陷实例粘贴的目标位置；将缺陷实例随机缩放并旋转后平移粘贴到目标位置，得到合成图像；对合成图像进行整体增强，得到增强图像。进一步，所述对合成图像进行整体增强包括颜色扰动、随机翻转和随机裁切。进一步，所述标注信息为边界框标注，所述根据标注信息得到缺陷实例的蒙版标注具体为：判断到像素位于一个边界框内，将该边界框的类别信息分配给该像素；判断到像素位于多个边界框内，将面积最小的边界框的类别信息分配给该像素；判断到像素没有位于任一边界框内，将背景的类别信息分配给该像素；根据像素中的类别信息得到蒙版标注。进一步，所述修复剪切后的训练集图像具体采用高斯白噪声填充来修复剪切后的训练集图像，所述环境相似性热力图具体采用以下公式计算：其中，D(x′,y′)为环境相似性热力图，ri(x,y)和r′i(x′,y′)分别为缺陷实例在原始位置(x,y)和目标位置(x′,y′)的第i个相邻区域Ci(x,y)和C′i(x′,y′)上的像素的RGB值，g(·)为相似性的度量函数，n为距离缺陷实例不同远近程度的相邻区域的个数，ωi为对应第i个相邻区域的加权因子。进一步，所述加权因子ω以下式设置：其中，ω1对应距离缺陷实例最近的第1个相邻区域，所述ωn对应距离缺陷实例最远的第n个相邻区域。进一步，所述位置选择概率图通过下式计算获得：其中，I表示用于计算环境相似性热力图的图像，(x′,y′)为图像上任意一个可能的目标位置，γ为任一合适的正实数。进一步，所述构建表面缺陷检测网络并将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据这一步骤，其具体包括：构建特征金字塔、语义特征提取模块和缺陷检测头模块，生成表面缺陷检测网络；将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据。进一步，所述构建特征金字塔、语义特征提取模块和缺陷检测头模块，生成表面缺陷检测网络这一步骤，其具体包括：采用ResNet50深层卷积网络和FPN结构构建特征金字塔；采用RetinaNet构建缺陷检测头模块；采用DeepLabV3构建语义特征提取模块；生成表面缺陷检测网络。进一步，所述将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据这一步骤，其具体还包括：通过特征金字塔提取输入图像的层次特征并将层次特征分别发送到缺陷检测头模块和语义特征提取模块；语义特征提取模块根据接收到的层次特征，生成一系列的蒙版分量；缺陷头检测模块根据接收到的层次特征生成缺陷实例的坐标和类型，得到表面缺陷数据。本专利技术方法的有益效果是：本专利技术通过对缺陷实例进行增强，有利于增广数据集的大小和样本的多样性，解决工业缺陷检测问题中常见的缺陷样本不足问题，通过构建表面缺陷检测网络并利用表面缺陷网络对图像进行检测，提高工业缺陷检测的速度和精度。附图说明图1是本专利技术一种基于多任务学习的表面缺陷检测方法的步骤流程图；图2是本专利技术具体实施例对缺陷实例进行增强的步骤流程图；图3是本专利技术具体实施例构建表面缺陷检测网络并利用表面缺陷网络对图像进行检测的步骤流程图；图4是本专利技术具体实施例对缺陷实例进行增强的示意图。具体实施方式下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。近年来，如何采用计算机视觉代替人工，将人从繁重的肉眼检测任务中解放出来，提高生产线的自动化程度成为企业迫切需要解决的难题，深度学习方法相对于传统方法虽然可以极大的改善目标检测的性能，但是往往需要大量的训练数据来训练深层卷积网络，但具体到工业视觉缺陷检测问题上来，大规模的收集缺陷数据集往往很难实现，本专利技术通过缺陷数据之后利用表面缺陷网络对图像进行检测，可以解决工业缺陷检测问题中常见的缺陷样本不足问题的同时提高工业缺陷检测的速度和精度。如图1所示，本专利技术提供了一种基于多任务学习的表面缺陷检测方法，该方法包括以下步骤：S101、获取具有标注信息的输入图像并将输入图像分为训练集图像和测试集图像。具体地，所述具有标注信息的输入图像可以是使用高精度的工业线扫相机在稳定的工业生产环境下采集足够和高质量的图像数据之后使用图像标注软件LabelMe进行标注，标注信息为边界框标注，所述训练集图像用于表面缺陷检测网络的训练，所述测试集图像用于表面缺陷检测网络。S102、对训练集图像进行剪切，得到缺陷实例并对缺陷实例进行增强，得到增强图像；S103、构建表面缺陷检测网络并将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据。具本文档来自技高网...

【技术保护点】
1.一种基于多任务学习的表面缺陷检测方法，其特征在于，包括以下步骤：/n获取具有标注信息的输入图像并将输入图像分为训练集图像和测试集图像；/n对训练集图像进行剪切，得到缺陷实例并对缺陷实例进行增强，得到增强图像；/n构建表面缺陷检测网络并将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据。/n

【技术特征摘要】
1.一种基于多任务学习的表面缺陷检测方法，其特征在于，包括以下步骤：
获取具有标注信息的输入图像并将输入图像分为训练集图像和测试集图像；
对训练集图像进行剪切，得到缺陷实例并对缺陷实例进行增强，得到增强图像；
构建表面缺陷检测网络并将测试集图像和增强图像输入表面缺陷检测网络，得到表面缺陷数据。


2.根据权利要求1所述一种基于多任务学习的表面缺陷检测方法，其特征在于，所述对训练集图像进行剪切，得到缺陷实例并对缺陷实例进行增强，得到增强图像这一步骤，其具体还包括：
根据标注信息对训练集图像进行剪切得到缺陷实例，并修复剪切后的训练集图像，得到修复图像；
根据标注信息得到缺陷实例的蒙版标注并对其执行膨胀操作，得到缺陷实例的多个相邻区域；
计算缺陷实例被放置在修复图像不同位置时的相邻区域和原始位置相邻区域之间的相似度，得到缺陷实例在修复图像上的环境相似性热力图；
将环境相似性热力图标准化得到位置选择概率图，并根据位置选择概率图选定缺陷实例粘贴的目标位置；
将缺陷实例随机缩放并旋转后平移粘贴到目标位置，得到合成图像；
对合成图像进行整体增强，得到增强图像。


3.根据权利要求2所述一种基于多任务学习的表面缺陷检测方法，其特征在于，所述对合成图像进行整体增强包括颜色扰动、随机翻转和随机裁切。


4.根据权利要求3所述一种基于多任务学习的表面缺陷检测方法，其特征在于，所述标注信息为边界框标注，所述根据标注信息得到缺陷实例的蒙版标注具体为：
判断到像素位于一个边界框内，将该边界框的类别信息分配给该像素；
判断到像素位于多个边界框内，将面积最小的边界框的类别信息分配给该像素；
判断到像素没有位于任一边界框内，将背景的类别信息分配给该像素；
根据像素中的类别信息得到蒙版标注。


5.根据权利要求4所述一种基于多任务学习的表面缺陷检测方法，其特征在于，所述修复剪切后的训练集图像具体采用高斯白噪声填充来修复剪切后的训练集图像，所述环境相似性热力图具体采用以下公式计算：



其中，D(x′,y′)为环境相似性热力图，ri(x,y)和ri′(x′,y′)分别...

【专利技术属性】
技术研发人员：赖剑煌，康丹青，吴凯，朱俊勇，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44