一种产品表面缺陷检测方法和装置及设备制造方法及图纸

本发明专利技术提供一种产品表面缺陷检测方法和装置及设备，包括：获取图像并确定图像是否为需要检测指定类型缺陷的待检测图像；若是，通过预训练的缺陷检测模型利用滑动窗口对待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出待检测图像中存在缺陷的窗口区域位置标识；利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到存在缺陷的窗口区域内各缺陷的轮廓区域；通过区域生长算法将相邻的轮廓区域进行连接，得到待检测图像中存在的缺陷的形态和数目。本发明专利技术可以对图像进行滑动采样检测的方式，解决现有技术费时费力、无法检测表面细小缺陷且定位性差的问题。

【技术实现步骤摘要】
一种产品表面缺陷检测方法和装置及设备
本专利技术涉及计算机
，具体涉及一种产品表面缺陷检测方法和装置及设备。
技术介绍
随着我国制造业的飞速发展，工业生产的产品数量和种类也日益增多。人们对产品的质量要求也越来越高，产品表面的质量不仅会影响产品的外观，更严重的功能性瑕疵会直接导致产品商业价值贬值。在化纤产品的生产中由于设备和工艺的影响，化纤产品中经常出现特别细小的缺陷，甚至有些缺陷的宽度只有一个像素的大小。当待测的细小物体运动时，人眼无法很好的辨别待测物体的形态甚至无法察觉到待测的细小物体。传统的人工挑选缺陷产品的方法不仅费时、费力，而且分辨率有限，易疲劳的人眼可能会产生漏检和误检的情况。这一系列的问题必然会导致产品质量的下降和企业运营成本的增加。随着深度学习技术的发展，计算机在图像上的处理技术得到了飞跃。通过非接触式的视觉技术，来解决工业生产线上一系列问题，从而实现工厂工业生产自动化。解决依靠人工所产生的劳动力成本和工人自身主观性对产品缺陷的误判漏判等问题。因此如何快速的检测出产品表面的缺陷来提高产线效率和产品质量成为了亟待解决的问题。由于化纤产品表面缺陷目标相对细小且干扰较大，依赖于传统的机器学习和图像处理方法很难对该类特征进行有效地提取。现有过程在检测化纤产品表面缺陷时，采用人工挑选化纤产品表面缺陷的方法，不仅费时费力，还有可能受到人眼分辨率和缺陷较细小等因素产生的误检漏检问题。
技术实现思路
本专利技术提供一种产品表面缺陷检测方法和装置及设备，用以解决现有技术在进行化纤产品表面缺陷检测时，费时费力、无法检测表面细小缺陷且定位性差的问题。根据本申请实施例的第一方面，提供一种产品表面缺陷检测方法，该方法包括：获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；若是，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。可选地，所述预训练的缺陷检测模型通过以下训练方式生成：初始化包括采样部分和检测部分的网络模型，所述采样部分用于利用滑动窗口对图像进行滑动采样，所述检测部分用于对所述窗口区域进行缺陷检测；获取包括多个样本的样本集，每个样本包括图像及标注的缺陷位置；将所述多个样本中的图像输入到初始化网络模型，根据所述初始化网络模型输出的缺陷位置及标注的缺陷位置，对所述初始化网络模型的参数进行调整，达到训练结束条件时结束参数调整，得到所述预训练的缺陷检测模型。可选地，所述利用滑动窗口对图像进行滑动采样，包括如下至少一个步骤：利用滑动窗口对图像进行水平方向的滑动采样；利用滑动窗口对图像进行竖直方向的滑动采样；利用滑动窗口在水平方向/竖直方向滑动时，按照单位时间内移动固定长度的速度，对图像进行滑动采样，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定。可选地，初始化包括采样部分和检测部分的网络模型，包括如下至少一个步骤：初始化所述采样部分采用的滑动窗口的高度和宽度；初始化所述采样部分采用的滑动窗口的滑动方向；初始化所述采样部分利用滑动窗口在水平方向/竖直方向滑动时，单位时间内移动的固定长度，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定。可选地，根据所述网络模型输出的缺陷位置及标注的缺陷位置，对当前网络模型的参数进行调整，包括：对当前网络模型中采样部分采用的滑动窗口的高度和/或宽度进行调整；对当前网络模型中检测部分的神经网络层参数进行调整。可选地，对当前网络模型的参数进行调整，达到训练结束条件时结束参数调整，包括如下至少一个步骤：根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据所述检测精度进行参数调整，在所述检测精度满足要求时结束参数调整；根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据图像的大小及检测时间确定检测速度，根据所述检测精度和所述检测速度的加权求和值进行参数调整，在所述加权求和值满足要求时结束参数调整。可选地，利用图像分割算法对存在缺陷的窗口区域进行图像分割，包括：在U-Net网络框架的跳跃传输层进行输出运算时，通过注意力机制对来自上采样层的输入xup加入权重系数，得到跳跃传输层的输出xfinal，所述U-Net网络框架包括下采样层、上采样层及连接所述下采样层和上采样层的跳跃传输层。可选地，通过注意力机制对来自上采样层的输入xup加入权重系数，包括：对xconv和xup的关联性进行卷积核大小为1的卷积操作，并通过第一激活函数计算得到所述权重系数，计算公式如下：Watt＝Sigmoid(Conv_1×1(R))其中，Watt为所述权重系数，Sigmoid为所述第一激活函数，Conv_1×1为卷积核为1的卷积操作，xconv为所述跳跃传输层来自下采样层的输入，R为xconv和xup的关联性。确定所述xconv和xup的关联性，包括：分别对xconv和xup进行卷积核大小为1的卷积操作并求和，通过第二激活函数对所述求和结果进行计算，得到xconv和xup的关联性R，计算公式如下：R＝ReLU(Conv_1×1(xconv)+Conv_1×1(xup))其中，ReLU为所述第二激活函数。可选地，获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像，包括：获取图像并输入分类预测模型，其中，利用包括多个图像及标注的缺陷类型的训练样本，将图像作为网络分类模型输入，以输出所述图像的标注的缺陷类型为目标进行模型训练得到所述分类预测模型；根据所述分类预测模型的分类结果，确定所述图像是否为需要检测指定类型缺陷的待检测图像。根据本申请实施例的第二方面，提供一种产品表面缺陷检测装置，该装置包括：确定模块，用于获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；检测模块，用于若确定所述图像为需要检测指定类型缺陷的待检测图像，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；分割模块，用于利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；连接模块，用于通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。可选地，所述检测模块用于，所述预训练的缺陷检测模型通过以下训练方式生成：初始化包括采样部分和检测部分的网络模型，所述采样部分用于利用滑动窗口对图像进行滑动采样，所述检测部分用于对所述窗本文档来自技高网...

【技术保护点】
1.一种产品表面缺陷检测方法，其特征在于，该方法包括：/n获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；/n若是，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；/n利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；/n通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。/n

【技术特征摘要】
1.一种产品表面缺陷检测方法，其特征在于，该方法包括：
获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；
若是，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；
利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；
通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。


2.根据权利要求1所述的方法，其特征在于，所述预训练的缺陷检测模型通过以下训练方式生成：
初始化包括采样部分和检测部分的网络模型，所述采样部分用于利用滑动窗口对图像进行滑动采样，所述检测部分用于对所述窗口区域进行缺陷检测；
获取包括多个样本的样本集，每个样本包括图像及标注的缺陷位置；
将所述多个样本中的图像输入到初始化网络模型，根据所述初始化网络模型输出的缺陷位置及标注的缺陷位置，对所述初始化网络模型的参数进行调整，达到训练结束条件时结束参数调整，得到所述预训练的缺陷检测模型。


3.根据权利要求2所述的方法，其特征在于，所述利用滑动窗口对图像进行滑动采样，包括如下至少一个步骤：
利用滑动窗口对图像进行水平方向的滑动采样；
利用滑动窗口对图像进行竖直方向的滑动采样；
利用滑动窗口在水平方向/竖直方向滑动时，按照单位时间内移动固定长度的速度，对图像进行滑动采样，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定。


4.根据权利要求2所述的方法，其特征在于，初始化包括采样部分和检测部分的网络模型，包括如下至少一个步骤：
初始化所述采样部分采用的滑动窗口的高度和宽度；
初始化所述采样部分采用的滑动窗口的滑动方向；
初始化所述采样部分利用滑动窗口在水平方向/竖直方向滑动时，单位时间内移动的固定长度，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定。


5.根据权利要求2～4任一所述的方法，其特征在于，根据所述网络模型输出的缺陷位置及标注的缺陷位置，对当前网络模型的参数进行调整，包括：
对当前网络模型中采样部分采用的滑动窗口的高度和/或宽度进行调整；
对当前网络模型中检测部分的神经网络层参数进行调整。


6.根据权利要求2～4任一所述的方法，其特征在于，对当前网络模型的参数进行调整，达到训练结束条件时结束参数调整，包括如下至少一个步骤：
根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据所述检测精度进行参数调整，在所述检测精度满足要求时结束参数调整；
根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据图像的大小及检测时间确定检测速度，根据所述检测精度和所述检测速度的加权求和值进行参数调整，在所述加权求和值满足要求时结束参数调整。


7.根据权利要求1所述的方法，其特征在于，利用图像分割算法对存在缺陷的窗口区域进行图像分割，包括：
在U-Net网络框架的跳跃传输层进行输出运算时，通过注意力机制对来自上采样层的输入xup加入权重系数，得到跳跃传输层的输出xfinal，所述U-Net网络框架包括下采样层、上采样层及连接所述下采样层和上采样层的跳跃传...

【专利技术属性】
技术研发人员：崔浩，黄虎，
申请(专利权)人：浙江华睿科技有限公司，
类型：发明
国别省市：浙江;33