一种基于无监督生成式的彩涂板表面缺陷检测方法和装置制造方法及图纸

本申请适用于彩涂板检测技术领域，提供了一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。该方法包括：通过线阵相机采集彩涂板的待识别图像；从待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别有效区域的彩涂板花纹类型；基于无缺陷的图像样本搭建CFLOW模型，并对CFLOW模型进行训练得到缺陷检测模型；根据彩涂板花纹类型和有效区域，利用缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；基于缺陷区域坐标从待识别图像中提取缺陷区域，将缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。本申请相较于传统基于图像特征如边缘提取等方法，具有较强的抗干扰能力和较高的缺陷检出率。强的抗干扰能力和较高的缺陷检出率。强的抗干扰能力和较高的缺陷检出率。

【技术实现步骤摘要】
一种基于无监督生成式的彩涂板表面缺陷检测方法和装置


[0001]本申请属于彩涂板检测
，尤其涉及一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。

技术介绍

[0002]随着社会的发展，彩涂板的需求总量越来越高，彩涂板的质量要求也越来越高。随着汽车、家电等消费产业的发展，不断提高的彩涂板表面质量要求使得彩涂板表面质量问题日渐突出。据统计，近些年来彩涂板生产企业和用户间发生的质量异议和质量投诉，绝大多数都与表面质量有关。因此，无论是彩涂板生产企业，还是彩涂板用户，对彩涂板的表面质量检测都极为重视。
[0003]近年来，通过机器视觉和人工智能方法进行带钢的表面缺陷检测成为工业质检领域研究重点和发展趋势之一。然而，将上述方法应用于对彩涂板表面缺陷进行检测时主要存在以下两个挑战：
[0004](1)如何降低彩涂板花纹图案、颜色对缺陷检测的影响，提升检测精度。传统基于图像特征的缺陷检测方法，在遇到彩涂花纹图案、深浅不一的颜色时，由于花纹图案等对边缘信息产生强干扰，导致传统方法在彩涂板缺陷检测时效果很差，无法精准的检测出表面缺陷。
[0005](2)如何提升彩涂板缺陷检测的速度，达到彩涂产线缺陷实时检测。由于彩涂板表面缺陷通常非常小，所以需要检测精度极高，例如可以采用线阵相机进行图像采集，而线阵相机的分辨率通常在4K以上，每秒产生的图像数据量极大，因此需要高效的彩涂板缺陷检测方法在极短时间内完成彩涂板表面图像的检测处理，对于彩涂产线实时缺陷检测是十分必要的。

技术实现思路

[0006]为克服相关技术中存在的问题，本申请实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。
[0007]本申请是通过如下技术方案实现的：
[0008]第一方面，本申请实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测方法，包括：
[0009]通过线阵相机采集彩涂板的待识别图像；
[0010]从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；
[0011]基于无缺陷的图像样本搭建CFLOW模型，并对所述CFLOW模型进行训练得到缺陷检测模型，所述CFLOW模型包括encoder模块和decoder模块；
[0012]根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；
[0013]基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。
[0014]上述基于无监督生成式的彩涂板表面缺陷检测方法，应用彩涂板花纹图案分类模型进行彩涂板花纹类型的确定，再通过缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，相较于传统基于图像特征如边缘提取等方法由于花纹图案和颜色的强干扰影响存在的缺陷检测效果较差的问题，本申请实施例在彩涂板拉丝花纹、星光斑点等图案和深浅不同颜色的情况下，抗干扰能力较强并能够保证较高的缺陷检出率。
[0015]结合第一方面，在一些实施例中，所述从所述待识别图像中提取有效区域，包括：
[0016]从所述待识别图像的图像矩阵中选择多个行向量和多个列向量；
[0017]计算所述多个行向量的行均值向量，以及所述多个列向量的列均值向量；
[0018]根据有效区域阈值、所述行均值向量和所述列均值向量，确定有效区域的坐标。
[0019]结合第一方面，在一些实施例中，所述通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型，包括：
[0020]按照所述有效区域的坐标从所述图像矩阵中提取得到有效区域矩阵；
[0021]将所述有效区域矩阵转换为维度大小为(c,w,h)的预测矩阵，c、w、h分别为矩阵通道数、宽和高；
[0022]将所述预测矩阵输入彩涂板花纹图案分类模型中，输出所述有效区域的彩涂板花纹类型。
[0023]结合第一方面，在一些实施例中，所述基于无缺陷的图像样本搭建CFLOW模型，并对所述CFLOW模型进行训练得到缺陷检测模型，包括：
[0024]采样无缺陷彩涂板不同花纹图案的第一图像样本，采样带有缺陷彩涂板不同花纹图案的第二图像样本；
[0025]构建ResNet18分类网络并基于所述第一图像样本和所述第二图像样本进行分类训练，用于替换CFLOW模型中的encoder ImageNet预训练权重；
[0026]采用FrEIA框架构建8组可联结的可逆子网络，得到CFLOW模型的decoder模块。
[0027]结合第一方面，在一些实施例中，所述根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，包括：
[0028]将所述待识别图像输入到CFLOW模型的encoder模块，提取第二特征层、第三特征层和第四特征层的特征向量；
[0029]生成位置无关条件向量C，所述位置无关条件向量C中的每个元素根据其所处位置，由正弦或余弦公式计算出且计算值各自不相关；
[0030]将所述第二特征层、第三特征层、第四特征层的特征向量和所述位置无关条件向量C分别输入到CFLOW模型的decoder模块，输出得到：
[0031][0032]其中u
i
＝g
‑1(z
i
,c
i
,θ),是decoder模块中的可逆网络输出的两个输出，为特征向量，为所述位置无关条件向量，D为输入特征层的通道数，z
i
为decoder网络输出的潜在输出变量第i个值，c
i
为条件向量的第i个值，为网络参数；
[0033]在CFLOW模型的推理阶段，采用公式进行0
‑
1区间映射，k表示特征层索引号；
[0034]对进行上采样，将还原到与所述图像矩阵的高和宽相同的向量，将第二特征层、第三特征层和第四特征层相加，得到最终Score Map图；
[0035]根据异常阈值对Score Map图进行二值化，得到二值化特征矩阵；
[0036]对所述二值化特征矩阵进行最大连通区域求解，计算出缺陷区域坐标。
[0037]结合第一方面，在一些实施例中，在CFLOW模型的训练阶段，其损失函数为：N为|det J
i
|的向量长度；
[0038]所述二值化特征矩阵M
mask
为：anormal_threshold为所述异常阈值；
[0039]所述缺陷区域坐标D
loc
为：d∈d
num
，x1,y1,x2,y2分别表示缺陷框左上和右下角的顶点坐标，d
num
表示缺陷数量。
[0040]结合第一方面，在一些实施例中，所述基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别，包括：...

【技术保护点】

【技术特征摘要】
1.一种基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，包括：通过线阵相机采集彩涂板的待识别图像；从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；基于无缺陷的图像样本搭建CFLOW模型，并对所述CFLOW模型进行训练得到缺陷检测模型，所述CFLOW模型包括encoder模块和decoder模块；根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。2.如权利要求1所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述从所述待识别图像中提取有效区域，包括：从所述待识别图像的图像矩阵中选择多个行向量和多个列向量；计算所述多个行向量的行均值向量，以及所述多个列向量的列均值向量；根据有效区域阈值、所述行均值向量和所述列均值向量，确定有效区域的坐标。3.如权利要求2所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型，包括：按照所述有效区域的坐标从所述图像矩阵中提取得到有效区域矩阵；将所述有效区域矩阵转换为维度大小为(c,w,h)的预测矩阵，c、w、h分别为矩阵通道数、宽和高；将所述预测矩阵输入彩涂板花纹图案分类模型中，输出所述有效区域的彩涂板花纹类型。4.如权利要求3所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述基于无缺陷的图像样本搭建CFLOW模型，并对所述CFLOW模型进行训练得到缺陷检测模型，包括：采样无缺陷彩涂板不同花纹图案的第一图像样本，采样带有缺陷彩涂板不同花纹图案的第二图像样本；构建ResNet18分类网络并基于所述第一图像样本和所述第二图像样本进行分类训练，用于替换CFLOW模型中的encoder ImageNet预训练权重；采用FrEIA框架构建8组可联结的可逆子网络，得到CFLOW模型的decoder模块。5.如权利要求4所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，包括：将所述待识别图像输入到CFLOW模型的encoder模块，提取第二特征层、第三特征层和第四特征层的特征向量；生成位置无关条件向量C，所述位置无关条件向量C中的每个元素根据其所处位置，由正弦或余弦公式计算出且计算值各自不相关；将所述第二特征层、第三特征层、第四特征层的特征向量和所述位置无关条件向量C分别输入到CFLOW模型的decoder模块，输出得到：
其中是decoder模块中的可逆网络输出的两个输...

【专利技术属性】
技术研发人员：郝亮，韩建辉，陈云朋，郭强，夏鹏飞，潘志威，王钊哲，李宏鹏，王建业，
申请(专利权)人：青岛河钢新材料科技股份有限公司，
类型：发明
国别省市：