一种工业缺陷检测的图像分割方法技术

本发明专利技术公开了一种工业缺陷检测的图像分割方法，首先在异构数据集合上模型学习，经预训练模型中的参数将学习准最佳分布，用于推断过程中的图像数据，利用递归加权模型模型，将信息流中与分类器相关的参数传输到融合迁移模块；然后，通过计算融合迁移模型的广义最大平均差异来构建融合迁移模块的损失函数，实现异构数据的融合学习，递归更新的最优参数，初步传递到双支信息流的右支，完成了异构图像数据集的模型训练监督学习和知识抽取之后，在全局网络中通过知识迁移实现三层次特征抽取的参数最优化。本发明专利技术采用异构数据融合学习进行特征抽取，基于知识抽取与推理，解决了工业缺陷检测在图像语义分割过程中的边界模糊问题、多场景融合分割问题。多场景融合分割问题。多场景融合分割问题。

【技术实现步骤摘要】
一种工业缺陷检测的图像分割方法


[0001]本专利技术涉及一种用于工业缺陷检测异构数据图像语义分割方法，涉及智能制造与机器视觉领域。

技术介绍

[0002]工业生产过程中有大量的检测需求，其中的工业缺陷检测应用场景广泛，包括机械制造、能源化工、钢铁生产等众多行业，传统生产方式中该环节往往采用人工检测的方法，然而人工进行的工业缺陷检测工作量非常大，需要投入巨大的人力物力成本，即使这样人工检测的效果往往也是不尽人意，一方面是效率普遍较低，由于检测者个体的主观评判标准难以统一，导致估计偏差大以及检测品质波动大，结果是工业缺陷检测准确率无法保证。因此采用人工智能算法实现的机器视觉工业缺陷检测，可以显著提升工业生产过程的智能化水平，提升智能制造层级，并且显著提升生产效率和经济效益。
[0003]机器视觉工业缺陷检测的核心技术之一是图像语义分割方法。目前对于自然图像中的图++像分割技术已经达到了令人满意的性能水平，但这些算法模型在面对工业缺陷检测应用场景的时候往往效果欠佳。有采用在滑动窗口设置中训练一个网络，通过提供该像素周围的局部区域作为输入来预测每个像素的类别标签，使网络可以本地化，再以补丁形式的训练数据的数量可以远大于原始训练图像数量，一定程度上提升了算法性能。然而存在两个缺点：第一它非常慢，因为网络必须为每个局部区域单独运行，并且由于重叠局部区域而存在大量冗余。第二在定位准确性和上下文使用之间存在折中，较大的局部区域需要更多的池化层计算，显著降低了定位精度，而选择小局部区域则允许网络只能接收到很少的上下文输入。应用于机器视觉的工业缺陷检测数据集的构建往往费时费力，在不同工业缺陷检测场景中构造的数据集标签种类集合往往不相同，对于这类异构数据集问题目前也没有性能优良的检测方法。

技术实现思路

[0004]本专利技术所要解决的技术问题是针对工业缺陷检测的图像分割方法算法运行慢，数据局部区域存在冗余计算，以及不同工业缺陷检测场景异构数据集不能有效融合的问题。本专利技术提出一种异构数据图像语义分割方法，采用异构数据融合学习进行特征抽取，基于知识抽取与推理，实现高性能上采样扩展复合卷积的图像语义分割方法。
[0005]本专利技术为解决上述技术问题采用以下技术方案：
[0006]本专利技术提出一种工业缺陷检测的图像分割方法，包括步骤：
[0007]步骤S1、异构数据融合学习，具体为：
[0008]S101、构建来自不同工业缺陷检测领域的第一图像数据集合A和第二图像数据集合B，形成工业缺陷检测异构图像数据集；
[0009]S102、异构数据预处理：分别对第一图像数据集合A、第二图像数据集合B进行预处理，提取图像空间维特征，分别获得两个空间特征信息矩阵；
[0010]S103、将步骤S102获得的两个空间特征信息矩阵分别输入两个独立的递归加权模型，执行递归加权操作，输出与两个输入的空间特征信息矩阵分别对应的工业缺陷图像空间特征矩阵；
[0011]S104、通过计算融合迁移模型的广义最大平均差异来构建融合迁移模块的损失函数，将递归加权模型中的加权模型向量进行正则化以优化损失函数的结构，实现异构数据的融合学习，将异构数据融合学习训练得到的参数结果作为预训练模型参数，实现递归加权融合学习；
[0012]步骤S2、不同类型的工业缺陷的实时检测，具体为：
[0013]S201、输入采集的工业缺陷图像至特征抽取模块，完成异构图像数据集知识抽取之后，在特征抽取模块中通过知识迁移实现三层次特征抽取的参数最优化，完成对工业缺陷图像的特征抽取，分别输出三层特征图和其中将第三层输出的特征图通过知识抽取与推理模块，用以预测输入图像是否含有工业缺陷，最后输出特征图
[0014]S202、输入特征图图像分割上采样扩展模块，同时合并特征图和特征图进一步经过通道压缩运算，分别对应输出三类特征图；
[0015]S203、在上采样扩展模块的复合卷积运算单元的每个结果，即产生一个侧输出，由正确标注数据实现对生成的全分辨率特征图执行深度监督学习；
[0016]S204、采用多通道工业缺陷分割实现对原始输入图像的像素级分类，即工业缺陷检测的语义分割，对于N种不同类型的工业缺陷，采用1
×
1卷积实现特征图宽广通道数到通道数N的转换，输出图像分割结果为最多N种工业缺陷的实时检测。
[0017]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0018]本专利技术解决了不同工业缺陷检测场景异构数据集不能有效融合的问题，显著提升工业缺陷检测多场景融合分割算法的性能。使用来自工业缺陷检测不用应用领域的异构图像数据集的知识，通过迁移学习来提高推断数据集上模型的性能。比如，在钢铁厂冷轧镀锌生产线的板材表面缺陷检测任务中，有些缺陷属于各种硬物划痕形态，有些缺陷类型是各种油污形态。那么呈现出来的图像语义上下文特征类型属于异构数据集。为此，我们首先在异构数据集合A和数据集合B上学习模型，在完成预训练之后，模型中的参数将学习准最佳分布，该参数分布可用于推断过程中的图像数据。在这一部分中，利用递归加权模型，将信息流中与分类器相关的参数传输到融合迁移模块；然后，融合迁移模块的损失函数通过计算融合迁移模型的广义最大平均差异来构建，实现异构数据的融合学习，递归更新的最优参数，初步传递到双支信息流的右支，完成了异构图像数据集的模型训练监督学习和知识抽取之后，在全局网络中进一步通过知识迁移实现三层次特征抽取的参数最优化，并且在模型生产部署中推断阶段的参数得到进一步精简，显著提升了模型实时性和运行效率。解决了现有工业缺陷检测的图像分割方法算法运行慢的问题，为了最大限度地减少开销并最大限度地利用GPU内存，我们使用大输入拼贴而不是大批量，从而将批量减少为单个图像，解决了数据局部区域存在冗余计算的问题。
[0019]本专利技术解决工业缺陷检测在图像语义分割过程中的边界模糊问题，不仅能够检测出工业缺陷和瑕疵，而且能够分析缺陷和瑕疵的具体形状和位置，为进一步分析缺陷和瑕疵产生原因提供依据，所以不仅做到检测，还能够实现语义分割。基于异构数据融合迁移实
现了算法利用更少的参数，但能够产生更准确位置感知和边界增强分割图的技术创新。比现有先进算法的参数更少，计算复杂度显著降低，算法推理精度更高。具有普通连接的分割方法和具有嵌套和密集连接的分割方法都缺乏从全尺度探索足够的信息，未能明确地学习器官的位置和边界。本专利技术采用全尺度跨接，和全尺度深度监督学习，减少了过度语义分割，以防止语义分割中的假阳性，就是避免这样的错误：把没有工业缺陷的样例误判为有缺陷。
[0020]综上，本专利技术解决了工业缺陷检测在图像语义分割过程中的边界模糊问题，有效解决工业缺陷检测多场景融合分割问题，并且减少了过度语义分割，避免没有工业缺陷而误判为有缺陷这样的错误出现，有效防止语义分割中的假阳性。
附图说明
[0021]图1是工业缺陷检测异构图像数据集构建示意图。
[0022]图2是异构数据预处理、递归加权模型、融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业缺陷检测的图像分割方法，其特征在于，包括步骤：步骤S1、异构数据融合学习，具体为：S101、构建来自不同工业缺陷检测领域的第一图像数据集合A和第二图像数据集合B，形成工业缺陷检测异构图像数据集；S102、异构数据预处理：分别对第一图像数据集合A、第二图像数据集合B进行预处理，提取图像空间维特征，分别获得两个空间特征信息矩阵；S103、将步骤S102获得的两个空间特征信息矩阵分别输入两个独立的递归加权模型，执行递归加权操作，输出与两个输入的空间特征信息矩阵分别对应的工业缺陷图像空间特征矩阵；S104、通过计算融合迁移模型的广义最大平均差异来构建融合迁移模块的损失函数，将递归加权模型中的加权模型向量进行正则化以优化损失函数的结构，实现异构数据的融合学习，将异构数据融合学习训练得到的参数结果作为预训练模型参数，实现递归加权融合学习；步骤S2、不同类型的工业缺陷的实时检测，具体为：S201、输入采集的工业缺陷图像至特征抽取模块，完成异构图像数据集知识抽取之后，在特征抽取模块中通过知识迁移实现三层次特征抽取的参数最优化，完成对工业缺陷图像的特征抽取，分别输出三层特征图和其中将第三层输出的特征图通过知识抽取与推理模块，用以预测输入图像是否含有工业缺陷，最后输出特征图S202、输入特征图图像分割上采样扩展模块，同时合并特征图和特征图进一步经过通道压缩运算，分别对应输出三类特征图；S203、在上采样扩展模块的复合卷积运算单元的每个结果，即产生一个侧输出，由正确标注数据实现对生成的全分辨率特征图执行深度监督学习；S204、采用多通道工业缺陷分割实现对原始输入图像的像素级分类，即工业缺陷检测的语义分割，对于N种不同类型的工业缺陷，采用1
×
1卷积实现特征图宽广通道数到通道数N的转换，输出图像分割结果为最多N种工业缺陷的实时检测。2.根据权利要求1所述的一种工业缺陷检测的图像分割方法，其特征在于：步骤S101中，针对异构数据集，即来自不同工业缺陷检测领域的第一图像数据集合A和第二图像数据集合B，其中第一图像数据集合A包含U种不同类型工业缺陷特征，第二图像数据集合B包含另外V种不同类型工业缺陷特征，第一图像数据集合A和第二图像数据集合B具有共同的W种不同类型工业缺陷特征。3.根据权利要求2所述的一种工业缺陷检测的图像分割方法，其特征在于：步骤S102具体为：(1)对第一图像数据集合A进行预处理提取图像空间维特征：提取在空间维上的RGB信息，通过深度神经网络模型，分别针对具有RGB三通道信息的原始图像，使用预训练的密集网络DenseNet直接执行空间特征提取任务，输出是对应的s维向量，给定图像数据每个分组包含G幅图像，输出G个s维矢量，并依次形成s
×
G矩阵，表示为的矩阵，将其命名为空间特征提取器(2)采用与步骤(1)相同的方法，对第二图像数据集合B进行预处理提取图像空间维特
征，得到输出t维向量，给定图像数据每个分组包含G幅图像，输出G个t维矢量，并依次形成t
×
G矩阵，表示为的矩阵，将其命名为空间特征提取器4.根据权利要求3所述的一种工业缺陷检测的图像分割方法，其特征在于：在步骤S103中，将步骤S102获得的两个空间特征信息矩阵分别输入两个独立的递归加权模型，并且输出结果是与输入的空间特征信息矩阵分别对应的信息矩阵矩阵这两个输出信息矩阵分别表示为和递归加权模型结构包括左右两支信息流分别对应数据集A和数据集B，每支信息流的递归加权模型结构都是相同的，使用相同激活函数tanh，即双曲正切函数，表达式为：tanh(x)＝(e
x
‑
e
‑
x
)/(e
x
+e
‑
x
)。5.根据权利要求4所述的一种工业缺陷检测的图像分割方法，其特征在于：对于数据集A的左支信息流处理过程为：将输入的数据依次通过膨胀卷积层DC11、激活函数运算单元、膨胀卷积层DC12和指数线性单元ELU，其中膨胀卷积层DC11，对应于参数a,c为可配置的超参数；激活函数为tanh；膨胀卷积层DC12，对应参数指数线性单元输出产生加权模型向量V
S
，其中，其中操作关系如下：再将分别乘以空间特征矩阵的矩阵，得到递归加权空间特征矩阵其中其中其中表示实数集；对于数据集B的右支信息流处理过程，结构与左支信息流处理过程相同：数据输入通过膨胀卷积层DC21、激活函数运算单元、膨胀卷积层DC22和指数线性单元；其中膨胀卷积层DC21，对应的参数b为可配置的超参数，激活函数为tanh，膨胀卷积层的DC22，对应参数指数线性单元输出产生加权模型向量V
T
，其中操作关系如下：再将分别乘以时间特征矩阵以获得注意力时间特征矩阵其中通过上述操作获得的工业缺陷图像空间特征矩阵和特征矩阵执行递归加权操作，基于下式用于计算训练阶段的损失函数，表示为应用于工业缺陷特征识别：其中T表示实矩阵转置，P
i
,Q
i
分别表示膨胀卷积层中的计算矢量和矩阵参数，i＝1,2,...M；在模型训练过程中得到优化，符号运算||是指将多个列向量依次并排组合成矩阵，将空间特征列向量并排组合以获得k
×
2矩阵，其中k是工业缺陷特征识别的分类数。6.根据权利要求5所述的一种工业缺陷检测的图像分割方法，其特征在于：步骤S104具体为...

【专利技术属性】
技术研发人员：曹东，
申请(专利权)人：无锡东如科技有限公司，
类型：发明
国别省市：