基于属性语义分离的缺陷图像生成方法和系统、存储介质技术方案

基于属性语义分离的缺陷图像生成方法和系统、存储介质，该方法包括：获取缺陷图像和待生成图像，以及缺陷图像的一个或多个属性的缺陷标注数据；分别使用每个属性的缺陷标注数据对缺陷图像进行掩码操作得到每个属性的缺陷源图像；获取待生成图像的骨架信息，将缺陷源图像、待生成图像的骨架信息输入训练好的缺陷图像生成模型中进行融合获得缺陷合成图像。通过设置各缺陷属性的标注数据，可构建符合该缺陷属性分布特点的缺陷合成图像；通过输入具有不同骨架形态的待生成图像，能够有效拓展缺陷的形态。综上所述，本发明专利技术的技术方案，能够生成具有较强随机性和差异性的缺陷图像，丰富深度学习的训练样本。学习的训练样本。学习的训练样本。

【技术实现步骤摘要】
基于属性语义分离的缺陷图像生成方法和系统、存储介质


[0001]本专利技术涉及图像处理
，具体涉及基于属性语义分离的缺陷图像生成方法和系统、存储介质。

技术介绍

[0002]随着深度学习的发展和普及，这项技术已经被应用到了越来越多的领域，例如在物体的缺陷检测方面，深度学习已发挥着重要作用。然而现在的深度学习和人类智能仍然有着显著的差异，例如在缺陷检测的过程中，存在很多小的缺陷需要检测，小的缺陷和噪声干扰导致的图像看上去很相似，导致检测过程中存在很多过检。又如图片分类，人类可以从很少的图片中抽象出一个新的概念，假设人类不知道拉布拉多和柯基这两种狗的特征差别，但在看过几张拉布拉多和柯基的图片之后，就可以快速分辨后续图片中的拉布拉多和柯基，甚至可以不看图片就得到新的概念，比如告诉一个人条纹马叫做斑马，那么后续他就能够分辨出斑马这种马，而深度学习无法达到如此高的智能。现有的常见的深度学习模型都需要大量的样本图像来进行训练，通过大量的学习才能实现较为准确的检测和识别。
[0003]然而对于缺陷检测，在工业生产过程中，缺陷样本收集困难、代价大，导致缺陷样本少，使得深度学习训练的精度和鲁棒性的提高变得非常困难。如果训练使用的样本图像的数量减少，仅使用少量的样本图像进行训练，则深度学习和人类智能的差距会增大很大一部分，并且由于样本图像的数量对于深度学习来说太少了，很容易造成过拟合。

技术实现思路

[0004]本专利技术提供一种基于属性语义分离的缺陷图像生成方法和系统，以及存储介质，主要解决对于缺陷检测的深度学习，在训练过程中训练样本缺乏的技术问题。
[0005]根据第一方面，一种实施例中提供一种基于属性语义分离的缺陷图像生成方法，包括：
[0006]获取缺陷图像和待生成图像，以及所述缺陷图像的一个或多个属性的缺陷标注数据；
[0007]分别使用每个属性的缺陷标注数据对所述缺陷图像进行掩码操作，得到每个属性的缺陷源图像；
[0008]获取所述待生成图像的骨架信息；
[0009]将所述缺陷源图像、所述待生成图像的骨架信息输入训练好的缺陷图像生成模型中获得缺陷合成图像；
[0010]其中所述缺陷图像生成模型包括第一支路和第二支路，所述第一支路为一特征提取网络，所述第二支路为一属性特征图像生成网络，所述将所述缺陷源图像、所述待生成图像的骨架信息输入训练好的缺陷图像生成模型中获得缺陷合成图像，包括：
[0011]分别将每个属性的缺陷源图像输入第一支路，通过特征提取网络进行特征提取，以得到相应的缺陷属性特征图，将各缺陷属性特征图进行融合得到多属性缺陷特征图；
[0012]将所述待生成图像的骨架信息和所述多属性缺陷特征图输入第二支路，通过属性特征图像生成网络对所述骨架信息进行位置特征编码得到骨架特征图，将所述骨架特征图与所述多属性缺陷特征图进行基于属性特征迁移的特征融合得到融合特征图，利用所述融合特征图进行图像重建，获得缺陷合成图像。
[0013]一种实施例中，所述特征提取网络包括第一特征提取支路和第二特征提取支路，所述第一特征提取支路为采用公共数据集预训练的特征提取网络，其参数在训练阶段保持不变，所述第二特征提取支路为采用样本图像集训练的特征提取网络，所述第一特征提取支路和所述第二特征提取支路结构相同，所述第一特征提取支路每一网络层的输出与所述第二特征提取支路对应网络层的输出进行通道拼接后作为下一网络层的输入；
[0014]所述分别将每个属性的缺陷源图像输入第一支路进行特征提取，以得到相应的缺陷属性特征图，包括：对于每个属性的缺陷源图像，分别将其输入所述第一特征提取支路和所述第二特征提取支路，将所述第一特征提取支路和所述第二特征提取支路输出的特征图进行通道拼接，之后进行平均池化得到相应的缺陷属性特征图。
[0015]一种实施例中，所述将各缺陷属性特征图进行融合得到多属性缺陷特征图，包括：将各缺陷属性特征图进行通道拼接后，经1
×
1卷积运算后得到多属性缺陷特征图。
[0016]一种实施例中，所述第二支路为由位置特征编码器、属性特征嵌入模块、注意力模块和解码器组成的卷积神经网络，所述将所述待生成图像的骨架信息和所述多属性缺陷特征图输入第二支路，通过属性特征图像生成网络对所述骨架信息进行位置特征编码得到骨架特征图，将所述骨架特征图与所述多属性缺陷特征图进行基于属性特征迁移的特征融合得到融合特征图，利用所述融合特征图进行图像重建，获得缺陷合成图像，包括：
[0017]将所述骨架信息输入所述位置特征编码器中进行位置特征提取以得到骨架特征图；
[0018]将所述骨架特征图和所述多属性缺陷特征图输入所述属性特征嵌入模块以进行属性特征迁移，得到属性嵌入特征图；
[0019]将所述属性嵌入特征图输入所述注意力模块进行特征增强处理，得到融合特征图；
[0020]将所述融合特征图输入所述解码器进行图像重建，获得缺陷合成图像。
[0021]一种实施例中，所述属性特征嵌入模块包括一个或多个属性特征嵌入子模块，每个属性特征嵌入子模块包括依次连接的第一卷积层、第一AdaIN运算层、激活层、第二卷积层和第二AdaIN运算层，所述第一AdaIN运算层用于对所述第一卷积层的输出特征图和所述多属性缺陷特征图进行AdaIN运算，所述第二AdaIN运算层用于对所述第二卷积层的输出特征图和所述多属性缺陷特征图进行AdaIN运算；
[0022]每个属性特征嵌入子模块的输入为上一个属性特征嵌入子模块的输出和所述多属性缺陷特征图，其中第一个属性特征嵌入子模块的输入为所述骨架特征图和所述多属性缺陷特征图；每个属性特征嵌入子模块的输出为所述第二AdaIN运算层的输出与上一个属性特征嵌入子模块的输出相加的结果，最后一个属性特征嵌入子模块的输出作为所述属性嵌入特征图。
[0023]一种实施例中，所述注意力模块包括组合网络层、第四卷积层、第二Sigmoid运算层、第五卷积层和第三Sigmoid运算层，所述组合网络层包括依次连接的第三卷积层、批处
理层和第一Sigmoid运算层；
[0024]所述将所述属性嵌入特征图输入所述注意力模块进行特征增强处理，得到融合特征图，包括：
[0025]对所述属性嵌入特征图分别执行X方向的平均池化和Y方向的平均池化，对所获得的两个池化特征图进行拼接后输入所述组合网络层进行处理，得到第一中间特征图；
[0026]对所述第一中间特征图按通道进行分离，得到第二中间特征图和第三中间特征图；
[0027]将所述第二中间特征图依次经所述第四卷积层、所述第二Sigmoid运算层进行处理得到第一注意力图，将所述第三中间特征图依次经所述第五卷积层、所述第三Sigmoid运算层进行处理得到第二注意力图；
[0028]对所述第一注意力图、所述第二注意力图和所述属性嵌入特征图进行像素级乘法得到所述融合特征图。
[0029]一种实施例中，所述解码器的输出包括所述缺陷合成图像和一评分矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于属性语义分离的缺陷图像生成方法，其特征在于，包括：获取缺陷图像和待生成图像，以及所述缺陷图像的一个或多个属性的缺陷标注数据；分别使用每个属性的缺陷标注数据对所述缺陷图像进行掩码操作，得到每个属性的缺陷源图像；获取所述待生成图像的骨架信息；将所述缺陷源图像、所述待生成图像的骨架信息输入训练好的缺陷图像生成模型中获得缺陷合成图像；其中所述缺陷图像生成模型包括第一支路和第二支路，所述第一支路为一特征提取网络，所述第二支路为一属性特征图像生成网络，所述将所述缺陷源图像、所述待生成图像的骨架信息输入训练好的缺陷图像生成模型中获得缺陷合成图像，包括：分别将每个属性的缺陷源图像输入第一支路，通过特征提取网络进行特征提取，以得到相应的缺陷属性特征图，将各缺陷属性特征图进行融合得到多属性缺陷特征图；将所述待生成图像的骨架信息和所述多属性缺陷特征图输入第二支路，通过属性特征图像生成网络对所述骨架信息进行位置特征编码得到骨架特征图，将所述骨架特征图与所述多属性缺陷特征图进行基于属性特征迁移的特征融合得到融合特征图，利用所述融合特征图进行图像重建，获得缺陷合成图像。2.如权利要求1所述的缺陷图像生成方法，其特征在于，所述特征提取网络包括第一特征提取支路和第二特征提取支路，所述第一特征提取支路为采用公共数据集预训练的特征提取网络，其参数在训练阶段保持不变，所述第二特征提取支路为采用样本图像集训练的特征提取网络，所述第一特征提取支路和所述第二特征提取支路结构相同，所述第一特征提取支路每一网络层的输出与所述第二特征提取支路对应网络层的输出进行通道拼接后作为下一网络层的输入；所述分别将每个属性的缺陷源图像输入第一支路进行特征提取，以得到相应的缺陷属性特征图，包括：对于每个属性的缺陷源图像，分别将其输入所述第一特征提取支路和所述第二特征提取支路，将所述第一特征提取支路和所述第二特征提取支路输出的特征图进行通道拼接，之后进行平均池化得到相应的缺陷属性特征图。3.如权利要求1或2所述的缺陷图像生成方法，其特征在于，所述将各缺陷属性特征图进行融合得到多属性缺陷特征图，包括：将各缺陷属性特征图进行通道拼接后，经1
×
1卷积运算后得到多属性缺陷特征图。4.如权利要求1所述的缺陷图像生成方法，其特征在于，所述第二支路为由位置特征编码器、属性特征嵌入模块、注意力模块和解码器组成的卷积神经网络，所述将所述待生成图像的骨架信息和所述多属性缺陷特征图输入第二支路，通过属性特征图像生成网络对所述骨架信息进行位置特征编码得到骨架特征图，将所述骨架特征图与所述多属性缺陷特征图进行基于属性特征迁移的特征融合得到融合特征图，利用所述融合特征图进行图像重建，获得缺陷合成图像，包括：将所述骨架信息输入所述位置特征编码器中进行位置特征提取以得到骨架特征图；将所述骨架特征图和所述多属性缺陷特征图输入所述属性特征嵌入模块以进行属性特征迁移，得到属性嵌入特征图；将所述属性嵌入特征图输入所述注意力模块进行特征增强处理，得到融合特征图；
将所述融合特征图输入所述解码器进行图像重建，获得缺陷合成图像。5.如权利要求4所述的缺陷图像生成方法，其特征在于，所述属性特征嵌入模块包括一个或多个属性特征嵌入子模块，每个属性特征嵌入子模块包括依次连接的第一卷积层、第一AdaIN运算层、激活层、第二卷积层和第二AdaIN运算层，所述第一AdaIN运算层用于对所述第一卷积层的输出特征图和所述多属性缺陷特征图进行AdaIN运算，所述第二AdaIN运算层用于对所述第二卷积层的输出特征图和所述多属性缺陷特征图进行AdaIN运算；每个属性特征嵌入子模块的输入为上一个属性特征嵌入子模块的输出和所述多属性缺陷特征图，其中第一个属性特征嵌入子模块的输入为所述骨架特征图和所述多属性缺陷特征图；每个属性特征嵌入子模块的输出为所述第二AdaIN运算层的输出与上一个属性特征嵌入子模块的输出相加的结果，最后一个属性特征嵌入子模块的输出作为所述属性嵌入特征图。6.如权利要求5所述的缺陷图像生成方法，其特征在于，所述AdaIN运算的公式为：其中x表示所述第一卷积层或所述第二卷积层的输出特征图，y表示所述多属性缺陷特征图，μ(x)、μ(y)分别表示特征图x各通道的均值组成的均值向量、多属性缺陷特征图各通道的均值组成的均值向量，σ(x)、σ(y)分别表示特征图x各通道的标准差组成的标准差向量、多属性缺陷特征图各通道的标准差组成的标准差向量，公式中特征图x与各均值向量、标准差向量的运算，表示的是特征图x各通道的每个像素与对应通道的均值、标准差的运算。7.如权利要求4所述的缺陷图像生成方法，其特征在于，所述注意力模块包括组合网络层、第四卷积层、第二Sigmoid运算层、第五卷积层和第三Sigmoid运算层，所述组合网络层包括依次连接的第三卷积层、批处理层和第一Sigmoid运算层；所...

【专利技术属性】
技术研发人员：杨洋，黄淦，黄涛，翟爱亭，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：