一种基于条件式生成对抗网络的铸件缺陷图像生成方法技术

本发明专利技术公开了一种基于条件式生成对抗网络的铸件缺陷图像生成方法，该方法基于条件式生成对抗网络的控制生成图像内容的能力，利用已有的铸件缺陷数据集，生成大量的多样性较高的有效图像，即生成对抗网络的铸件缺陷图像。该方法采用标注图像作为约束条件，控制生成样本的内容，提高生成样本的多样性；且通过改变约束条件图像的灰度标签，即可生成不同种类的缺陷图像，无需为每一种缺陷单独设计生成算法。在生成模型的损失计算中加入深度特征损失，克服只使用图像逐像素间的L1损失造成的图像模糊问题，使生成的图像更清晰，更加符合人眼的主观感受。

【技术实现步骤摘要】
一种基于条件式生成对抗网络的铸件缺陷图像生成方法
本专利技术属于铸件缺陷自动识别及缺陷图像生成领域，具体涉及一种基于条件式生成对抗网络的铸件缺陷图像生成方法。
技术介绍
由于铸件结构，铸造工艺，铸造材料等多种因素的影响，铸件不可避免地会出现各种各样的缺陷。为了保证铸件满足使用需求，必须对其进行适当的检测，最常见的检测方式是通过射线检测的方法获取铸件内部图像以判断是否存在缺陷。对于铸件是否存在缺陷，主要有两种判断方式：人工检测和自动检测。自动检测是指利用图像算法对图像中的缺陷进行自动判断，具有客观、高效等优点。目前利用深度学习技术对缺陷进行自动识别是主要的发展趋势，虽然深度学习技术相比于传统识别算法具有更好的准确性和鲁棒性，但是其需要大量的缺陷样本进行监督训练，样本的数量会限制算法的性能。尤其对于铸件检测而言，某些类型的缺陷较难获取，这种现象会引起数据不平衡问题，进而影响缺陷检测的精度，因此需要一种铸件缺陷图像的生成方法，生成高质量、高分辨率、高多样性的缺陷图像，以克服数据不平衡问题，提高铸件缺陷检测的准确性。目前存在的铸件缺陷图像生成方法主要是有两种方法：(1)基于三维CAD的方法利用三维CAD工具设计铸件和缺陷的三维结构，通过射线衰减的经验公式，模拟生成缺陷部分的图像，该方法的不足之处在于人工设计的铸件和缺陷的三维结构多样性较差且生成图像所基于的射线衰减公式并不完全准确，导致图像的真实感不强。(2)基于人工设计特征的图像叠加方法该方法利用人工设计的特征，如灰度，纹理等，生成缺陷的形状轮廓和内部图像的表征，并将图像与无缺陷背景进行融合叠加。该方法的不足之处在于基于人工设计的特征图像多样性不高；对于不同的缺陷需要设计不同的缺陷生成算法；只能利用现有的无缺陷背景,无法生成多样性的背景等。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于条件式生成对抗网络的铸件缺陷图像生成方法，利用条件式生成对抗网络的控制生成图像内容的能力，该方法能够利用已有的铸件缺陷数据集，生成大量的多样性较高的有效图像，满足深度学习对大量样本的需求，提高铸件缺陷图像识别的准确率。为实现上述目的，本专利技术的技术方案具体如下：一种基于条件式生成对抗网络的铸件缺陷图像生成方法，该方法基于条件式生成对抗网络的控制生成图像内容的能力，利用已有的铸件缺陷数据集，生成大量的多样性较高的有效图像，即生成对抗网络的铸件缺陷图像。基于条件式生成对抗网络的铸件缺陷图像生成方法具体步骤如下：(1)面向铸件缺陷图像生成的铸件缺陷图像数据集的建立；(2)构造一种条件式生成对抗网络，网络框架包括生成模型和辨别模型；(3)训练条件式生成对抗网络：交替训练判别模型和生成模型；(4)利用训练好的网络模型生成铸件缺陷图像：训练完成后，将任意的标注图像输入生成模型，该模型输出对应的的生成图像，即生成的虚拟铸件缺陷图像。所述步骤(1)具体为：基于工业DR检测系统，采集典型铸件的数字图像，标注出图像中的缺陷区域，铸件缺陷图像作为训练数据集，对应的标注出缺陷区域的图像作为约束条件，标注图像中不同种类的缺陷由不同的灰度进行表示，铸件缺陷图像作为训练数据集，对应的标注出缺陷区域的图像作为约束条件，并将图像的分辨率统一至相同大小。所述步骤(2)中生成模型，包括卷积核大小为4×4的卷积模块，数量为64，步长为2，填充一圈0像素，微步幅度卷积，生成网络分为编码和解码两部分结构，均采用4×4的卷积核进行操作，步长设置为2，沿图像边缘填充一层0像素。先使输入图像下采样成1×1×1×512的张量，再上采样回原图尺寸大小。通过卷积模块将浅层次特征与深层特征进行拼接，利用浅层信息，并缓解低层次特征与高层次特征之间存在的语义差异。所述步骤(2)中辨别模型，采用PatchGAN结构，1到3层卷积层的卷积核的大小为4×4，卷积核数量分别为64、128和256，步长均为2，均沿图像边缘填充一层像素。后两层卷积层的卷积核的大小为4×4，数量分别为512和1，步长均为1，均沿图像边缘填充一层像素。最终输出30×30×1的特征图，每个值对应原图的局部区域，判别图像中的这些局部区域的真假，再将判别结果取平均作为损失，使用局部判别的方法会使参数的数量大规模缩减，提升训练的效率。所述的卷积模块分为两个分支，将上一层的输出分别用1×1的卷积核和3×3的卷积核进行卷积操作，采用不同的卷积核尺寸可以获取不同的感受野，得到不同尺度的特征，加强网络对多尺度的适应性，提高网络的学习能力。为减少训练的参数量，在用3×3卷积核进行卷积操作之前用1×1的卷积核进行降维，之后用1×1的卷积核进行升维，保证编码层经过卷积模块路径之后的输出维度不变，即与对应拼接的解码层的特征图尺寸相同。既满足充分利用浅层网络信息的要求，又控制了参数的数量。所述步骤(3)训练条件式生成对抗网络：交替训练判别模型和生成模型，训练判别模型时生成模型权值固定，反之亦然，损失值收敛时训练中止，此时判别模型无法区分输入的图像是否为真实图像。条件式生成对抗网络的目标函数为其中G表示生成模型，D表示判别模型，x表示输入的真实图像，c表示标注图像，即约束条件，G(c)表示生成图像，LA表示深度特征损失与L1损失的和。训练生成模型：输入生成模型是铸件原始图像对应的约束条件，即对应的标注图像。经生成模型前向传播即可输出一张虚拟的射线图像，计算虚拟图像与真实图像间的特征损失与L1损失之和，通过反向传播算法更新生成模型参数。训练判别模型：输入判别模型的是成对数据，判别模型除了判别输入数据x是否真实，还需判别x与条件c是否匹配。从数据集中随机选取一对图像，即一张缺陷图像和一张标注图像，将标注图像图像输入生成模型，输出结果为生成图像。将标注图像和生成图像拼接后输入判别模型，输出结果代入交叉熵损失函数ylogp(y＝1|x)+(1-y)logp(y＝0|x)，计算损失值，通过反向传播算法计算判别模型的梯度并更新参数。所述步骤(3)训练中，采用Adam算法，生成模型的损失值由交叉熵损失函数和特征损失计算求得，并使用L1正则化约束参数，深度特征损失即计算生成图像和真实图像的深度特征的L1距离，将生成图像和真实图像分别输入经过预训练的固定参数的VGG19网络，输出每层卷积层后的特征图，分别计算各层特征图之间的L1距离。所述仅在更新生成模型的参数时使用，其中F(i)代表VGG19网络的第i层卷积层的输出含有Mi个元素，N为卷积层的数量，α和β为超参数，根据具体情况调节，实验过程中分别设置为0.2和0.3。本专利技术的有益效果：1.该方法采用标注图像作为约束条件，控制生成样本的内容，提高生成样本的多样性；且通过改变约束条件图像的灰度标签，即可生成不同种类的缺陷图像，无需为每一种缺陷单独设计生成算法。2.该方法的生成模型中的卷积模块采用了两个分支，不同的卷积核尺寸，不同的感受野，不同尺度的特征，加强了网络对多尺度的适应性，提高网络的学习本文档来自技高网...

【技术保护点】
1.一种基于条件式生成对抗网络的铸件缺陷图像生成方法，其特征在于：该方法基于条件式生成对抗网络的控制生成图像内容的能力，利用已有的铸件缺陷数据集，生成大量的多样性较高的有效图像，即生成对抗网络的铸件缺陷图像。/n

【技术特征摘要】
1.一种基于条件式生成对抗网络的铸件缺陷图像生成方法，其特征在于：该方法基于条件式生成对抗网络的控制生成图像内容的能力，利用已有的铸件缺陷数据集，生成大量的多样性较高的有效图像，即生成对抗网络的铸件缺陷图像。


2.根据权利要求1所述的基于条件式生成对抗网络的铸件缺陷图像生成方法，其特征在于：基于条件式生成对抗网络的铸件缺陷图像生成方法具体步骤如下：
(1)面向铸件缺陷图像生成的铸件缺陷图像数据集的建立；
(2)构造一种条件式生成对抗网络，网络框架包括生成模型和辨别模型；
(3)训练条件式生成对抗网络：交替训练判别模型和生成模型；
(4)利用训练好的网络模型生成铸件缺陷图像。


3.根据权利要求2所述的基于条件式生成对抗网络的铸件缺陷图像生成方法，其特征在于，所述步骤(1)具体为：采集典型铸件的数字图像，标注出图像中的缺陷区域，铸件缺陷图像作为训练数据集，对应的标注出缺陷区域的图像作为约束条件，并将图像的分辨率统一。


4.根据权利要求2所述的基于条件式生成对抗网络的铸件缺陷图像生成方法，其特征在于，所述步骤(2)中生成模型，包括卷积核大小为4×4的卷积模块，数量为64，步长为2，填充一圈0像素，微步幅度卷积，通过卷积模块将浅层次特征与深层特征进行拼接，利用浅层信息，并缓解低层次特征与高层次特征之间存在的语义差异。


5.根据权利要求2所述的基于条件式生成对抗网络的铸件缺陷图像生成方法，其特征在于，所述步骤(2)中辨别模型，采用PatchGAN结构，1到3层卷积层的卷积核的大小为4×4，卷积核数量分别为64、128和256，步长均为2，均沿图像边缘填充一层像素。后两层卷积层的卷积核的大小为4×4，数量分别为512和1，步长均为1，均沿图像边缘填充一层像素。最终输出30×3...

【专利技术属性】
技术研发人员：于涵，李兴捷，刘薇，尚尔峰，
申请(专利权)人：沈阳铸造研究所有限公司，
类型：发明
国别省市：辽宁;21