一种基于生成对抗模型的工业图像特征的提取方法技术

本发明专利技术公开了一种基于生成对抗模型的工业图像特征的提取方法，包括如下步骤：对Massachusetts特征图像数据集进行预处理后获得数据集；构建Improved DUNet模型；将数据集导入Improved DUNet模型中进行训练得到生成器；构建全局鉴别器和局部鉴别器，然后与生成器构成对抗训练模型；基于对抗训练模型，生成器分别与全局鉴别器和局部鉴别器进行对抗训练，对生成器提取的图像特征提取结果进行微调；将生成器的图像特征提取结果和微调后生成器的图像特征提取结果进行综合；对图像特征提取结果进行评价，本发明专利技术通过构建对抗训练模型对生成器提取的图像特征进行微调，使得提取出的图像特征连续，分割的精度高，将微调之前和微调之后的模型的分割结果进行综合，提高图像特征的提取精度。特征的提取精度。特征的提取精度。

【技术实现步骤摘要】
一种基于生成对抗模型的工业图像特征的提取方法


[0001]本专利技术属于工业图像处理领域，尤其涉及一种基于生成对抗模型的工业图像特征的提取方法。

技术介绍

[0002]图像特征提取在计算机视觉和图像处理领域中具有重要的意义和应用。通过对图像进行特征提取，可以将原始像素数据转化为更高层次、更有意义的信息，从而实现图像的智能化处理和分析。
[0003]随着深度学习在计算机视觉任务(图像分类、语义分割、目标检测)中取得巨大进展，使其在工程图像的缺陷检测中具有极大的应用前景，由于其分割精度高、不需要人为提取特征，深度学习算法也被逐渐引入工业图像特征提取中。
[0004]目前主流的提取模型几乎都是基于UNet进行改进的；例如，将残差模块加入到原始的UNet网络中，得到了深度ResUNet；将注意力门(Attention Gate)加入到UNet的解码器中，提出了Attention UNet模型；将空洞卷积加入到UNet中，提出了DinkNet34模型；通过引入嵌套的和密集的跳跃连接得到UNet++模型；通过重新设计了编码器和解码器之间的相互连接以及解码器之间的内部连接得到了UNet3++模型等。
[0005]但是上述的基于UNet变体的工业图像特征提取方法存在着一些不足：首先，在提取的图像中存在一些相似的特征导致分割结果错误；其次，图像中的特征可能被其他物体遮挡，使得提取出的图像特征不连续，导致分割精度降低，从而使得提取的工业图像特征精度低。

技术实现思路

[0006]本专利技术目的是为了克服现有技术的不足而提供一种基于生成对抗模型的工业图像特征的提取方法，用于使得分割结果准确，提取出的图像特征连续，分割精度高，工业图像特征的提取精度高。
[0007]为达到上述目的，本专利技术采用的技术方案是：一种基于生成对抗模型的工业图像特征的提取方法，包括如下步骤：
[0008]对Massachusetts特征图像数据集进行预处理后获得数据集；
[0009]构建Improved DUNet模型；
[0010]将数据集导入Improved DUNet模型中进行训练得到预训练模型作为生成器；
[0011]构建全局鉴别器和局部鉴别器，然后与生成器构成对抗训练模型；
[0012]基于对抗训练模型，生成器分别与全局鉴别器和局部鉴别器进行对抗训练，用于对生成器提取的图像特征提取结果进行微调；
[0013]将生成器的图像特征提取结果和微调后生成器的图像特征提取结果进行综合；
[0014]对图像特征提取结果进行评价。
[0015]进一步的，预处理如下:
[0016]S11切分数据集:将1500
×
1500的图像裁剪为512
×
512的图像；
[0017]S12删除错误数据:对裁剪后的图像进行分析，删除其中标注错误的图像并将数据集划分为训练集，验证集和测试集。
[0018]进一步的，构建Improved DUNet模型的步骤如下：
[0019]S21输入图像X首先经过编码层Encoding得到特征图F，F
A
为经过注意力机制Attention的第三层特征图；
[0020]S22将第三层特征图F分别经过普通卷积DoubleConv、密集空洞卷积DBlock并进行上采样UpSample得到新的特征图X1和X2，其中，经过密集空洞卷积的特征图需逐元素加上经过卷积的特征图之后，再进行上采样；
[0021]S23将编码器经过注意力机制的第三层特征图分别与特征图X1和X2进行串接，得到新的X1和X2；
[0022]S24将X1得到的特征图按元素融合(按位加)到X2得到的特征图上，将新的X1和X2再进行上采样，以此类推，直至将特征图恢复到原始图像分辨率。
[0023]进一步的，构建的全局鉴别器和局部鉴别器分别基于条件GAN和patchGAN，用于判断图像的每一个patch提取出的特征是否连续，其中，全局鉴别器和局部鉴别器的区别在于patch的大小不同。
[0024]进一步的，在生成器分别与全局鉴别器和局部鉴别器进行对抗训练中，训练一次鉴别器再训练一次生成器。
[0025]进一步的，使用Wassertein距离来衡量数据分布和真实数据分布之间的距离；cGAN损失函数为：
[0026][0027]其中，G是生成器，D
global
是全局鉴别器，D
local
是局部鉴别器，G(x)是生成器的分割结果，p
data(x)
是真实样本空间；
[0028]vgg拓扑损失函数为：
[0029][0030]其中，F是预训练的VGG模型，G是生成器，G(x)是生成器的输出，p
data(x,y)
是真实样本空间。
[0031]最终，对抗训练模型的损失函数为：
[0032][0033]+λ
pixel
L
pixel
(G)+λ
vgg
L
vgg
(G,F)
[0034]其中，G*是生成器训练权重，λ
cGAN
、λ
pixel
、λ
vgg
都是超参数，G是生成器，D
global
是全局鉴别器，D
local
是局部鉴别器，F是VGG训练权重，L
pixel
是L1损失。
[0035]进一步的，使用mIOU以及mDC对提取结果进行评价：
[0036][0037]其中，p
ii
为预测正确元素的数量，p
ij
表示真实值为i，被预测为j的数量，p
ji
表示真实值为j，预测为i的数量，k表示要分类的类别数；
[0038][0039]其中，假设Pre
i
表示第i幅图像的分割结果，GT
i
表示第i幅图像的Ground Truth，N表示样本个数。
[0040]由于上述技术方案的运用，本专利技术与现有技术相比具有下列优点：
[0041]1.将Improved DUNet的预训练模型作为生成器，然后构建全局鉴别器和局部鉴别器，通过生成器和鉴别器对抗训练后形成对抗训练模型，然后基于对抗训练模型，即训练一次鉴别器再训练一次生成器的方式对Improved DUNet的提取结果进行微调，使得提取出的图像特征连续，分割的精度高，分割结果更加连续进而提高后续图像特征提取精度。
[0042]2.将微调之前模型的分割结果和微调之后的模型的分割结果进行综合，以此获得两个模型的分割优势，从而避免对相似特征的分割错误，进而减少错误的分割区域，进一步提升分割精度。
附图说明
[0043]下面结合附图对本专利技术技术方案作进一步说明：
[0044]图1为本专利技术一实施例的流程示意图；
[0045]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗模型的工业图像特征的提取方法，其特征在于，包括如下步骤：对Massachusetts特征图像数据集进行预处理后获得数据集；构建Improved DUNet模型；将数据集导入Improved DUNet模型中进行训练得到预训练模型作为生成器；构建全局鉴别器和局部鉴别器，然后与生成器构成对抗训练模型；基于对抗训练模型，生成器分别与全局鉴别器和局部鉴别器进行对抗训练，用于对生成器提取的图像特征提取结果进行微调；将生成器的图像特征提取结果和微调后生成器的图像特征提取结果进行综合；对图像特征提取结果进行评价。2.如权利要求1所述的基于生成对抗模型的工业图像特征的提取方法，其特征在于，预处理如下:S11切分数据集:将1500
×
1500的图像裁剪为512
×
512的图像；S12删除错误数据:对裁剪后的图像进行分析，删除其中标注错误的图像并将数据集划分为训练集，验证集和测试集。3.如权利要求1所述的基于生成对抗模型的工业图像特征的提取方法，其特征在于，构建Improved DUNet模型的步骤如下：S21输入图像X首先经过编码层Encoding得到特征图F，F
A
为经过注意力机制Attention的第三层特征图；S22将第三层特征图F分别经过普通卷积DoubleConv、密集空洞卷积DBlock并进行上采样UpSample得到新的特征图X1和X2，其中，经过密集空洞卷积的特征图需逐元素加上经过卷积的特征图之后，再进行上采样；S23将编码器经过注意力机制的第三层特征图分别与特征图X1和X2进行串接，得到新的X1和X2；S24将X1得到的特征图按元素融合按位加到X2得到的特征图上，将新的X1和X2再进行上采样，以此类推，直至将特征图恢复到原始图像分辨率。4.如权利要求1所述的基于生成对抗模型的工业图像特征的提取方法，其特征在于：构建的全局鉴别器和局部鉴别器分别基于条件GAN和patchGAN，用于判断图像的每...

【专利技术属性】
技术研发人员：周春荣，丁际友，
申请(专利权)人：苏州梅曼智能科技有限公司，
类型：发明
国别省市：