一种基于Defect-GAN的缺陷样本合成方法技术

本发明专利技术属于图像合成技术领域，具体涉及一种基于Defect

【技术实现步骤摘要】
一种基于Defect
‑
GAN的缺陷样本合成方法


[0001]本专利技术属于图像合成
，具体涉及一种基于Defect
‑
GAN的缺陷样本合成方法。

技术介绍

[0002]自动化视觉缺陷检测的目的是自动检测和识别各种图像缺陷，在不同的工业部门，如制造业和建筑业，都有很高的要求，在制造业中，它是维护、维修和操作MRO的一个关键组成部分，其目标是最小化机械故障，最大化生产，在生产过程中的不同阶段发现异常对质量控制也很重要，在建筑中，通过识别各种基础设施如建筑物、桥梁等的潜在危险，对公共安全至关重要，尽管自动视觉缺陷检测已经研究了多年，但它仍然是一个具有挑战性的任务。
[0003]存在问题或缺陷的原因：生成对抗网络GANs近年来取得了较好的图像合成效果，但利用生成对抗网络合成缺陷样本仍然面临着一些挑战，现有的GANs通常需要大规模的训练数据，但在很多情况下，大规模的缺陷样本是不可用的，同时该结构和图案本质上更简单，不擅长合成图案复杂、不规则、随机变化大的缺陷，因此，GANs合成的缺陷样本往往具有与参考样本相似的特征表示和分布，但在面对不同背景下的各种新缺陷样本时帮助不大。

技术实现思路

[0004]针对上述图像合成技术模型效率较低等问题，本专利技术提供了一种基于Defect
‑
GAN的缺陷样本合成方法。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种基于Defect
‑
GAN的缺陷样本合成方法，包括下列步骤：
[0007]S100、收集数据：收集缺陷检测的公共数据集CODEBRIM；
[0008]S200、数据预处理：预处理包括归一化、图像缩放、数据划分，保证模型训练效果；
[0009]S300、模型构建：构建基于Defect
‑
GAN的缺陷样本合成模型，输入训练数据，完成参数模型的搭建；
[0010]S400、模型保存：当模型的损失函数不再降低之后，保存模型并进行评估。
[0011]所述S100收集数据中，在混凝土桥梁背景下，收集相关缺陷检测的公共数据集CODEBRIM，具有六个相互不排斥的类别：裂纹、风化、剥落、暴露的钢筋、锈蚀和正常样品，提供了多标签分类的图像以及从图像中裁剪出的的全分辨率图像。
[0012]所述S200数据预处理中，对每条数据进行Min
‑
Max归一化，公式为图像缩放将其按照大小比例全部调整为统一尺寸128
×
128；数据分割将数据集分为训练集与测试集，训练集用于模型的训练并对模型的参数进行调优，测试集用于测试模型效果，将构建的原始数据集中的图像进行随机选择，其中90％用于模型的训练，剩余的图像用于模型的测试。
[0013]所述S300模型构建中，构建一个轻量级和高效的U
‑
Net改进模型，通过对U
‑
Net模型进行改进，使用MobileNet中的模块替换U
‑
Net网络中的卷积层，同时使用逐点卷积进行跳跃连接，使用特征对齐层进行特征提取。
[0014]所述S300模型构建中，构建基于Defect
‑
GAN的缺陷样本合成模型，该模型用于合成缺陷样本，Defect
‑
GAN网络结构由一个生成器G和一个鉴别器D组成，在训练阶段，Defect
‑
GAN使用G进行图像转换，分为两个周期：和其中n表示正常样本，d表示缺陷样本，和表示生成的正常样本和缺陷样本，上述两个周期为循环进行。
[0015]所述S300模型构建中，G为一个编码器和解码器结构，它首先对输入图像进行步长为4的编码过程，然后解码为原始图像大小，为了提高缺陷样本产生的真实性和多样性，在G中引入空间和分类控制、随机变化和分层方法，在空间和分类控制方法中，引入一个控制映射A在特定位置添加特定种类的缺陷，通过SPADE归一化方法将A引入网络中，并反馈入G的解码器部分的每个模块，通过该方法可以使Defect
‑
GAN能够在不同的位置添加缺陷；在随机变化方法中，在编码器
‑
解码器网络结构的每个模块中都使用一个自适应噪声插入模块，该模块在每个卷积块后向特征映射中插入高斯噪声，通过噪声的插入，使得Defect
‑
GAN可以产生具有更高多样性的更真实的缺陷样本；在分层方法中，在缺陷样本生成过程中，将提供的正常样本上添加缺陷前景层来生成最终的缺陷样本。
[0016]所述S300模型构建中，在图像恢复过程中，通过在缺陷样本上添加一个重绘的前景层来生成最终恢复的正常样本。
[0017]所述S400模型保存中，当模型的损失函数不再降低之后，保存模型，其中生成器G和鉴别器D所用的损失函数如下：和鉴别器D所用的损失函数如下：其中λ
rec
，λ
sd
‑
cyc
，λ
sd
‑
con
参数分别设置为2.0，5.0，5.0，5.0，1.0.，分别设置为2.0，5.0，5.0，5.0，1.0.，分别设置为2.0，5.0，5.0，5.0，1.0.，其中d为生成的缺陷样本，c为对应的缺陷标签；dreal为真实的缺陷样本，c
’
为对应的缺陷标签；Dcls为预测产生的缺陷类别，n为正常样本，为生成的正常样本；m为空间分布图。
[0018]所述S400模型保存中，为了评估模型的训练效果，通过使用初始距FID作为评估合成缺陷样品的真实性，该评估方法公式如下：
[0019]其中g和r分别代表生成图像和真实图像，ug和ur表示的是各自特征向量的均值，∑
g
和∑
r
表示各自特征向量的协方差矩阵，Tr表示矩阵的迹(主对角线各元素的和)，矩阵开根如果为复数，则只取实部。
[0020]本专利技术与现有技术相比，具有的有益效果是：
[0021]本专利技术提出了基于Defect
‑
GAN的缺陷样本合成模型，该模型通过模拟损伤和修复过程来生成缺陷样本，它可以捕获缺陷内的随机变化，并可以对生成的缺陷位置和类别进行灵活的控制，同时它还能够在保留背景外观的情况下产生缺陷样本且具有较高保真度和
多样性。
附图说明
[0022]图1本专利技术的主要步骤流程图；
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]一种基于Defect
‑
GAN的缺陷样本合成方法，如图1所示，包括下列步骤：
[0025]S100、收集数据：收集缺陷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Defect
‑
GAN的缺陷样本合成方法，其特征在于：包括下列步骤：S100、收集数据：收集缺陷检测的公共数据集CODEBRIM；S200、数据预处理：预处理包括归一化、图像缩放、数据划分，保证模型训练效果；S300、模型构建：构建基于Defect
‑
GAN的缺陷样本合成模型，输入训练数据，完成参数模型的搭建；S400、模型保存：当模型的损失函数不再降低之后，保存模型并进行评估。2.根据权利要求1所述的一种基于Defect
‑
GAN的缺陷样本合成方法，其特征在于：所述S100收集数据中，在混凝土桥梁背景下，收集相关缺陷检测的公共数据集CODEBRIM，具有六个相互不排斥的类别：裂纹、风化、剥落、暴露的钢筋、锈蚀和正常样品，提供了多标签分类的图像以及从图像中裁剪出的的全分辨率图像。3.根据权利要求2所述的一种基于Defect
‑
GAN的缺陷样本合成方法，其特征在于：所述S200数据预处理中，对每条数据进行Min
‑
Max归一化，公式为图像缩放将其按照大小比例全部调整为统一尺寸128
×
128；数据分割将数据集分为训练集与测试集，训练集用于模型的训练并对模型的参数进行调优，测试集用于测试模型效果，将构建的原始数据集中的图像进行随机选择，其中90％用于模型的训练，剩余的图像用于模型的测试。4.根据权利要求3所述的一种基于Defect
‑
GAN的缺陷样本合成方法，其特征在于：所述S300模型构建中，构建一个轻量级和高效的U
‑
Net改进模型，通过对U
‑
Net模型进行改进，使用MobileNet中的模块替换U
‑
Net网络中的卷积层，同时使用逐点卷积进行跳跃连接，使用特征对齐层进行特征提取。5.根据权利要求4所述的一种基于Defect
‑
GAN的缺陷样本合成方法，其特征在于：所述S300模型构建中，构建基于Defect
‑
GAN的缺陷样本合成模型，该模型用于合成缺陷样本，Defect
‑
GAN网络结构由一个生成器G和一个鉴别器D组成，在训练阶段，Defect
‑
GAN使用G进行图像转换，分为两个周期：和其中n表示正常样本，d表示缺陷样本，和表示生成的正常样本和缺陷样本，上述两个周期为循环进行。6.根据权利要求5所述的一种基于Defect
‑
GAN的缺陷样本合成方法，其特征在...

【专利技术属性】
技术研发人员：王小华，潘晓光，张雅娜，董虎弟，陈智娇，宋晓晨，
申请(专利权)人：山西三友和智慧信息技术股份有限公司，
类型：发明
国别省市：