基于生成对抗网络的缺陷数据合成算法制造技术

本发明专利技术属于缺陷数据合成算法技术领域，具体技术方案为：基于生成对抗网络的缺陷数据合成算法，具体步骤如下：一、基于现有样本，使用深度卷积生成对抗网络生成缺陷前景；二、对于不同的背景图片，使用基于颜色和纹理的gPb‑UCM分割算法确定缺陷前景放置的区域位置S集合；三、对步骤二得到的S集合中随机选择一个区域R，并通过深度预测算法得到对应的透视变化矩阵M；四、从步骤一生成的缺陷前景数据库中随机选取，并利用边缘提取算法得到Mask图像；五、利用透视变化矩阵M对Mask图像进行透视变换，并对变换后的缺陷前景添加颜色信息；六、使用泊松图像融合技术将缺陷前景与背景图片融合，合成新的图片；成本低，真实度高。

【技术实现步骤摘要】
基于生成对抗网络的缺陷数据合成算法
本专利技术属于缺陷数据合成算法
，具体涉及一种基于生成对抗网络的缺陷数据合成算法。
技术介绍
随着近些年来深度学习的发展，深度神经网络在各种任务上(分类、目标检测、实例分割)取得了革命性的突破，深度神经网络在有充足标签样本为训练数据的前提下可以达到很高的准确度。但是往往在一些场景下，有标签的数据难以收集或者获取这些数据成本高昂，费时费力。当数据不足时，神经网络很难稳定训练并且泛化能力较弱。如何在小规模数据集上有效的训练神经网络成为当下的一个研究热点，目前常见的方法为数据增强。传统的数据增强算法是以仿射变换为基础的——例如旋转、缩放、平移等，以及一些简单的图像处理手段——例如光照色彩变换、对比度变换、添加随机噪声(高斯噪声、椒盐噪声)等。这些变化的前提是不改变图像的类别属性，并且只能局限在图像域。这种基于几何变换和图像操作的数据增强方法可以在一定程度上缓解神经网络过拟合的问题，提高泛化能力。但是相比和原始数据而言，增加的数据并没有从根本上解决数据不足的难题；同时，这种数据增强方式需要人为设定转换函数和对应的参数，一般都是凭借经验知识，最优数据增强难以实现，所以模型的泛化性能提升有限。而图像合成技术可以使生成的图像更加真实、多样和满足输入条件，从真正意义上扩充了数据域，增加模型的鲁棒性。最近兴起的生成对抗网络(GenerativeAdversarialNetwork，GAN)，由于其出色的性能引起了人们的广泛关注，这种方法相比于传统的数据增强技术虽然过程更加复杂，但是生成的样本更加具有真实性与多样性。但是，目前对于基于生成对抗式网络的图像合成算法还存在着很多挑战，尤其是针对于大分辨图片来说，网络训练不易收敛且合成图片噪声大。
技术实现思路
为解决现有技术存在的技术问题，本专利技术方法将生成对抗网络与传统图片处理技术相融合，既利用了深度神经网络的自学习能力，增加缺陷前景的多样性，又通过传统图像处理方法的稳定性，克服了传送带角度和光照的变化问题，使得合成图片更加真实稳定。为实现上述目的，本专利技术所采用的技术方案为：基于生成对抗网络的缺陷数据合成算法，具体步骤如下：一、基于现有样本，使用深度卷积生成对抗网络生成缺陷前景；二、对于不同的背景图片，使用基于颜色和纹理的gPb-UCM分割算法确定缺陷前景放置的区域位置S集合；三、对步骤二得到的S集合中随机选择一个区域R，并通过基于全卷积神经网络的深度预测算法得到该区域对应的透视变化矩阵M；四、从步骤一生成的缺陷前景数据库中随机选取，并利用边缘提取算法得到缺陷前景的Mask图像：首先使用泛洪填充算法去除背景，再利用Canny边缘检测保留边缘内的像素值，提取缺陷Mask；五、利用透视变化矩阵M对Mask图像进行透视变换，并对变换后的缺陷前景添加颜色信息；六、使用泊松图像融合技术将缺陷前景与背景图片融合，合成新的图片，同时生成新的标注信息；至此，一张新的缺陷样本合成完成。在步骤一中，深度卷积生成对抗网络根据现有的缺陷样本对缺陷前景进行裁剪，调整大小至100*100像素，并对裁剪后的样本进行数据增强并送入DCGAN中进行训练。生成对抗网络由生成网络和判别网络组成，其中：生成网络输入为取自于正态分布的100维度的均匀随机噪声，使用大小为5*5的卷积核，步长为2的反卷积实现上采样过程，整个过程中使用批归一化方法且不使用池化，在生成网络的最后一层使用Tanh激活函数，其余全部使用ReLU激活函数，最终可以得到分辨率为100*100的三通道合成图像。判别网络的输入为大小100*100的三通道的合成图像或者真实图像，使用大小为5*5的卷积核，步长为2的卷积过程实现下采样过程，且在整个过程也使用了批归一化方法，在判别网络的所有层使用LeakyReLU的激活函数，最终使用全连接层映射到1维，以便Sigmoid函数对其分类，输出为0判别网络将输入判定为合成的假数据，输出为1则为真实数据。生成网络构成一个映射函数G，判别网络构成一个映射函数D，损失函数由分类而来，生成网络的损失为映射函数D对合成数据的输出结果与1的交叉熵损失，判别结果的损失由两部分组成：一部分为映射函数D对真实数据的输出结果与1的交叉熵损失；一部分为映射函数D对合成数据的输出结果与0的交叉熵损失，G和D迭代更新参数，共同优化；通过不断的对抗学习使得映射函数G生成的数据十分逼真，映射函数D无法精确判断输入是生成数据还是真实数据。其中，整个生成对抗网络的优化函数为：生成网络的映射函数G：判别网络的映射函数D：在步骤二中，基于颜色和纹理的gPb-UCM的分割方法为：该算法是依靠图像边缘信息进行区域分割的算法，首先计算图片中每个像素点作为边缘的概率gPb，接着利用改进的分水岭变换OWT将上面的结果转换为多个闭合区域，最后使用UCM方法设置不同阈值将闭合区域转换为区域树。gPb是多尺度边界概率mPb和光谱边界概率sPb的加权线性组合，mPb是在图片的CIE颜色空间的三个通道外加纹理通道上计算像素点的边缘概率的基础上引入了多尺度的概念，针对每一个尺度，计算四个通道的Pb值得加权和，公式如下：其中，s代表不同尺度，i代表四个通道之一，α代表不同尺度和通道下的权值，G是像素点的梯度方向函数，在像素点(x,y)处选取一个σ大小的圆区域，并按β角度分为两部分，计算两部分直方图的卡方距离，最终采用不同β角度下最大的响应来衡量每个点的边缘强度：另外，针对光谱变化聚类得到图像的显著性分割曲线，首先，根据两个像素点i和j之间的mPb值构建一个稀疏对称的相似矩阵：其中，ij表示两个像素点i和j之间的线段，ρ为常量系数，设定为0.1；该矩阵表示像素之间的相似度，为了引入全局信息，令：由上式计算得到n+1维特征向量，并用高斯方向导数滤波器在每个特征向量的θ方向上进行卷积，从而得到sPb的值：其中，参数是特征值问题的物理定义，mPb表示图像的边缘信息，sPb则是图像的显著边界线，将mPb和sPb加权求和得到gPb值:其中，ζi,s和γ都为常数，对gPb值进行sigmoid变换，使其分布在[0，1]之间，表示该像素点作为边缘的概率，将该像素点(x,y)所取到的β对应的gPb最大值作为边缘概率。取区域的最小值的边缘概率作为种子点位置，进行修正的OWT算法，得到合适的区域和分水岭信息，使用基于图合并的UCM算法，将分割后的图合并，得到较完整的区域，通过设定不同的阈值进行比较，确定阈值为0.2时最能表达背景图像区域分割的细节。在步骤三中，基于全卷机圣经网络的图像深度预测算法为：为了能预测深度信息，需要将提取到的特征再上采样，最终得到深度图。FCRN提出了新颖的上采样结构，被称为上卷积模块。首先利用一个2*2的上池化层对特征图进行放大操作，实际就是用0进行插值，本文档来自技高网...

【技术保护点】
1.基于生成对抗网络的缺陷数据合成算法，其特征在于，具体步骤如下：/n一、基于现有样本，使用深度卷积生成对抗网络生成缺陷前景；/n二、对于不同的背景图片，使用基于颜色和纹理的gPb-UCM分割算法确定缺陷前景放置的区域位置S集合；/n三、对步骤二得到的S集合中随机选择一个区域R，并通过基于全卷积神经网络的深度预测算法得到该区域对应的透视变化矩阵M；/n四、从步骤一生成的缺陷前景数据库中随机选取，并利用边缘提取算法得到缺陷前景的Mask图像：首先使用泛洪填充算法去除背景，再利用Canny边缘检测保留边缘内的像素值，提取缺陷Mask；/n五、利用透视变化矩阵M对Mask图像进行透视变换，并对变换后的缺陷前景添加颜色信息；/n六、使用泊松图像融合技术将缺陷前景与背景图片融合，合成新的图片，同时生成新的标注信息；至此，一张新的缺陷样本合成完成。/n

【技术特征摘要】
1.基于生成对抗网络的缺陷数据合成算法，其特征在于，具体步骤如下：
一、基于现有样本，使用深度卷积生成对抗网络生成缺陷前景；
二、对于不同的背景图片，使用基于颜色和纹理的gPb-UCM分割算法确定缺陷前景放置的区域位置S集合；
三、对步骤二得到的S集合中随机选择一个区域R，并通过基于全卷积神经网络的深度预测算法得到该区域对应的透视变化矩阵M；
四、从步骤一生成的缺陷前景数据库中随机选取，并利用边缘提取算法得到缺陷前景的Mask图像：首先使用泛洪填充算法去除背景，再利用Canny边缘检测保留边缘内的像素值，提取缺陷Mask；
五、利用透视变化矩阵M对Mask图像进行透视变换，并对变换后的缺陷前景添加颜色信息；
六、使用泊松图像融合技术将缺陷前景与背景图片融合，合成新的图片，同时生成新的标注信息；至此，一张新的缺陷样本合成完成。


2.根据权利要求1所述的基于生成对抗网络的缺陷数据合成算法，其特征在于，在步骤一中，深度卷积生成对抗网络根据现有的缺陷样本对缺陷前景进行裁剪，调整大小至100*100像素，并对裁剪后的样本进行数据增强并送入DCGAN中进行训练。


3.根据权利要求2所述的基于生成对抗网络的缺陷数据合成算法，其特征在于，生成对抗网络由生成网络和判别网络组成，其中：
生成网络输入为取自于正态分布的100维度的均...

【专利技术属性】
技术研发人员：李博，袁雪，史铭翰，
申请(专利权)人：山西安数智能科技有限公司，
类型：发明
国别省市：山西;14