一种基于条件生成对抗网络的磨粒形貌数据库创建方法技术

一种基于条件生成对抗网络的磨粒形貌数据库创建方法，将三维磨粒图像经深度映射后成为二维图像，并将这些二维图像作为训练样本中的输出目标图像；根据真实磨粒图像进行磨粒模型构造，主要包括磨粒轮廓、磨粒颜色填充以及表面纹理代表符号，将构造好的磨粒模型作为CGAN训练样本的输入图像；将成对的输入图像与目标图像作为CGAN的样本输入网络进行训练，进而CGAN会产生一个用于扩充样本的生成器；最后利用输入图像作为输入进行网络的测试，利用判别器统计生成图像与目标图像的误差，最终用于判别图像是目标图像还是生成图像；本发明专利技术提高损失函数评价的有效性的同时，也提高了网络输出图像的准确性，使网络输出的图像与真实图像具有很高的相似度。

A Method of Creating Wear Particle Morphology Database Based on Conditional Generation Countermeasure Network

【技术实现步骤摘要】
一种基于条件生成对抗网络的磨粒形貌数据库创建方法
本专利技术属于机器磨损状态监测领域的磨粒分析
，特别涉及一种基于条件生成对抗网络的磨粒形貌数据库创建方法，在图形变换基础上基于条件生成对抗网络的三维磨粒样本数据库创建方法。
技术介绍
为满足智能、自动、实时地监测设备运行状态，智能算法已经逐渐应用于磨粒类型识别，为判断设备磨损情况以及磨损机理提供了新的方法。然而在使用智能算法进行磨粒类型识别时，大量的磨粒样本是训练各种智能算法或网络、优化智能算法各个参数的基础，并且样本越多，算法或网络的准确度越高。目前，利用铁谱仪不但可以获取包含轮廓信息、颜色信息等二维信息的磨粒二维图像，还可以通过共聚焦显微镜等设备获取磨粒三维形貌图。磨粒三维形貌图不仅包含磨粒轮廓、颜色等信息，还包含表面纹理深度、等效圆度直径等三维信息，可以为磨损辨别提供更大丰富的信息，进而提高磨损分析的准确度。随着计算机设备硬件性能的不断提升，借助计算机智能算法不仅可以实现磨粒三维特征的自动提取，还可以实现磨粒类型的快速、智能化辨识，对于提高磨粒识别准确率，减轻分析人员的工作量等方面具有重要的意义。磨粒类型智能识别算法，主要是通过学习大量磨粒图像样本的输入和输出之间的关系，从而学习磨粒的特征，不断对网络中的参数进行优化，直到将整个算法优化到误差要求范围内为止。然而，磨粒类型智能识别算法中面临一个重大的问题——缺少三维磨粒样本，磨粒样本的缺少造成大量智能算法或网络没有办法进行训练，无法优化算法或网络中的参数，进而无法保证网络的可用性。在实际企业中，故障磨粒数量较少，严重滑动磨粒、切削磨粒等一般都出现在设备严重磨损期，一旦出现该类磨粒设备将会被更换或维修，因此典型磨粒样本较少，从而无法采集到大量的磨粒三维形貌参数特征作为样本，造成大多数计算机智能算法存在训练样本不足、学习不充分、磨粒类型辨别误差偏大等缺点，而使得这些算法无法应用于磨粒类型识别中，阻碍了磨粒类型自动化识别技术以及铁谱技术的进一步发展。
技术实现思路
为了解决因样本不足而无法将计算机智能算法应用于磨粒类型识别中的缺陷，本专利技术的目的在于提供了一种基于条件生成对抗网络的磨粒形貌数据库创建方法，在基本的图像变换上采用条件生成对抗网络(ConditionalGenerativeAdversarialNetworks,CGAN)进行典型磨粒样本扩充，进而衍生大量新的典型磨粒图像；CGAN算法需要成对的训练样本，一幅图像为输入图像，一幅图像为目标图像，经训练后的网络，希望测试后的生成图像与真实目标磨粒图像具有高的相似度，本专利技术将三维磨粒图像经深度映射后成为二维图像，并将这些二维图像作为训练样本中的输出目标图像；根据真实磨粒图像进行磨粒模型构造，主要包括磨粒轮廓、磨粒颜色填充以及表面纹理代表符号，将构造好的磨粒模型作为CGAN训练样本的输入图像，将成对的输入图像与目标图像作为CGAN的样本输入网络进行训练，进而CGAN会产生一个用于扩充样本的生成器；最后利用输入图像作为输入进行网络的测试，利用判别器统计生成图像与目标图像的误差，最终用于判别图像是目标图像还是生成图像，当生成图像与目标图像具有很高相识度，证明网络训练成功，此时生成的磨粒图像便可以作为磨粒识别算法的样本。为实现上述目的，本专利技术采用如下技术方案：一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，包括以下步骤：步骤1，基于简单图形变换进行样本的扩充：将原始磨粒图像样本经表面三维形貌变换，进行样本的初步扩充，每幅图像代表一个磨粒，进而获取原始磨粒三维形貌图像；步骤2，三维磨粒形貌二维化：将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；步骤3，基于二维深度磨粒图像制作网络训练的磨粒标签样本；步骤4，构建条件对抗生成网络CGAN：该网络通过学习得到一个生成模型，在这个过程中使用一个判别器，得到一个判别值用于识别上述结果到底是来自模型的预测还是来自真实结果；对抗学习的目的就是尽量让生成模型产生的结果与需要的真实结果越发接近，而判别网络则是判断生成结果与真实结果的相似程度，统计差异；步骤5，训练CGAN算法；步骤6，测试网络并生成三维磨粒样本：随机进行磨粒标签的构建，将构建好的磨粒标签输入到已经训练好的CGAN算法中，进而获取大量的二维深度磨粒图像样本；通过反深度变化，将获取的二维深度磨粒图像样本恢复为磨粒三维形貌图像，进而实现三维磨粒样本数据库的扩充与创建。所述步骤1具体为：S1：在图像HSV颜色空间中，通过磨粒三维形貌变换进而改变磨粒的表面高度，实现样本的初步扩充；将原始磨粒三维形貌图像，通过对每个像素的饱和度S和亮度V分量进行指数运算，来改变S和V分量，保持色调H不变，以增加光照变化，实则实现磨粒各点高度的改变；S2：通过对原始磨粒图像添加噪声点来对改变磨粒表面某区域高度的突增或突减，实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声；对应出现噪声点的区域，像素值出现突变，对应于三维磨粒中则表现为磨粒表面某区域高度的突增；S3：通过对原始磨粒图像去除噪声点来消除磨粒表面某区域突变的高度，进而实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行噪声去除与滤波，常用的噪声模式是高斯去噪、中值滤波与线性空间滤波；对原始磨粒图像进行去噪，使得领域内具有像素值突变的点消失，对应于三维磨粒形貌中，则表现为磨粒表面突然凸出或凹下去的尖点消失，实质改变的为磨粒三维形貌的高度值；S4：按比例对原始磨粒图像进行缩放变换来增加或压缩磨粒表面的高度；对原始磨粒图像按照一定的比例因子放大或者缩小图像，改变磨粒轮廓大小的同时也使对应区域内的像素值发生了变化，与三维磨粒而言则是磨粒表面高度值的变化。步骤2具体为：将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；深度图是通过采集场景实物到摄像机成像平面距离构成的灰度图像，选择深度图作为磨粒形貌二维映射的方法，具体映射关系如公式(1)所示：公式(1)：其中：H代表三维磨粒表面不同地方的高度值；X为深度映射系数，要求为0≦H/X≦255；p为深度映射后二维磨粒图像上的像素点值，经过映射后，二维磨粒图像上像素点的值实际是三维磨粒图像上高度值在二维图像上的映射，磨粒区域内灰度值较大的区域即亮区域对应磨粒较高的区域，磨粒区域内灰度值较小的区域即暗区域对应磨粒较低的区域。步骤3具体为：S1：将步骤2中获取的二维深度磨粒图像经过自适应二值化处理后，背景呈现白色，磨粒呈现黑色；使用边缘检测算法提取磨粒边缘并用红色标记，之后经图像处理将非红色像素点全部转化为白色，实现磨粒边缘轮廓的提取，进而获取磨粒边缘；S2：在红色轮廓的封闭区域内进行颜色的填充以代表磨粒区域；由于磨粒材质不同，其颜色不同，此处用黄色填充表示铜磨粒，用白色填充表示铁磨粒；由于铁磨粒在运行中可能会发生高温氧化或长期暴露在空气中会出现生锈现象，此处用黑色标记高温氧化部位，用棕色表示生锈部位；S3：在磨粒区域内进行表面纹理的标记；利用若干条线代表磨粒表面的划痕，其中磨粒较高的区域用绿色线条标记，磨粒较低的区域用蓝色线条标记，线的粗细代表磨痕的宽度，长短代表本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，包括以下步骤：步骤1，基于简单图形变换进行样本的扩充：将原始磨粒图像样本经表面三维形貌变换进行样本的初步扩充，每幅图像代表一个磨粒，进而获取原始磨粒三维形貌图像；步骤2，三维磨粒形貌二维化：将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；步骤3，基于二维深度磨粒图像制作网络训练的磨粒标签样本：步骤4，构建条件对抗生成网络CGAN：该网络通过学习得到一个生成模型，在这个过程中使用一个判别器，得到一个判别值用于识别上述结果到底是来自模型的预测还是来自真实结果；对抗学习的目的就是尽量让生成模型产生的结果与需要的真实结果越发接近，而判别网络则是判断生成结果与真实结果的相似程度，统计差异；步骤5，训练CGAN算法；步骤6，测试网络并生成三维磨粒样本：随机进行磨粒标签的构建，将构建好的磨粒标签输入到已经训练好的CGAN算法中，进而获取大量的二维深度磨粒图像样本；通过反深度变化，将获取的二维深度磨粒图像样本恢复为磨粒三维形貌图像，进而实现三维磨粒样本数据库的扩充与创建。

【技术特征摘要】
1.一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，包括以下步骤：步骤1，基于简单图形变换进行样本的扩充：将原始磨粒图像样本经表面三维形貌变换进行样本的初步扩充，每幅图像代表一个磨粒，进而获取原始磨粒三维形貌图像；步骤2，三维磨粒形貌二维化：将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；步骤3，基于二维深度磨粒图像制作网络训练的磨粒标签样本：步骤4，构建条件对抗生成网络CGAN：该网络通过学习得到一个生成模型，在这个过程中使用一个判别器，得到一个判别值用于识别上述结果到底是来自模型的预测还是来自真实结果；对抗学习的目的就是尽量让生成模型产生的结果与需要的真实结果越发接近，而判别网络则是判断生成结果与真实结果的相似程度，统计差异；步骤5，训练CGAN算法；步骤6，测试网络并生成三维磨粒样本：随机进行磨粒标签的构建，将构建好的磨粒标签输入到已经训练好的CGAN算法中，进而获取大量的二维深度磨粒图像样本；通过反深度变化，将获取的二维深度磨粒图像样本恢复为磨粒三维形貌图像，进而实现三维磨粒样本数据库的扩充与创建。2.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，步骤1具体为：S1：在图像HSV颜色空间中，通过磨粒三维形貌变换进而改变磨粒的表面高度，实现样本的初步扩充；将原始磨粒三维形貌图像，通过对每个像素的饱和度S和亮度V分量进行指数运算，来改变S和V分量，保持色调H不变，以增加光照变化，实则实现磨粒各点高度的改变；S2：通过对原始磨粒图像添加噪声点来对改变磨粒表面某区域高度的突增或突减，实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声；对应出现噪声点的区域，像素值出现突变，对应于三维磨粒中则表现为磨粒表面某区域高度的突增；S3：通过对原始磨粒图像去除噪声点来消除磨粒表面某区域突变的高度，进而实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行噪声去除与滤波，常用的噪声模式是高斯去噪、中值滤波与线性空间滤波；对原始磨粒图像进行去噪，使得领域内具有像素值突变的点消失，对应于三维磨粒形貌中，则表现为磨粒表面突然凸出或凹下去的尖点消失，实质改变的为磨粒三维形貌的高度值；S4：按比例对原始磨粒图像进行缩放变换来增加或压缩磨粒表面的高度；对原始磨粒图像按照一定的比例因子放大或者缩小图像，改变磨粒轮廓大小的同时也使对应区域内的像素值发生了变化，与三维磨粒而言则是磨粒表面高度值的变化。3.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，步骤2具体为：将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；深度图是通过采集场景实物到摄像机成像平面距离构成的灰度图像，选择深度图作为磨粒形貌二维映射的方法，具体映射关系如公式(1)所示：公式(1)：其中：H代表三维磨粒表面不同地方的高度值；X为深度映射系数，要求为0≦H/X≦255；p为深度映射后二维磨粒图像上的像素点值，经过映射后，二维磨粒图像上像素点的值实际是三维磨粒图像上高度值在二维图像上的映射，磨粒区域内灰度值较大的区域即亮区域对应磨粒较高的区域，磨粒区域内灰度值较小的区域即暗区域对应磨粒较低的区域。4.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，步骤3具体为：S1：将步骤2中获取的二维深度磨粒图像经过自适应二值化处理后，背景呈现白色，磨粒呈现黑色；使用边缘检测算法提取磨粒边缘并用红色标记，之后经图像处理将非红色像素点全部转化为白色，实现磨粒边缘轮廓的提取，进而获取磨粒边缘；S2：在红色轮廓的封闭区域内进行颜色的填充以代表磨粒区域；由于磨粒材质不同，其颜色不同，此处用黄色填充表示铜磨粒，用白色填充表示铁磨粒；由于铁磨粒在运行中可能会发生高温氧化或长期暴露在空气中会出现生锈现象，此处用黑色标记高温氧化部位，用棕色表示生锈部位；S3：在磨粒区域内进行表面纹理的标记；利用若干条线代表磨粒表面的划痕，其中磨粒较高的区域用绿色线条标记，磨粒较低的区域用蓝色线条标记，线的粗细代表磨痕的宽度，长短代表磨痕的长度；疲劳产生的凹坑用橙色实心圆标记，圆圈的大小代表实际凹坑的大小；参照对应的二维深度磨粒图像，给对应的磨粒区域进行磨痕以及凹坑等特...

【专利技术属性】
技术研发人员：武通海，王昆鹏，王硕，杨羚烽，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61