基于生成式对抗网络的细小裂缝分割方法技术

本发明专利技术涉及一种基于生成式对抗网络的细小裂缝分割方法，包括以下步骤：步骤一、准备若干张裂缝图像；步骤二、训练生成器网络，计算像素损失；步骤三、训练判别器的分割分支，计算分割损失；步骤四、分别读取所述像素损失和分割损失，在此基础上共同训练生成器和判别器的判别分支，计算对抗损失；本发明专利技术细小裂缝分割方法，将生成式对抗网络的超分辨率图像重建和语义分割联系起来设计了一个新的分割生成式对抗网络，相比于传统的超分辨率图像生成算法，本发明专利技术的超分辨率细小裂缝图形质量更高，且与原高分辨率图像更为相似。

【技术实现步骤摘要】
基于生成式对抗网络的细小裂缝分割方法
本专利技术属于计算机视觉、数字图像处理与机器学习
，具体涉及一种基于生成式对抗网络的细小裂缝分割方法。
技术介绍
随着交通运输业的发展，公路的养护工作变得十分的重要。桥梁作为当今社会交通枢纽的重要组成部分，不仅承担着运输重任还关系着运输人员的安危，但由于桥梁结构在长期使用中难免产生各种各样的损坏，造成桥梁结构抗力衰减和安全隐患，因此定期的检查和维护是必不可少的。裂缝是桥梁最常见的缺陷。桥梁裂缝产生的原因多种多样，主要是由于沥青路面的疲劳，再加上不利的大气条件，可能导致材料收缩，或由于沥青混合物质量差造成的结构路面阻力。桥梁路面缺陷的检测是后续维护和修理的前提。因此桥梁裂缝的检测工作必不可少。现实生活中，由于裂缝分布杂乱无规律，往往存在很多细小裂缝，容易被周边障碍物干扰造成漏检误检造成了极大的安全隐患。为了避免这一类情况的发生，对细小裂缝检测的研究变得十分重要。随着计算机行业的飞速发展，一系列基于计算机视觉、数字图像处理的方法被应用于裂缝检测中。Li等人提出了一种基于相邻差分直方图的裂缝分割算法；这类基于阈值分割的裂缝识别方法受光照、噪声、纹理的影响，检测效果往往不稳定。针对这一问题，Landstrom等人结合形态学处理和逻辑回归算法对裂缝进行检测，利用统计学分类方法滤除噪声，提高检测精度。近几年，在物体检测和识别方向上取得重要成果的深度学习方法也逐渐被用到了桥梁裂缝的检测中。李良福等人提出使用卷积神经网络对裂缝进行检测，将裂缝图像切分成较小的元图像，结合窗口滑动算法完成对裂缝的检测。为了进一步将裂缝检测精确到像素，EvanShelhamer等人提出的全卷积语义分割网络。该模型可以获得的更贴合裂缝本身分布的检测结果，但其将低分辨率分割图上采样至输入图像分辨率机制，花费了大量计算成本。针对这一问题，VijayBadr等人在解码器中使用去池化操作，对特征图进行上采样，使得待分割图像可以保持高频细节的完整性。对于分布杂乱、特征相对不明显的细小裂缝而言，由于特征信息难提取、裂缝本身分布面积小于周围障碍物以及对应位置像素信息与周围接近等原因，使得上述传统的裂缝检测方法对细小裂缝的检测往往不佳。针对小目标检测问题，一个普遍的做法是增加输入图像的数量以提高小目标的分辨率，从而获得高分辨率的特征图。还有一些通过修改网络模型,将多个低层特征合成新的高层特征，以生成小目标的多尺度表示。以上方法均试图通过数据增强或者增加特征维度来提高模型对小目标的检测能力。但是，通过数据增强的方法常常导致训练和测试耗费大量的时间。而由低级特征构造高级特征的方法，则不能保证所构造的特征对于最终的检测有效，且其对检测效果的贡献也仅限于偿还计算成本。
技术实现思路
为了解决现有技术中存在的上述技术问题，本专利技术提供了以下技术方案：基于生成式对抗网络的细小裂缝分割方法，包括以下步骤：步骤一、准备若干张裂缝图像，作为高分辨率图像，使用拉普拉斯下采样得到对应的低分辨率图像；步骤二、训练生成器网络，将所述低分辨率图像作为网络的输入，所述高分辨率图像作为标签，辅助生成器生成超分辨率图像，计算像素损失；步骤三、训练判别器的分割分支，将高分辨率图像作为分割分支的输入，对应的语义分割结果作为分割分支的标签，计算分割损失；步骤四、分别读取所述像素损失和分割损失，在此基础上共同训练生成器和判别器的判别分支，使用高分辨率图像和生成器生成的超分辨率图像作为判别器判别分支的输入，计算对抗损失，具体步骤如下：1)使用真实样本训练判别分支；2)保持生成器的参数不变，使用生成器生成的样本训练判别分支；3)保持判别分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到判别分支中，计算判别分支的损失值，由此获得生成器网络更新超参数以及调整生成图像分布的梯度信息，并将梯度信息用来完成生成器网络的更新；4)保持分割分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到分割分支中，计算分割分支的损失值后将该损失值返回给生成器，完成生成器网络的更新；5)重复1)～4)，迭代若干次后完成对抗网络的更新。作为本专利技术的进一步说明，所述对抗网络的损失函数表示为：L＝Ladv+Lseg+LP其中，Lsdv表示对抗损失，Lseg表示分割损失，Lp表示像素损失。作为本专利技术的进一步说明，所述对抗损失表示为：在训练判别器时，损失函数为：在训练生成器时，损失函数为：作为本专利技术的进一步说明，所述分割损失表示为：Lseg＝∑ij(yijlogxij+(1-yij)log(1-xij)其中Lseg表示分割损失，xij表示网络预测热图对应i、j位置的像素所属类别，yij为标签图对应i、j位置的像素所属类别。作为本专利技术的进一步说明，所述像素损失表示为：LP＝|G(z)-x|其中G(z)表示生成器生成的超分辨率裂缝图像。与现有技术相比，本专利技术取得的有益效果为：1、本专利技术细小裂缝分割方法，将生成式对抗网络的超分辨率图像重建和语义分割联系起来设计了一个新的分割生成式对抗网络(SE-GAN)，相比于传统的超分辨率图像生成算法，本专利技术的超分辨率细小裂缝图形质量更高，且与原高分辨率图像更为相似。2、本专利技术引入了分割分支，因此本方法生成了易于被分割模型检测到并进行正确分割的细节特征，使得在生成的超分辨率图像中，原低分辨率图像的细节特征能够被更加精准的补充完整，从而使分割分支在处理分割任务时得到更多的有用信息。以下将结合附图及实施例对本专利技术做进一步详细说明。附图说明图1是低分辨率子图切分示意图。图2是判别器结构示意图。图3是判别分支结构示意图。图4是分割分支结构示意图。图5是生成网络结构对比图。图6是裂缝图像与手工标注的语义分割标签图。图7是算法分割效果对比图。图8是细小分裂分割效果图。图9损失函数效果对比图。图10是不同判别器生成超分辨率图像对比图。具体实施方式为进一步阐述本专利技术达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本专利技术的具体实施方式、结构特征及其功效，详细说明如下。生成式对抗网络由生成器和判别器两个部分组成。判别器是一个简单地卷积神经网络模型，其以真实图像和生成器构造的虚假图像为输入，通过一系列卷积层、激励层、归一化层、池化层对输入数据进行特征提取，最终输出[0，1]区间的概率值；生成器则是一个反向的卷积神经网络模型，通过一系列反卷积层进行上采样，结合激励层，将低维向量转化为与真实图像维度相同的向量输出。其中生成器的输入是随机生成高斯白噪声，经过生成器网络的解码，最终输出一个与真实图像大小相同的向量，实类别对应标签之间的差距，直接将此误差作为反向传播的误差来更新参数以及最初的输入向量。生成式对抗网络采用交叉熵损失函数进行参数优化，公式如(1)所示，其中D表示判别器(discriminator)，G表示生成器(genarator)，z是输入的随机噪声向量。判别器需要判别输入是真实图像还是生成器生成的图像，当输入是真实图像时，D(x)值趋近于一；当输入是生成器生成的图像时，D(x)值趋近于零。生成器则是尽可能的调整z的分布，使得G(z)与x的分布差异最小化，即D(G(z))趋近于一。由于生成式对抗网络具有两本文档来自技高网...

【技术保护点】
1.基于生成式对抗网络的细小裂缝分割方法，其特征在于，包括以下步骤：步骤一、准备若干张裂缝图像，作为高分辨率图像，使用拉普拉斯下采样得到对应的低分辨率图像；步骤二、训练生成器网络，将所述低分辨率图像作为网络的输入，所述高分辨率图像作为标签，辅助生成器生成超分辨率图像，计算像素损失；步骤三、训练判别器的分割分支，将高分辨率图像作为分割分支的输入，对应的语义分割结果作为分割分支的标签，计算分割损失；步骤四、分别读取所述像素损失和分割损失，在此基础上共同训练生成器和判别器的判别分支，使用高分辨率图像和生成器生成的超分辨率图像作为判别器判别分支的输入，计算对抗损失，具体步骤如下：1)使用真实样本训练判别分支；2)保持生成器的参数不变，使用生成器生成的样本训练判别分支；3)保持判别分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到判别分支中，计算判别分支的损失值，由此获得生成器网络更新超参数以及调整生成图像分布的梯度信息，并将梯度信息用来完成生成器网络的更新；4)保持分割分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到分割分支中，计算分割分支的损失值后将该损失值返回给生成器，完成生成器网络的更新；5)重复1)～4)，迭代若干次后完成对抗网络的更新。...

【技术特征摘要】
1.基于生成式对抗网络的细小裂缝分割方法，其特征在于，包括以下步骤：步骤一、准备若干张裂缝图像，作为高分辨率图像，使用拉普拉斯下采样得到对应的低分辨率图像；步骤二、训练生成器网络，将所述低分辨率图像作为网络的输入，所述高分辨率图像作为标签，辅助生成器生成超分辨率图像，计算像素损失；步骤三、训练判别器的分割分支，将高分辨率图像作为分割分支的输入，对应的语义分割结果作为分割分支的标签，计算分割损失；步骤四、分别读取所述像素损失和分割损失，在此基础上共同训练生成器和判别器的判别分支，使用高分辨率图像和生成器生成的超分辨率图像作为判别器判别分支的输入，计算对抗损失，具体步骤如下：1)使用真实样本训练判别分支；2)保持生成器的参数不变，使用生成器生成的样本训练判别分支；3)保持判别分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到判别分支中，计算判别分支的损失值，由此获得生成器网络更新超参数以及调整生成图像分布的梯度信息，并将梯度信息用来完成生成器网络的更新；4)保持分割分支的参数不变...

【专利技术属性】
技术研发人员：李良福，胡敏，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西,61