本发明专利技术公开了一种基于生成对抗网络的沥青公路裂缝图像分割方法，使用U‑Net、CU‑Net和FU‑Net网络作为生成对抗GAN模型的生成器模型G；生成器模型包含的GU‑Net、CU‑Net和FU‑Net分别与三个相同的二分类网络判别器模型D(Discriminative)组合成U‑GAN、CU‑GAN、和FU‑GAN模型；通过生成器和判别器相互迭代竞争优化训练，最终使用训练完成的生成器模型U‑Net、CU‑Net和FU‑Net作为裂缝图像分割器；通过U‑Net、CU‑Net和FU‑Net模型实现对复杂沥青公路裂缝图像分割。与现有技术相比，需要的训练数据集更少，裂缝分割精度更高，且具有更高的查准率和查全率。
An Image Segmentation Method for Asphalt Highway Cracks Based on Generating Countermeasure Network
The invention discloses an image segmentation method for asphalt highway cracks based on generating confrontation network, using U Net, CU Net and FU Net networks as generator models G for generating confrontation GAN models, and the generator models GU Net, CU Net and FU Net are combined with three identical two-class network discriminator models D (Discriminative) to form U GAN, CU GAN, and FU GAN models respectively. Through iterative competition and optimization training between generators and discriminators, the generator models U Net, CU Net and FU Net are used as the image segmentation devices, and the complex asphalt road crack images are segmented by U Net, CU Net and FU Net models. Compared with the existing technology, the training data set needed is fewer, the crack segmentation accuracy is higher, and the precision and recall rate are higher.
【技术实现步骤摘要】
一种基于生成对抗网络的沥青公路裂缝图像分割方法
本专利技术涉及沥青公路裂缝图像分割
，特别涉及一种使用深度学习生成对抗网络GAN进行沥青公路图像中裂缝的分割方法。
技术介绍
伴随着经济的发展，公路基础设施建设在国民经济建设发展中发挥着越来越重要的作用，对于公路的定时保养和管理可以减少公路维护费用和交通事故，公路路面裂缝检测是公路养护和管理的重要组成部分。公路图像裂缝分割是辅助公路监测管理自动化路面病害检测的重要技术，许多人通过数字图像处理技术对图像裂缝分割技术投入了大量研究。由于公路裂缝图像存在光照不均、随机噪声、图像灰度层次模糊、路标及油污等随机因素的干扰，裂缝的分割提取存在较大的困难。初期，裂缝检测主要时通过一些传统的图像处理方法。InMM、GaMM和Morph等方法被用于公路图像裂缝分割，但对于不同灰度特征的图像，这些算法设置的调节参数都不一样，算法的泛化性能较弱。基于灰度阈值分割的方法在实际应用中难以处理灰度层次模糊、光照不均的图像。图像像素空间投影方法是首先对图像进行灰度变换和图像平滑处理，然后利用数学形态学方法(腐蚀和膨胀，图像形态学开运算与闭运算)对裂纹图像进行处理，最后通过图像投影将裂缝和背景分离。该方法主要是针对公路裂缝区域与背景噪声差异明显的情况，在裂缝区域与背景噪声相近的公路图像时投影出来的裂缝图存在大量噪声。区域增长算法是将具有不同灰度值层次的空间像素聚类为不同的信仰区域(ROB)，将每一个信仰区域设置不同的可信度因子，以一个信仰区域为种子为起始点，根据可信度因子特殊设计的规则确定搜索范围，并依据相似度准则将信仰区域进行搜索合并，该方法在背景噪声稀少的图像可以分割出裂缝图像中的裂缝、但在光照不均匀、裂缝边缘模糊不清的图像并没有取得好的效果。最小路径选择算法通过减少裂纹检测中的环路和无关阴影来搜索裂缝路径，同时也对裂缝区域像素宽度进行估计，该方法当噪声与裂缝非常相似时容易将噪声作为裂缝路径，因此只适用噪声较弱的情况。近几年深度学习在提取图像全局特征和敏感特征方面表现出了较强的泛化能力和鲁棒性。常用方法是将完整的裂缝图像分割为大小相等的子图，使用深度卷积网络(CNN)对子图像进行裂缝区域和非裂缝区域的分类，使用CNN做分类模型可以更好的提取图像特征，但缺点是需要大量的标注数据，要求标注数据标注的准确性较高。但在实际标注中由于标注人员的原因，一幅图像中模糊裂缝可能作为裂缝区域，而另一图像中可能是作为正常区域，这导致在数据模糊、标注不清的情况下会出现模型的准确率较高，召回率较低。当标注数据不理想时往往分类时会将一些正常的区域划分为裂缝区域。卷积神经网络由于对图像强大的特征提取能力被广泛应用于机器视觉中。U-Net网络是深度学习中应用比较广泛的语义分割模型之一，U-Net网络将压缩路劲与扩张路径的对应层串联，最后对每一个像素点进行分类，可以在训练很小的数据集上实现高精度的语义分割，目前U-Net网络已经被广泛的用于医学图像分割和自然场景语义分割。生成对抗网络GAN(GenerativeAdversarialNetwork)是由生成器(Generative)和判别器(Discriminator)两个相互博弈的网络构成，判别器的目的是分辨图像是生成器生成或是真实图片；生成器的目标是生成一张与真实图片非常相似的图片，从而骗过判别器。生成对抗网络其对抗博弈的思想也被广泛的应用于图像分割，其在木材表面瑕疵检查、视网膜血管分割、自然场景图像分割都取得了较高的分割精度。结合U-Net网络在少量数据集下便可以实现高精度分割和生成对抗网络可以生成服从真实数据空间分布图像的特点，本专利技术改进了U-Net网络，采用了卷积层间输出不同跨层连接方法的CU-Net和FU-Net网络，以U-Net网络和改进后CU-Net和FU-Net网络作为生成对抗网络的生成器，判别器为普通二分类网络组合成U-GAN、CU-GAN、和FU-GAN和网络。通过生成器和判别器对抗训练以后的生成器网络可以作为一个分割器用于公路裂缝图像分割。
技术实现思路
鉴于现有的沥青公路裂缝图像分割方法存在的问题，本专利技术的目的是提供一种深度学习生成对抗网络GAN进行沥青公路图像中裂缝分割的方法。本专利技术目的的实现基于如下的手段。一种基于生成对抗网络的沥青公路裂缝图像分割方法，利用深度学习框架的图像生成模型，使用U-Net、CU-Net和FU-Net网络作为生成对抗GAN模型的生成器模型G(Generative)；生成器模型G包含的U-Net、CU-Net和FU-Net分别与三个相同的二分类网络判别器模型D(Discriminative)组合成U-GAN、CU-GAN、和FU-GAN模型；通过生成器和判别器相互迭代竞争优化训练，最终使用训练完成的生成器模型U-Net、CU-Net和FU-Net作为裂缝图像分割器；通过U-Net、CU-Net和FU-Net模型实现对复杂沥青公路裂缝图像分割；包含以下主要步骤：步骤1、数据集预处理步骤1.1建立模型数据集：采集到的沥青公路裂缝图像，随机挑选多幅图像构成原始数据集；通过人工在原始数据集上标注裂缝区域，标注时根据图像中裂缝实际尺寸将裂缝区域标注成黑色，其余背景区域标注为白色，基于原始数据集重新标注后的数据构成目标数据集；步骤1.2图像数据增强(Imagedatageneration)：对步骤1.1中原始数据集和目标数据集进行相同的随机旋转变换、随机翻转变换和随机平移变换，分别获得模型训练数据集和模型目标数据集。步骤2训练U-GAN、FU-GAN和CU-GAN模型步骤2.1模型参数配置：在步骤1.2中获得模型训练数据集总量为S；训练模型过程设置N个epochs，即模型迭代训练N次，选定每一个epoch的batch-size值为K，即在每次迭代训练过程中需要进行训练S/K次，每次K幅图像参与训练，模型训练使用Adam损失函数作为损失优化函数；步骤2.2训练三个判别器模型D：将步骤1.2中模型训练数据集分别输入给U-Net、CU-Net和FU-Net模型，U-Net、CU-Net和FU-Net模型在没经过训练的情况下分别生成三幅易识别的伪图像FakeimageI，将FakeimageI与步骤1.2中模型目标数据集中对应的真实图像Realimage合并作为判别器模型D的输入，训练判别器模型D识别伪图像FakeimageI与模型目标数据集中对应的真实图像Realimage；步骤2.3训练生成器模型G：包含U-Net、CU-Net和FU-Net三个模型；固定步骤2.2中三个判别器模型D的参数，将步骤1.2中模型训练数据集分别输入给U-Net、CU-Net和FU-Net网络，训练生成器U-Net、CU-Net和FU-Net生成与步骤1.2中模型目标数据集相似的伪图像记为FakeimageII，伪图像FakeimageII为二值图像，生成器模型U-Net、CU-Net和FU-Net采用二分类交叉熵损失函数优化损失；步骤2.4迭代训练Iterativetraining：重复步骤2.2和步骤2.3，当所有的epochs迭代训练完后保存U-Net、CU-Net和FU-Net模型和模型参数信息；步骤3测试过程：沥青公路裂缝图像分本文档来自技高网...
【技术保护点】
1.一种基于生成对抗网络的沥青公路裂缝图像分割方法，利用深度学习框架的图像生成模型，使用U‑Net、CU‑Net和FU‑Net网络作为生成对抗GAN模型的生成器模型G；生成器模型包含的GU‑Net、CU‑Net和FU‑Net分别与三个相同的二分类网络判别器模型D(Discriminative)组合成U‑GAN、CU‑GAN、和FU‑GAN模型；通过生成器和判别器相互迭代竞争优化训练，最终使用训练完成的生成器模型U‑Net、CU‑Net和FU‑Net作为裂缝图像分割器；通过U‑Net、CU‑Net和FU‑Net模型实现对复杂沥青公路裂缝图像分割；包含以下主要步骤：步骤1、数据集预处理步骤1.1建立模型数据集：采集到的沥青公路裂缝图像，随机挑选多幅图像构成原始数据集；通过人工在原始数据集上标注裂缝区域，标注时根据图像中裂缝实际尺寸将裂缝区域标注成黑色，其余背景区域标注为白色，基于原始数据集重新标注后的数据构成目标数据集；步骤1.2图像数据增强(Image data generation)：对步骤1.1中原始数据集和目标数据集进行相同的随机旋转变换、随机翻转变换和随机平移变换，分别获得模型训练数据集和模型目标数据集；步骤2 训练U‑GAN、FU‑GAN和CU‑GAN模型步骤2.1模型参数配置：在步骤1.2中获得模型训练数据集总量为S；模型过程设置N个epochs，即模型迭代训练N次，选定每一个epoch的batch‑size值为K，即在每次迭代训练过程中需要进行训练S/K次，每次K幅图像参与训练，模型训练使用Adam损失函数作为损失优化函数；步骤2.2训练三个判别器模型D：将步骤1.2中模型训练数据集分别输入给U‑Net、CU‑Net和FU‑Net模型，U‑Net、CU‑Net和FU‑Net模型在没经过训练的情况下分别生成三幅易识别的伪图像Fake image I，将Fake image I与步骤1.2中模型目标数据集中对应的真实图像Real image合并作为判别器模型D的输入，训练判别器模型D识别伪图像Fake image I与模型目标数据集中对应的真实图像Real image；步骤2.3训练生成器模型G：包含U‑Net、CU‑Net和FU‑Net三个模型；固定步骤2.2中三个判别器模型D的参数，将步骤1.2中模型训练数据集分别输入给U‑Net、CU‑Net和FU‑Net网络，训练生成器U‑Net、CU‑Net和FU‑Net生成与步骤1.2中模型目标数据集相似的伪图像记为Fake image II，伪图像Fake image II为二值图像，生成器模型U‑Net、CU‑Net和FU‑Net采用二分类交叉熵损失函数优化损失；步骤2.4迭代训练Iterative training：重复步骤2.2和步骤2.3，当所有的epochs迭代训练完后保存U‑Net、CU‑Net和FU‑Net模型和模型参数信息；步骤3 测试过程：沥青公路裂缝图像分割步骤3.1：加载步骤2.4保存的U‑Net、CU‑Net和FU‑Net模型和模型参数信息；步骤3.2：将需要检测的沥青公路裂缝图像输入到生成器模型G(Generative)，包含U‑Net、CU‑Net和FU‑Net三个模型，生成器模型G生成对应的裂缝图Crack image；步骤3.3：将裂缝图Crackimage用5×5的卷积核进行图像腐蚀处理，然后通过连通域分析去除面积小于预设值的裂缝区域，最终得到分割完成的裂缝图。...
【技术特征摘要】
1.一种基于生成对抗网络的沥青公路裂缝图像分割方法，利用深度学习框架的图像生成模型，使用U-Net、CU-Net和FU-Net网络作为生成对抗GAN模型的生成器模型G；生成器模型包含的GU-Net、CU-Net和FU-Net分别与三个相同的二分类网络判别器模型D(Discriminative)组合成U-GAN、CU-GAN、和FU-GAN模型；通过生成器和判别器相互迭代竞争优化训练，最终使用训练完成的生成器模型U-Net、CU-Net和FU-Net作为裂缝图像分割器；通过U-Net、CU-Net和FU-Net模型实现对复杂沥青公路裂缝图像分割；包含以下主要步骤：步骤1、数据集预处理步骤1.1建立模型数据集：采集到的沥青公路裂缝图像，随机挑选多幅图像构成原始数据集；通过人工在原始数据集上标注裂缝区域，标注时根据图像中裂缝实际尺寸将裂缝区域标注成黑色，其余背景区域标注为白色，基于原始数据集重新标注后的数据构成目标数据集；步骤1.2图像数据增强(Imagedatageneration)：对步骤1.1中原始数据集和目标数据集进行相同的随机旋转变换、随机翻转变换和随机平移变换，分别获得模型训练数据集和模型目标数据集；步骤2训练U-GAN、FU-GAN和CU-GAN模型步骤2.1模型参数配置：在步骤1.2中获得模型训练数据集总量为S；模型过程设置N个epochs，即模型迭代训练N次，选定每一个epoch的batch-size值为K，即在每次迭代训练过程中需要进行训练S/K次，每次K幅图像参与训练，模型训练使用Adam损失函数作为损失优化函数；步骤2.2训练三个判别器模型D：将步骤1.2中模型训练数据集分别输入给U-Net、CU-Net和FU-Net模型，U-Net、CU-Net和FU-Net模型在没经过训练的情况下分别生成三幅...
【专利技术属性】
技术研发人员：彭博，高子平，李天瑞，许伟强，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。