一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法技术

本发明专利技术涉及一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法：步骤一、采集多张集障碍物图片后添加标签输入Faster‑RCNN中进行训练；采集多张含有障碍物的裂缝图片并通过Faster‑RCNN对进行障碍物位置标定；步骤二、采集多张无障碍物的裂缝图片通过翻转后以扩增数据集；步骤三、将扩增后数据集输入生成式对抗网络训练裂缝生成模型；步骤四、含有障碍物的裂缝图片的障碍物所在位置进行信息擦除得到受损图像；步骤五、将受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像。本发明专利技术可准确地检测和去除裂缝图片中的障碍物信息，修复后的裂缝图像较之前峰值信噪比提升了0.6～0.9dB，从而实现了在有限的裂缝数据集条件下，生成大量还原度较高的裂缝图像。

A method of obstacle detection and removal for bridge cracks based on generation confrontation network

The invention relates to a method for detecting and removing obstacles in bridge crack images based on a generative countermeasure network. The first step is to collect multiple sets of obstacle pictures and add labels to input Faster_RCNN for training, collect multiple crack pictures containing obstacles and calibrate the position of obstacles through Faster_RCNN. Step 2. Acquisition of a number of obstacle-free crack pictures by flipping to expand the data set; Step 3. Enter the expanded data set into the training crack generation model of the Generative Countermeasure Network; Step 4. Erase the information of the location of the obstacle in the crack picture containing obstacles to get the damaged image; Step 5. Will be damaged. After the image input cycle discriminant repair model is iterated, the repaired crack image is obtained. The invention can accurately detect and remove the obstacle information in the crack image, and the restored crack image can increase the peak signal-to-noise ratio by 0.6-0.9 dB compared with the previous peak signal-to-noise ratio, thereby realizing the generation of a large number of crack images with high restoration degree under the condition of limited crack data sets.

【技术实现步骤摘要】
一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法
本专利技术属于计算机视觉
，具体涉及一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法。
技术介绍
随着交通运输业的发展，公路的养护工作变得十分的重要。桥梁作为当今社会交通枢纽的重要组成部分，不仅承担着运输重任还关系着运输人员的安危，但由于桥梁结构在长期使用中难免产生各种各样的损坏，造成桥梁结构抗力衰减和安全隐患，因此定期的检查和维护是必不可少的。裂缝是桥梁最常见的缺陷。桥梁裂缝产生的原因多种多样，主要是由于沥青路面的疲劳，同时还有不利的大气条件，可能导致材料收缩，或由于沥青混合物质量差或由于沥青混合料的弱点结构路面阻力。桥梁路面缺陷的检测是后续维护和修理的前提。为了进行桥梁裂缝的检测和修补，需要定期地拍摄桥梁缺陷图像。近几年，在物体检测和识别方向上取得重要成果的深度学习也逐渐被用到了桥梁裂缝的检测中。要训练一个对各种形式的裂缝识别精度都很高的神经网络，前期需要大量的数据作为支撑。受桥梁周围环境及采集条件如光照、相机拍摄角度及分辨率等因素的影响，采集到的图像中有很多障碍物会影响到裂缝的检测，因而取材难度大大增加。因此对原图像去除遮挡物变得十分有意义。由于人工手动对图像中含障碍物的区域擦除后再进行图像缺失部分补全的方式效率低，因此研究采用计算机视觉的方式自动进行障碍物图像的补全具有重要的应用前景。图像的补全属于图像修复的一种形式，其修复对象是纹理信息有部分缺失的图像。近年来国内外在此领域也开展了诸多相关研究。期刊ACM在2000年PP417–424页中发表了Bertalmioetal.的ImageInpainting中提出图像修复这一词；期刊IEEETransactionsonImageProcessing在2003年PP882-889中发表的Simultaneousstructureandtextureimageinpainting提出采用偏微分方程的方法进行图像修复，但是该算法缺少稳定性，修复结果往往不佳；随后2001年期刊SIAMJournalonAppliedMathematics在PP1019-1043发表的Mathematicalmodelsforlocalnon-textureinpaintings是由Chan等人在此基础上提出基于能量最小化原则的统一修复模型，但由于该模型受到修复区域大小的限制，且不满足连续性原则，进而又于2001年在发表在期刊JournalofVisualCommunicationandImageRepresentation的PP436-449的文章Non-textureinpaintingbycurvature-drivendiffusions(CDD)中提出一种基于曲率扩散模型，只是以上算法均只适用于非纹理图像的修复，当所需修复的图像是纹理图像时则没有办法完成修复任务；因此，criminisi等人于2004年在期刊IEEETransactionsonImageProcessing.的PP1200-121上发表的Regionfillingandobjectremovalbyexemplar-basedimageinpainting将偏微分方程和纹理信息结合起来，提出基于样本块的图像修复算法，该算法以块为修复单位，可以保留图像的纹理特性，但该算法将两部分内容结合修复较慢，且无法修复含大型连续区域缺失的图像，RaymondYeh等人在2016年提交到会议ComputerVisionandPatternRecogntion，连接为https://arxiv.org/abs/1607.07539的网络文章SemanticImageInpaintingwithPerceptualandContextualLosses中提出用深度卷积对抗式生成网络的方法进行图像修复的方法，并给出了使用二进制掩码的概念使得通过训练有素的网络实现对破损图像的纹理特征和语义进行修复成为可能，但由于二进制掩码的不可变性使得所有的像素点在图像修复过程中对修复区域贡献相同，这使得修复结果往往不稳定。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，可准确地检测和去除裂缝图片中的障碍物信息，并能较好地修复还原裂缝图像，修复后的裂缝图像较之前峰值信噪比提升了0.6～0.9dB，从而实现了在有限的裂缝数据集条件下，生成大量还原度较高的裂缝图像。本专利技术要解决的技术问题通过以下技术方案实现：一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，包括以下步骤：步骤一、通过图像采集装置采集多张集障碍物图片后，另采集多张含有障碍物的裂缝图片，将所述障碍物图片添加标签后输入Faster-RCNN中进行训练；通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图片进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；步骤二、通过图像采集装置采集多张无障碍物的裂缝图片，通过将每张图片翻转后以扩增无障碍物的裂缝图片的数据集；步骤三、将扩增后的无障碍物的裂缝图片输入深度卷积对抗式生成网络训练裂缝生成模型；步骤四、将所述识别率大于百分之九十的含有障碍物的裂缝图片的障碍物所在位置进行信息擦除，得到受损图像；步骤五、将所述受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像；所述循环判别修复模型以所述已训练完成的裂缝生成模型为网络框架。进一步的，所述步骤五的具体步骤为：步骤5.1，构造值在[-1，1]区间内随机分布的与所述含有障碍物的裂缝图片数量相同的维数的随机向量Z(n)＝{Z(1),Z(2),...,Z(n)}，n为正整数，通过所述已训练完成的裂缝生成模型的生成器G对随机向量Z(n)进行生成，输出生成向量G(z)；步骤5.2，将所述生成向量G(z)和受损图像均覆盖相同的距离加权修复掩膜，并计算加权语义损失Ls:Ls＝||Md⊙(G(z)-x)||1；其中，Md为加距离加权修复掩膜，x为受损图像；步骤5.3，将所述生成向量G(z)输入到所述已训练完成的裂缝生成模型的判别器D中得到感知损失Lp＝log(1-D(G(z)))；步骤5.4，将所述感知损失与语义损失加权求和，和值最小的真向量为最优向量再将最优向量覆盖反向距离加权修复掩膜步骤5.5，将所述覆盖反向距离加权修复掩膜的最优向量与所述受损图像拼接得到拼接修复图像，将拼接修复图像输入所述判别器D中进行再判别，且得到全局损失其中Lg为全局损失，Md为距离加权修复掩膜，为反向距离加权修复掩膜；步骤5.6，根据公式(1)得到联合损失：L＝Ls+λLp+μLg(1)；L为联合损失，λ为感知参数，μ为全局参数，Ls为加权语义损失，Lp为感知损失，Lg为全局损失；将所述联合损失输入所述生成器G，生成器G根据联合损失对最优向量步骤5.7，重复步骤5.1至步骤5.6，多次迭代完成后获得修复后的裂缝图像。进一步的，所述距离加权修复掩膜Md通过公式(2)计算：所述为反向距离加权修复掩膜通过公式(3)计算：其中，x表示受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，xij表示受损图像当本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，其特征在于：包括以下步骤：步骤一、通过图像采集装置采集多张集障碍物图片后，另采集多张含有障碍物的裂缝图片，将所述障碍物图片添加标签后输入Faster‑RCNN中进行训练；通过训练完成的Faster‑RCNN对多张含有障碍物的裂缝图片进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；步骤二、通过图像采集装置采集多张无障碍物的裂缝图片，通过将每张图片翻转后以扩增无障碍物的裂缝图片的数据集；步骤三、将扩增后的无障碍物的裂缝图片输入深度卷积对抗式生成网络训练裂缝生成模型；步骤四、将所述识别率大于百分之九十的含有障碍物的裂缝图片的障碍物所在位置进行信息擦除，得到受损图像；步骤五、将所述受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像；所述循环判别修复模型以所述已训练完成的裂缝生成模型为网络框架。

【技术特征摘要】
1.一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，其特征在于：包括以下步骤：步骤一、通过图像采集装置采集多张集障碍物图片后，另采集多张含有障碍物的裂缝图片，将所述障碍物图片添加标签后输入Faster-RCNN中进行训练；通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图片进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；步骤二、通过图像采集装置采集多张无障碍物的裂缝图片，通过将每张图片翻转后以扩增无障碍物的裂缝图片的数据集；步骤三、将扩增后的无障碍物的裂缝图片输入深度卷积对抗式生成网络训练裂缝生成模型；步骤四、将所述识别率大于百分之九十的含有障碍物的裂缝图片的障碍物所在位置进行信息擦除，得到受损图像；步骤五、将所述受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像；所述循环判别修复模型以所述已训练完成的裂缝生成模型为网络框架。2.根据权利要求1所述的方法，其特征在于：所述步骤五的具体步骤为：步骤5.1，构造值在[-1，1]区间内随机分布的与所述含有障碍物的裂缝图片数量相同的维数的随机向量Z(n)＝{Z(1),Z(2),...,Z(n)}，n为正整数，通过所述已训练完成的裂缝生成模型的生成器G对随机向量Z(n)进行生成，输出生成向量G(z)；步骤5.2，将所述生成向量G(z)和受损图像均覆盖相同的距离加权修复掩膜，并计算加权语义损失Ls:其中，Md为加距离加权修复掩膜，x为受损图像；步骤5.3，将所述生成向量G(z)输入到所述已训练完成的裂缝生成模型的判别器D中得到感知损失Lp＝log(1-D(G(z)))；步骤5.4，将所述感知损失与语义损失加权求和，和值最小的真向量为最优向量再将最优向量覆盖反向距离加权修复掩膜步骤5.5，将所述覆盖反向距离加权修复掩膜的最优向量与所述受损图像拼接得到拼接修复图像，将拼接修复图像输入所述判别器D中进行再判别，且得到全局损失其中Lg为全局损失，M...

【专利技术属性】
技术研发人员：李良福，胡敏，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西,61