一种基于生成式对抗网络的桥梁裂缝图像的修复方法技术

本发明专利技术涉及一种基于生成式对抗网络的桥梁裂缝图像的修复方法，本发明专利技术的修复掩膜加入了距离权重，包括一种基于距离的距离加权修复掩膜Md，以及反向距离加权修复掩膜

A restoration method of bridge crack image based on generation confrontation network

The invention relates to a repair method for a bridge crack image based on a generative antagonism network. The invention covers a distance weight, including a distance weighted repair mask Md, and a reverse distance weighted repair mask.

【技术实现步骤摘要】
一种基于生成式对抗网络的桥梁裂缝图像的修复方法
本专利技术属于计算机视觉
，具体涉及一种基于生成式对抗网络的桥梁裂缝图像的修复方法。
技术介绍
随着交通运输业的发展，公路的养护工作变得十分的重要。桥梁作为当今社会交通枢纽的重要组成部分，不仅承担着运输重任还关系着运输人员的安危，但由于桥梁结构在长期使用中难免产生各种各样的损坏，造成桥梁结构抗力衰减和安全隐患，因此定期的检查和维护是必不可少的。裂缝是桥梁最常见的缺陷。桥梁裂缝产生的原因多种多样，主要是由于沥青路面的疲劳，同时还有不利的大气条件，可能导致材料收缩，或由于沥青混合物质量差或由于沥青混合料的弱点结构路面阻力。桥梁路面缺陷的检测是后续维护和修理的前提。为了进行桥梁裂缝的检测和修补，需要定期地拍摄桥梁缺陷图像。近几年，在物体检测和识别方向上取得重要成果的深度学习也逐渐被用到了桥梁裂缝的检测中。要训练一个对各种形式的裂缝识别精度都很高的神经网络，前期需要大量的数据作为支撑。受桥梁周围环境及采集条件如光照、相机拍摄角度及分辨率等因素的影响，采集到的图像中有很多障碍物会影响到裂缝的检测，因而取材难度大大增加。因此对原图像去除遮挡物变得十分有意义。由于人工手动对图像中含障碍物的区域擦除后再进行图像缺失部分补全的方式效率低，因此研究采用计算机视觉的方式自动进行障碍物图像的补全具有重要的应用前景。使用深度卷积生成式对抗网络对受损部分呈大型区域型、离散型或噪声点型的图像进行修复对比传统的修复方法可以达到很好的修复效果。由RaymondYeh等人发表于2016的文章SemanticImageInpaintingwithPer-ceptualandContextualLosses给出一种二进制掩膜，待修复图像的受损区域对应值为0，未受损区域对应值为1，在加掩膜后的生成样本G(z)中搜索，寻找到与待修复图像未受损区域最接近的生成图像进行补全。然而这种方法没有考虑到位置信息，默认待修复区域距离不同的像素对补全所做的贡献相同，这可能导致生成器只注意到距离修复区域远的像素信息，而忽略修复区域的边缘信息，造成修复的不连贯。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于生成式对抗网络的桥梁裂缝图像的修复方法，提高了修复时的补全图像边缘的连续性。本专利技术要解决的技术问题通过以下技术方案实现：一种基于生成式对抗网络的桥梁裂缝图像的修复方法，包括以下步骤：步骤一、获取多张无障碍物的裂缝图像，通过多张无障碍物的裂缝图像对深度卷积对抗式生成网络进行训练；获取多张含有障碍物的裂缝图像，并通过二进制掩膜M对含有障碍物的裂缝图像中的障碍物进行擦除，得到受损图像；步骤二、随机向量Z通过已训练完成的深度卷积对抗式生成网络的生成器G生成多个随机的生成向量G(z)，根据公式(1)计算所述生成向量G(z)各个向量的感知损失：Lp＝log(1-D(G(z)))(1)其中D为判别器；步骤三、将生成向量G(z)和所述受损图像均覆盖相同的距离加权修复掩膜Md，Md通过公式(2)计算得到：其中，x为受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，xij为受损图像当前像素点位置，Mij为二进制掩膜M矩阵内位置为(i，j)的对应点；步骤四、根据公式(4)计算所述覆盖距离加权修复掩膜Md后的生成向量G(z)各个向量的加权语义损失Ls：Ls＝||Md⊙(G(z)-x)||1(4)Md为距离加权修复掩膜，x为受损图像；步骤五、根据公式(5)计算联合损失，联合损失最小的向量为最优补全向量；然后重复步骤二至步骤五，通过Adam优化算法不断迭代3000次后得到最终补全图；L＝λLp+μLs(5)其中，L为联合损失，λ为感知参数，μ为语义参数；步骤六、将最终补全图覆盖反向距离加权修复掩膜然后与所述受损图像进行拼接，完成修复；通过公式(3)计算得到：其中，x为受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，xij为受损图像当前像素点位置，Mij为二进制掩膜M矩阵内位置为(i，j)的对应点。与现有技术相比，本专利技术的有益效果：本专利技术的修复掩膜加入了距离权重。由于待修复区域边缘的像素对应权值更大，在图像修复过程中占更加重要的地位，及与待修复图像的像素分布存在差异时惩罚力度更大，因此当搜索到的补全图像与受损图像的像素分布差值(加权语义损失)为同一值时，待修复区域边缘的像素分布与最优向量的形态分布更加逼近受损图像，从而提高了补全图像边缘的连续性。附图说明图1是本专利技术含有障碍物的裂缝图片障碍物位置标定流程图。图2是本专利技术和RaymondYeh等人发表于2016的文章SemanticImageInpaintingwithPer-ceptualandContextualLosses的修复对比图；(1)为原图，(2)为受损图像，(3)为SemanticImageInpaintingwithPer-ceptualandContextualLosses掩膜修复效果图，(4)为本专利技术修复效果图。图3是本专利技术的流程图。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。在本专利技术创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术创造的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本专利技术创造中的具体含义。本专利技术是基于由RaymondYeh等人发表于2016的文章SemanticImageInpaintingwithPer-ceptualandContextualLosses中的深度卷积对抗式生成网络为基础进行的改进。本实施例提供一种基于生成式对抗网络的桥梁裂缝图像的修复方法，包括以下步骤：步骤一、获取多张无障碍物的裂缝图像，通过多张无障碍物的裂缝图像对深度卷积对抗式生成网络进行训练；获取多张含有障碍物的裂缝图像，并通过二进制掩膜M对含有障碍物的裂缝图像中的障碍物进行擦除，得到受损图像。步骤一的具体步骤为：1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的桥梁裂缝图像的修复方法，其特征在于：包括以下步骤：步骤一、获取多张无障碍物的裂缝图像，通过多张无障碍物的裂缝图像对深度卷积对抗式生成网络进行训练；获取多张含有障碍物的裂缝图像，并通过二进制掩膜M对含有障碍物的裂缝图像中的障碍物进行擦除，得到受损图像；步骤二、随机向量Z通过已训练完成的深度卷积对抗式生成网络的生成器G生成多个随机的生成向量G(z)，根据公式(1)计算所述生成向量G(z)各个向量的感知损失：Lp＝log(1‑D(G(z)))    (1)其中D为判别器；步骤三、将生成向量G(z)和所述受损图像均覆盖相同的距离加权修复掩膜Md，Md通过公式(2)计算得到：

【技术特征摘要】
1.一种基于生成式对抗网络的桥梁裂缝图像的修复方法，其特征在于：包括以下步骤：步骤一、获取多张无障碍物的裂缝图像，通过多张无障碍物的裂缝图像对深度卷积对抗式生成网络进行训练；获取多张含有障碍物的裂缝图像，并通过二进制掩膜M对含有障碍物的裂缝图像中的障碍物进行擦除，得到受损图像；步骤二、随机向量Z通过已训练完成的深度卷积对抗式生成网络的生成器G生成多个随机的生成向量G(z)，根据公式(1)计算所述生成向量G(z)各个向量的感知损失：Lp＝log(1-D(G(z)))(1)其中D为判别器；步骤三、将生成向量G(z)和所述受损图像均覆盖相同的距离加权修复掩膜Md，Md通过公式(2)计算得到：其中，x为受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，xij为受损图像当前像素点位置，Mij为二进...

【专利技术属性】
技术研发人员：李良福，胡敏，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西,61