一种基于生成对抗网络的桥梁裂缝自动检测方法技术

本发明专利技术公开了一种基于生成对抗网络的桥梁裂缝自动检测方法。本发明专利技术的方法包括：步骤一：搭建基于生成对抗网络的卷积神经网络框架：步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2的损失函数最小化，更新网络权重。本发明专利技术具有网络参数少、处理速度快和识别精度高的优点。

An automatic detection method of bridge cracks based on the generated countermeasure network

【技术实现步骤摘要】
一种基于生成对抗网络的桥梁裂缝自动检测方法
：本专利技术涉及一种基于生成对抗网络的桥梁裂缝自动检测方法，属于结构健康监测与图像处理领域。
技术介绍
：桥梁结构在服役期限内，由于其使用环境的影响，性能不断退化，降低其使用寿命。近年来，仍在使用年限内的桥梁发生倒塌的事故屡见不鲜。桥梁结构的规律性健康监测和养护对于延迟桥梁使用寿命，保证桥梁安全性至关重要。裂缝是反映结构安全性和耐久性的重要特征，也是桥梁安全检测中的重要一环。根据表观裂缝的形态可以给结构整体安全性评估提供指导。传统的裂缝检测方法主要是基于人工拍照检测，这种检测方式费时费力，效率低下，同时检测盲区较大，人力成本较高。因此，桥梁结构裂缝的快速自动检测具有重大的工程需求和广阔的前景。随着深度学习技术的发展，其在计算机视觉领域得到了广泛的应用。越来越多的专家学者也将深度学习技术引到土木工程结构检测领域当中。有很多专家学者都提出使用卷积神经网络来检测裂缝，在实验室环境下也得到了较好的测试结果，但是距离实际工程落地还有很长的路。究其根本原因，一方面是模型体量较大，难以实现实时检测，未考虑到自动检测设备的机载计算机的算力的局限性，难以有机结合；另一方面，所提模型的鲁棒性和泛化能力较差，特别是对于图像中的细微模糊裂缝，检测能力有限。因此，具备轻量化的、高检测精度和较好的泛化能力特点的模型，才能满足工程应用的需要。目前来看，这种模型由于构建难度较大，还有待进一步的研究。
技术实现思路
本专利技术的目的是提供一种基于生成对抗网络的桥梁裂缝自动检测方法，在保证检测精度的同时，兼顾检测速度。同时，具有较好的泛化能力以及工程适用性。上述的目的通过以下技术方案实现：一种基于生成对抗网络的桥梁裂缝自动检测方法，该方法包括如下步骤：步骤一：搭建基于生成对抗网络的卷积神经网络框架：所述卷积神经网络框架由生成网络1、判别网络1和判别网络2组成，将生成网络1和判别网络1合称为“分支网络”，将生成网络1、判别网络1和判别网络2这三个子网络统称为“整体网络”，其中，生成网络1用于提取图像特征，判别网络1用于预测裂缝，判别网络2用于增强判别网络1对裂缝的检测效果；步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中，即三个子网络中，其中判别网络2模型的参数进行随机初始化；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2的损失函数最小化，更新网络权重。进一步地，步骤一中所述的卷积神经网络框架中，生成网络1为一种编码-解码网络，包括密集连接块、下采样层和上采样层三个个基本组成模块；所述密集连接块由多层卷积经过多次连接组成；所述下采样层由卷积层和最大池化层组成，每通过一次下采样，张量的x和y维度均缩小1倍；所述上采样层由转置卷积构成，每通过一次上采样，张量的x和y维度均扩大1倍；所述卷积神经网络框架中，密集连接块有4个，层数分别为4、4、5和5层，所述下采样层和上采样层各有3个；所述判别网络1输出深度为1的张量，为模型预测结果；所述判别网络2输出为预测裂缝结果和真值在经过判别网络2映射后的差异。进一步地，步骤一中所述的卷积神经网络框架中，生成网络1：每一个密集连接块中，张量通过每一个卷积层之前，都会先进行批标准操作和线性激活处理；每一个下采样层，张量都会经过批标准化→线性激活→卷积层→dropout操作→最大池化层；判别网络1：张量的基本操作为：批标准化→线性激活→卷积层；判别网络2：张量的基本操作为：批标准化→Leakyrelu函数→卷积层，最后为全连接层；批标准化层的使得每层的神经网络的神经元输入值分布满足标准正态分布，其基本公式如下所示：式中：xi表示输入数据，μB表示均值，σB表示标准差，为符合标准正态分布的结果，γ和β为可学习重构参数。线性激活公式如下所示：LeakyRelu是线性激活的一种变式，可以避免在x＜0时，不能学习的情况，其公式如下，α通常为非常小的正数，网络中取α＝0.2：f(x)＝max(αx,x)Dropout操作是指训练过程中，随机将一部分神经网络单元暂时从网络中丢弃，削弱神经元节点之间的联合适应性，防止过拟合，网络中，神经元暂时丢弃的比例为20％。进一步地，步骤二中所述采集桥梁裂缝信息，形成数据集的过程中，首先对采样图像进行x和y方向的平移裁剪图像增强数据集，然后对50％的训练和测试图像进行均值滤波模糊处理，均值滤波的卷积核尺寸为4×4，下式中M(xa+i,yb+j)表示(xa+i,yb+j)处的滤波前的像素值，M1(xa,yb)表示(xa,yb)处的滤波后的像素值，F(i,j)则表示卷积核系数：进一步地，步骤三中所述预训练阶段，判别网络1通过交叉熵损失函数来衡量网络预测结果在统计意义上的精度，首先通过sigmoid非线性激活函数，将变量映射到(0,1)区间内，Sigmoid激活函数如下所示：交叉熵损失函数表示如下：其中，qt表示样本的真实标签，表示判别网络1的预测结果。进一步地，步骤四中所述对抗训练阶段，判别网络2通过生成器的损失函数来衡量预测结果和真实结果在网络映射下的差异，使得二者在形态上更加接近，从而达到增加判别网络1预测结果的，判别器损失函数如下：其中，D2(x)表示判别器，G(z)表示判别网络1的预测结果，G(z)＝D1(G1(z))，a＝1，b＝0；生成器的损失函数如下：其中，c＝1，λ也取为1，W为图片宽度，H为图像高度。其他参数的定义和取值与之前相同，因为对抗网络有判别器的存在，因此与原始网络相比，额外考虑了生成样本与标签之间的相似性，因此，具有更高的检测精度。与现有技术相比，本专利技术具有下列技术效果：1.本专利技术与传统语义分割模型相比，具有网络参数少、处理速度快和识别精度高的优点。对于模糊图片、细裂缝图片以及复杂背景图片均有较高的检测精度。还可以与无人机等自动化检测设备有机结合，进行结构裂缝的实时拍摄、处理和传输。2.本专利技术的模型还可以与无人机等自动化检测设备有机结合，进行结构裂缝的实时拍摄、处理和传输。提高裂缝特别是模糊裂缝的检测效果，意味着可以有效的增大检测的视场，提高检测效率，可以有效减少检测盲区、降低检测过程中的操作难度和危险性，在提高检测效率的同时可以节省大量人力成本。本专利技术所提方法具有广阔的工程应用前景。附图说明图1本专利技术的整体框架示意图；图2本专利技术的分支网络示意图；图3本专利技术的判别网络2示意图；图4本专利技术的框架细本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，该方法包括如下步骤：/n步骤一：搭建基于生成对抗网络的卷积神经网络框架：所述卷积神经网络框架由生成网络1、判别网络1和判别网络2组成，将生成网络1和判别网络1合称为“分支网络”，将生成网络1、判别网络1和判别网络2这三个子网络统称为“整体网络”，其中，生成网络1用于提取图像特征，判别网络1用于预测裂缝，判别网络2用于增强判别网络1对裂缝的检测效果；/n步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；/n步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；/n步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中，即三个子网络中，其中判别网络2模型的参数进行随机初始化；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2的损失函数最小化，更新网络权重。/n

【技术特征摘要】
1.一种基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，该方法包括如下步骤：
步骤一：搭建基于生成对抗网络的卷积神经网络框架：所述卷积神经网络框架由生成网络1、判别网络1和判别网络2组成，将生成网络1和判别网络1合称为“分支网络”，将生成网络1、判别网络1和判别网络2这三个子网络统称为“整体网络”，其中，生成网络1用于提取图像特征，判别网络1用于预测裂缝，判别网络2用于增强判别网络1对裂缝的检测效果；
步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；
步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；
步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中，即三个子网络中，其中判别网络2模型的参数进行随机初始化；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2的损失函数最小化，更新网络权重。


2.根据权利要求1所述的基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，步骤一中所述的卷积神经网络框架中，生成网络1为一种编码-解码网络，包括密集连接块、下采样层和上采样层三个个基本组成模块；所述密集连接块由多层卷积经过多次连接组成；所述下采样层由卷积层和最大池化层组成，每通过一次下采样，张量的x和y维度均缩小1倍；所述上采样层由转置卷积构成，每通过一次上采样，张量的x和y维度均扩大1倍；所述卷积神经网络框架中，密集连接块有4个，层数分别为4、4、5和5层，所述下采样层和上采样层各有3个；所述判别网络1输出深度为1的张量，为模型预测结果；所述判别网络2输出为预测裂缝结果和真值在经过判别网络2映射后的差异。


3.根据权利要求2所述的基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，步骤一中所述的卷积神经网络框架中，生成网络1：每一个密集连接块中，张量通过每一个卷积层之前，都会先进行批标准操作和线性激活处理；每一个下采样层，张量都会经过批标准化→线性激活→卷积层→dropout操作→最大池化层；
判别网络1：张量的基本操作为：批标准化→线性激活→卷积层；
判别网络2：张量的基本操作为：批标准化→Leakyrelu函数→卷积层，最后为全连接层；
批标准化层的使得每层的神经网络的神经元输入值分布满足标准正态分布，其基本公...

【专利技术属性】
技术研发人员：张建，何至立，倪富陶，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32