一种基于迁移学习的大坝图像裂缝检测方法技术

本发明专利技术公开了一种基于迁移学习的大坝图像裂缝检测方法，步骤：收集大坝裂缝图像，通过生成式对抗网络GAN对图像数据集进行预处理以填充数据集；采用不保留顶层全连接层的预训练模型MobileNet来提取图像特征，并在MobileNet后拼接Flatten层，在Flatten层后拼接一层激活函数为ReLU的全连接层，最后拼接一层激活函数为Sigmoid的全连接层作为输出层；对MobileNet中的前K个深度可分解卷积结构进行冻结，固定这K个深度可分解卷积结构的相关权重；对模型进行训练，在模型训练过程中仅更新未冻结的网络层的权重；利用训练好的模型在图像中对大坝裂缝的检测。本发明专利技术解决了小数据集情况下的过拟合问题，并通过迁移学习思想提高了预测性能和运行速度。

【技术实现步骤摘要】
一种基于迁移学习的大坝图像裂缝检测方法
本专利技术属于图像识别
，特别涉及了一种基于迁移学习的大坝图像裂缝检测方法。
技术介绍
我国在水利建设发展方面取得了举世瞩目的成就，大坝作为水利工程的重要组成部分，如何对其进行有效的安全性诊断一直是学界不断探讨的问题。大坝因其基本性质，一直承受着温度梯度和很大的水压、水的冲刷、渗透、侵蚀等，其不可避免地会产生裂缝，坝体内裂缝可能会形成集中渗漏通道，恶化大坝的运行状态，影响坝体的安全，因此对大坝裂缝的检测极其重要。目前，对大坝监测资料分析方法众多，如多元线性回归、统计模型、确定性模型和混合模型、灰色模型、人工神经网络等，然而这些方法所遇到的普遍问题是当大坝投入使用其处于一个复杂的开放环境中，水下环境复杂，采集的图像具有模糊不清、对比度低、亮度不均等特点，当自变量因子较多且存在多重相关性时，传统回归模型的拟合预测效果较差，人工神经网络算法等具有一定的自适应性且检测效果较好，但是算法实现困难。各种方法均有其适用性，同时针对各方法的局限性，许多学者对此都做出了进一步的改进。近年来，卷积神经网络在图像识别领域的应用越来越受到重视，其可以有效地捕获图像的网络状拓扑，通过卷积自动提取图像特征，经网络逐层分析获得较好的识别效果。
技术实现思路
为了解决上述
技术介绍
提出的技术问题，本专利技术旨在提供一种基于迁移学习的大坝图像裂缝检测方法，解决小数据集情况下的过拟合问题，并通过迁移学习思想提高预测性能和运行速度。为了实现上述技术目的，本专利技术的技术方案为：一种基于迁移学习的大坝图像裂缝检测方法，包括以下步骤：(1)收集大坝裂缝图像，通过生成式对抗网络GAN，对图像数据集进行预处理以填充数据集，从而减小因数据集数量不够而产生过拟合的影响；(2)构建网络模型：采用不保留顶层全连接层的预训练模型MobileNet来提取图像特征，并在MobileNet后拼接Flatten层，在Flatten层后拼接一层激活函数为ReLU的全连接层，最后拼接一层激活函数为Sigmoid的全连接层作为输出层；MobileNet包含13个深度可分解卷积结构；(3)对MobileNet中的前K个深度可分解卷积结构进行冻结，固定这K个深度可分解卷积结构的相关权重，1≤K≤13；(4)模型训练：将损失函数loss设置为对数损失，对模型进行训练，在模型训练过程中仅更新未冻结的网络层的权重；(5)模型训练完成后，通过使用滑动窗口截取测试图像在不同位置的窗口图像作为输入数据在模型中进行识别，根据输出结果判断该位置是否有裂缝，实现在图像中对大坝裂缝的检测。进一步地，在步骤(1)中，生成式对抗网络GAN包含一个生成器G和一个判别器D，生成器G接收一个随机的噪声z，通过这个噪声生成新的样本图像，记做G(z)；判别器D判别接收的图像的真假，并输出接收图像是真实图像的概率，若输入是真实图像，则输出就越接近1，否则输出越接近0；通过训练使生成式对抗网络GAN达到动态均衡的状态，即生成器G生成的图像接近于真实图像分布，同时判别器D对于给定图像的预测为真的概率接近0.5；训练完成后，利用生成器G输出伪裂缝图填充数据集，对原始图像数据集进行填充。进一步地，在步骤(1)中，训练生成式对抗网络GAN的过程如下：(11)在噪声数据分布中随机采样，输入生成器G，得到伪造的裂缝图G(z)；(12)在真实数据分布中随机采样，作为真实数据x；(13)将前两步中某一步产生的数据作为判别器D的输入，此时判别器D能判别出两者的差异，即D(G(z))接近于0，D(x)接近于1；(14)训练判别器D是最小化交叉熵的过程，判别器D的损失函数为：其中，Pdata(x)为真实数据分布，Pg(x)为生成器G的数据分布，E(·)表示数学期望值；则生成器G的损失函数ObjG(θG)＝-ObjD(θD,θG)；(15)根据判别器和生成器的损失函数，采用交替优化的方法，先固定生成器G，优化判别器D，使判别器D的判别准确率最大化；然后固定判别器D，优化生成器G，使判别器D的判别准确率最小化；当且仅当Pdata(x)＝Pg(x)时达到全局最优解，训练完成。进一步地，步骤(2)的具体过程如下：(21)固定MobileNet最开始的输入图像尺寸为128*128*3，其中3为图像深度，MobileNet中的每个深度可分解卷积结构均包含2层卷积层，即首先使用一组2D的卷积核，这一组2D卷积核的数量与输入通道数相同，卷积核的通道数为1，每次仅处理一个输入通道，逐个输入通道卷积处理后，再使用3D的1*1卷积核来处理，将最终输出通道数变为指定的数量；(22)连接Flatten层，用于将MobileNet的多维输出一维化，得到1*1*1024的列向量；(23)连接一个具有256个ReLU神经元的连接层和1个Sigmoid神经元的全连接层作为输出层，输出层结点数设置为1，用于解决二分类问题。进一步地，在步骤(3)中，由于每个深度可分解卷积结构具有2层卷积层，则总共冻结MobileNet中的K*2层顶层，冻结从第一个具有32个3*3卷积核的卷积层与64个1*1卷积核的卷积层的深度可分解卷积结构开始，到第K个具有Y个3*3卷积核与Z个1*1卷积核的深度可分解卷积结构结束，其中进一步地，在步骤(4)中，采用学习率为1e-3的Adam优化器对模型进行训练，e为自然常数。采用上述技术方案带来的有益效果：(1)本专利技术通过生成式对抗网络解决了因数据集小而造成的过拟合问题；(2)本专利技术一方面使用MobileNet替代传统3D卷积进行特征提取，减少了卷积核的冗余表达，同时采用迁移学习思想即冻结MobileNet的几个顶层，减少了运算量与运算时间。附图说明图1是本专利技术的整体流程图；图2是本专利技术中GAN模型训练过程图；图3是本专利技术中深度可分解卷积结构示意图；图4是本专利技术中MobileNet结构示意图；图5是本专利技术中串接网络结构示意图。具体实施方式以下将结合附图，对本专利技术的技术方案进行详细说明。如图1所示，本专利技术提出的一种基于迁移学习的大坝图像裂缝检测方法，具体步骤如下。步骤1、收集大坝裂缝图片，在应用中为了减小数据集数量不够而可能产生过拟合的影响，通过GAN对图片数据集进行预处理填充数据集。GAN包含一个生成器G和一个判别器D，生成器接收一个随机的噪声z，通过这个噪声生成新的样本图片，记做G(z)；判别器判别接收的图片的真假,输出为接收图片是真实图片的概率，若输入是真样本，则输出就越接近1，输入是假样本，则输出越接近0。在实际应用过程中，通过训练使判别器和生成器的相互“对抗”，使GAN达到动态均衡的状态，即生成器生成的图像接近于真实图像分布，同时判别器对于给定图像的预测为真的概率接近0.5；训练完成后，利用生成器输出的伪裂缝图填充数据集。如图2所示，具体训练过程如下：(1)在噪声数据分布中随机采样，输入生成器G，得到伪造的裂缝图G(z)；(2)在真实数据分布中随机采样，作为真实数据x；(3)将前两步中某一步产生的数据作为判别器D的输入，此时判别器D很容易判别出两者的差异，即D(G(z))接近于0，D(x)接近于1；(4)然后根据得到的概率值计算损失函数，训练判别器D是最小化交叉熵的过程，其损失函数为：其中，Pdata本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的大坝图像裂缝检测方法，其特征在于，包括以下步骤：(1)收集大坝裂缝图像，通过生成式对抗网络GAN，对图像数据集进行预处理以填充数据集，从而减小因数据集数量不够而产生过拟合的影响；(2)构建网络模型：采用不保留顶层全连接层的预训练模型MobileNet来提取图像特征，并在MobileNet后拼接Flatten层，在Flatten层后拼接一层激活函数为ReLU的全连接层，最后拼接一层激活函数为Sigmoid的全连接层作为输出层；MobileNet包含13个深度可分解卷积结构；(3)对MobileNet中的前K个深度可分解卷积结构进行冻结，固定这K个深度可分解卷积结构的相关权重，1≤K≤13；(4)模型训练：将损失函数loss设置为对数损失，对模型进行训练，在模型训练过程中仅更新未冻结的网络层的权重；(5)模型训练完成后，通过使用滑动窗口截取测试图像在不同位置的窗口图像作为输入数据在模型中进行识别，根据输出结果判断该位置是否有裂缝，实现在图像中对大坝裂缝的检测。

【技术特征摘要】
1.一种基于迁移学习的大坝图像裂缝检测方法，其特征在于，包括以下步骤：(1)收集大坝裂缝图像，通过生成式对抗网络GAN，对图像数据集进行预处理以填充数据集，从而减小因数据集数量不够而产生过拟合的影响；(2)构建网络模型：采用不保留顶层全连接层的预训练模型MobileNet来提取图像特征，并在MobileNet后拼接Flatten层，在Flatten层后拼接一层激活函数为ReLU的全连接层，最后拼接一层激活函数为Sigmoid的全连接层作为输出层；MobileNet包含13个深度可分解卷积结构；(3)对MobileNet中的前K个深度可分解卷积结构进行冻结，固定这K个深度可分解卷积结构的相关权重，1≤K≤13；(4)模型训练：将损失函数loss设置为对数损失，对模型进行训练，在模型训练过程中仅更新未冻结的网络层的权重；(5)模型训练完成后，通过使用滑动窗口截取测试图像在不同位置的窗口图像作为输入数据在模型中进行识别，根据输出结果判断该位置是否有裂缝，实现在图像中对大坝裂缝的检测。2.根据权利要求1所述基于迁移学习的大坝图像裂缝检测方法，其特征在于，在步骤(1)中，生成式对抗网络GAN包含一个生成器G和一个判别器D，生成器G接收一个随机的噪声z，通过这个噪声生成新的样本图像，记做G(z)；判别器D判别接收的图像的真假，并输出接收图像是真实图像的概率，若输入是真实图像，则输出就越接近1，否则输出越接近0；通过训练使生成式对抗网络GAN达到动态均衡的状态，即生成器G生成的图像接近于真实图像分布，同时判别器D对于给定图像的预测为真的概率接近0.5；训练完成后，利用生成器G输出伪裂缝图填充数据集，对原始图像数据集进行填充。3.根据权利要求2所述基于迁移学习的大坝图像裂缝检测方法，其特征在于，在步骤(1)中，训练生成式对抗网络GAN的过程如下：(11)在噪声数据分布中随机采样，输入生成器G，得到伪造的裂缝图G(z)；(12)在真实数据分布中随机采样，作为真实数据x；(13)将前两步中某一步产生的数据作为判别器D的输入...

【专利技术属性】
技术研发人员：刘凡，杨丽洁，毛莺池，许峰，辛仰鑫，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32