基于迁移学习的小样本条件下土石坝表面裂缝分割方法技术

本发明专利技术提供了一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法，包括：步骤S1：利用摄影设备采集土石坝表面裂缝图像，将图像裁剪为固定尺寸，对图像中裂缝区域进行标注，制成土石坝表面裂缝分割数据集，并通过多种方法对数据集进行数据增强；步骤S2：构建一种基于多尺度特征增强的深度学习语义分割模型MFE

【技术实现步骤摘要】
基于迁移学习的小样本条件下土石坝表面裂缝分割方法


[0001]本专利技术属于图像处理
，具体涉及一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法。

技术介绍

[0003]近年来，随着计算机硬件性能的提高和相关理论研究的蓬勃发展，深度学习在图像处理领域展示出相对于传统方法的巨大优越性。深度学习利用卷积神经网络自动提取不同层级的特征，其特征表达能力强，鲁棒性好，在各类实际应用场景都有着不俗的表现。在裂缝检测方面，基于卷积神经网络的语义分割方法能够得到像素级别的识别结果，可以较为完整地保留裂缝的结构特征信息，是领域内的主流研究方向。然而当前绝大部分研究均是针对混凝土或沥青材质结构(如混凝土大坝、墙壁、道路等)的表面裂缝，鲜有针对土石材质结构(如土石坝)表面裂缝识别方法的研究，这导致关于土石坝表面裂缝的数据资料偏少，目前绝大部分裂缝公开数据集均为混凝土或沥青裂缝图像，尚无土石坝表面裂缝图像的公开数据集。此外，土石坝外观容易受其材质和所处环境差异的影响，稳定性差，场景复杂，对其表面裂缝识别极易受到背景噪声干扰。因此提出一种在小样本条件下能够克服噪声干扰、准确区分裂缝与背景噪声的土石坝表面裂缝分割方法具有重要意义。

技术实现思路

[0004]为了解决上述问题，本专利技术提出一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法。
[0005]为达到上述目的，本专利技术提供如下技术方案包括以下步骤：
[0006]步骤S1：利用摄影设备采集土石坝表面裂缝图像，将图像裁剪为固定尺寸，对图像中裂缝区域进行标注，制成土石坝表面裂缝分割数据集，并通过多种方法对数据集进行数据增强；
[0007]步骤S2：构建一种基于多尺度特征增强的深度学习语义分割模型MFE
‑
Net；
[0008]步骤S3：在样本量充足的混凝土裂缝公开数据集上对MFE
‑
Net模型进行预训练，并保存预训练模型参数；
[0009]步骤S4：加载预训练模型，基于所构建的土石坝表面裂缝数据集对模型进行微调，得到土石坝表面裂缝分割模型；
[0010]步骤S5：基于训练好的土石坝表面裂缝分割模型实现对的土石坝表面裂缝的分割。
[0011]进一步地，所述步骤S1具体包括：
[0012]步骤S11：利用摄影设备采集土石坝表面裂缝图像，将裂缝图像裁剪至512*384的固定尺寸；
[0013]步骤S12：使用Labelme软件对裁剪至固定尺寸的裂缝图像进行标注，制成土石坝表面裂缝分割数据集；
[0014]步骤S13：使用图像镜像、旋转等多种方法对数据集进行数据增强，扩充数据集样本数量。
[0015]进一步地，所述步骤S2具体包括；
[0016]步骤S21：构建基于U形编码器
‑
解码器框架的语义分割网络，其中编码器网络深度为4层，解码器网络深度为4层；
[0017]步骤S22：构建多尺度特征增强模块MFEM，对编码器中的多尺度特征信息进行特征增强。
[0018]作为优选，所述步骤S22中多尺度特征增强模块MFEM，其特征图增强方式为：
[0019]首先，利用不同扩张尺度的空洞卷积对编码器第4层特征图进行卷积，并将特征图进行通道维度拼接，其过程可表示为：
[0020][0021]其中，C1()表示一次1
×
1卷积操作，表示一次3
×
3空洞卷积操作，r为扩张尺度，[]表示通道维度上的拼接操作。其次，对编码器前3层特征图进行下采样和通道数调整，并与第4层的上下文增强特征图进行通道维度拼接，其过程可表示为：
[0022][0023]其中，X
k
表示编码器第k层特征图，D
N
()表示对目标特征图进行下采样操作，N为下采样倍数。最后，对第4层特征图进行全局平均池化，获取全局上下文信息，然后通过Sigmoid激活函数生成通道权重向量，用于引导所有4层特征图中的多尺度特征信息的融合，其过程可表示为：
[0024][0025]其中，F
scale
(X，S)表示特征图X与通道权重向量S在通道维度上相乘，对特征图X的通道权重进行调整，σ()表示利用Sigmoid激活函数生成通道权重向量，P()表示进行一次全局平均池化。
[0026]作为优选，所述步骤S4中利用土石坝表面裂缝数据集对预训练模型进行微调时，冻结编码器网络第1和第2层，只对第3和第4层进行参数更新。
[0027]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于迁移学习的小样本条件下土石坝表面裂缝分割方法。
[0028]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于迁移学习的小样本条件下土石坝表面裂缝分割方法。
[0029]本专利技术的专利技术点及技术效果：
[0030]1、针对土石坝表面裂缝样本不充足的问题，采用基于参数的迁移学习方法，在样本数量充足的混凝土坝裂缝数据集上进行预训练，再在小样本的土石坝裂缝数据集上通过冻结部分模型参数的形式对预训练模型进行微调，实现了样本条件下的土石坝裂缝分割。
[0031]2、针对土石坝表面裂缝图像场景复杂、背景噪声干扰严重的问题，设计了一种的基于多尺度特征增强的裂缝分割网络MFE
‑
Net，提出了一种多尺度特征增强模块，增强网络对裂缝关键特征的提取能力，弱化干扰噪声的影响。
附图说明
[0032]通过阅读下文优选实施方式的详细描述，其他的优点和益处对于本领域研究技术人员将变得清晰明了，相关附图仅用于展示优选实施方式的目的，而并非是对本专利技术的限制。在附图中：
[0033]图1为本专利技术实施例中的一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法整体流程图；
[0034]图2为多尺度特征增强的裂缝分割网络MFE
‑
Net结构图；
[0035]图3为多尺度特征增强模块MFEM结构图；
[0036]图4为不同扩张尺度下空洞卷积采样结构图；
具体实施方式
[0037]下面结合附图更详细的描述本专利技术。需要注意的是，虽然附图中显示了本专利技术的实例样例，然而应当理解，可以以各种形式实现本专利技术而不应该被这里阐述的样例所限制。相反，提供这些实施样例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给领域内的技术人员。
[0038]如图1所示，本专利技术实施样例为一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法，该方法包括以下步骤：
[0039]步骤1：数据集制作与数据增强
[0040]使用无人机或手持摄影设备，拍土石坝表面裂缝图像，将图像裁剪至512*384的固定尺寸；使用Labelme软件对裁剪后图像中裂缝区域进行标注，制成对应的二值掩膜图像(mask)，其中裂缝区域的像素值为1，背景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法，其特征在于：步骤S1：利用摄影设备采集土石坝表面裂缝图像，将图像裁剪为固定尺寸，对图像中裂缝区域进行标注，制成土石坝表面裂缝分割数据集，并通过多种方法对数据集进行数据增强；步骤S2：构建一种基于多尺度特征增强的深度学习语义分割模型MFE
‑
Net；步骤S3：在样本量充足的混凝土裂缝公开数据集上对MFE
‑
Net模型进行预训练，并保存预训练模型参数；步骤S4：加载预训练模型，基于所构建的土石坝表面裂缝数据集对模型进行微调，得到土石坝表面裂缝分割模型；步骤S5：基于训练好的土石坝表面裂缝分割模型实现对的土石坝表面裂缝的分割。2.根据权利要求1所述的基于迁移学习的小样本条件下土石坝表面裂缝分割方法，其特征在于，所述步骤S1进一步包含以下步骤：步骤S11：利用摄影设备采集土石坝表面裂缝图像，将裂缝图像裁剪至512*384的固定尺寸；步骤S12：使用Labelme软件对裁剪至固定尺寸的裂缝图像进行标注，制成土石坝表面裂缝分割数据集；步骤S13：使用图像镜像、旋转等多种方法对数据集进行数据增强，扩充数据集样本数量。3.根据权利要求1所述的一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法，其特征在于，所述步骤S2进一步包含以下步骤：步骤S21：构建基于U形编码器
‑
解码器框架的语义分割网络，其中编码器网络深度为4层，解码器网络深度为4层；步骤S22：构建多尺度特征增强模块MFEM，对编码器中的多尺度特征信息进行特征增强。4.根据权利要求3所述的一种基于迁移学习的小样本条件下土石坝表面裂缝分割方法，其特征在于，所述步骤S22中多尺度特征增强模块MFEM，其特征图增强方式为：首先，利用不同扩张尺度的空洞卷积对编码器...

【专利技术属性】
技术研发人员：张丽丽，廖洋，
申请(专利权)人：河海大学，
类型：发明
国别省市：