一种基于迁移学习的轻量化混凝土桥梁病害识别方法技术

本发明专利技术公开了一种基于迁移学习的轻量化混凝土桥梁病害识别方法，分别采用轻量级模型MobileNet和MobileNet

【技术实现步骤摘要】
一种基于迁移学习的轻量化混凝土桥梁病害识别方法


[0001]本专利技术属于图像处理领域，涉及一种采用迁移学习并基于轻量化卷积神经网络的混凝土桥梁病害分类和检测模型。本专利技术适用于混凝土桥梁表面的高效智能化分类和检测。

技术介绍

[0002]在路面、桥梁等基础设施的养护工作中，快速且准确的裂缝识别一直是土木工程师亟需解决的问题。现场人工识别检测费时费力且效率低下，及时准确的智能化基础设施病害识别必然是大势所趋。
[0003]近年来，深度学习方法作为一种具备强大计算和学习能力，被广泛地应用于病害的自动化识别。但传统的卷积神经网络(ConvolutionalNeural Network,CNN)包含众多参数，随之带来检测速度慢的问题。因此，本专利技术采用一种轻量级神经网络MobileNet，实现卷积模式的创新，减少网络的权值参数，以实现更快的计算。
[0004]此外，本专利技术采用迁移学习方法，将已有模型的权值参数迁移至新任务中。通过改变迁移学习方式、调整分类网络的结构，设计对比实验，探究能够快速实现混凝土桥梁表面裂缝的智能识别的有效方法及最佳模型，用于实际的路面识别工程中。

技术实现思路

[0005]本专利技术提出了一种用于混凝土桥梁病害识别的轻权重迁移学习方法，通过采用MobileNet网络实现病害分类和检测模型的轻量化，并在两种不同迁移模式下(模式I和模式II)设计了一步迁移和两步迁移两种迁移学习方式。其中,模式I表示MobileNet分类网络中所有的卷积层参数都被迁移，仅随机训练了全连接层的权值参数；模式II对部分卷积层的参数进行迁移。一步迁移将百万级ImageNet数据库训练的共性特征分类模型的权重直接迁移至混凝土桥梁病害的识别模型中；两步迁移则添加了沥青路面病害识别作为中间步骤，即首先将基于ImageNet数据库训练的模型的权重参数迁移至沥青路面病害识别模型中，再将沥青路面病害识别精度最佳的模型的参数迁移至混凝土桥梁病害识别模型中。本专利技术将这两种迁移方式应用于混凝土桥梁病害的分类和检测任务中，探寻一种兼顾分类和检测准确性和效率的轻权重迁移学习方式和模型。
[0006]本专利技术使用的沥青路面数据集为中国江苏省沥青路面三通道图像3000张，像素为4096
×
2000，由ZOYON
‑
RTM智能道路检测车拍摄，混凝土桥梁数据集由交通运输部公路研究所，拍摄于中国四川省不同的高速公路上。通过对图像中路面病害的训练学习，该专利技术可以实现对路面及桥梁表面裂缝的自动分类与检测，以用于智能路面结构健康监测。
[0007]1.混凝土桥梁病害的分类
[0008]本专利技术将MobileNet作为轻量化网络，用于沥青路面病害和混凝土桥梁病害的分类，包括原始图像预处理、数据集制作、轻量化分类模型建立、沥青路面病害和混凝土桥梁病害分类识别四大部分。
[0009]步骤一：原始图片数据及预处理
[0010]首先，对道路检测车拍摄的沥青路面图片进行分类，分为路面背景、路面纵向裂缝、路面横向裂缝、道路标线和道路破损标线5类；将混凝土桥梁表面图片分为有裂缝和无裂缝2类。其次，对像素为4096
×
2000的原始图片进行批量裁剪，将每张图裁剪为400
×
400像素大小的50个子图像。最后，调整所有图像大小为224
×
224。
[0011]步骤二：数据集制作
[0012]把沥青路面图片集和混凝土桥梁图片集按照训练集、验证集和测试集比例约为6：2：2进行划分。
[0013]步骤三：基于MobileNet轻量化网络模型的建立
[0014]本专利技术选择近年来作为轻量级网络广泛应用的移动网作为迁移学习过程的基础模型。它包含一个名为深度可分离卷积的核心模块，该模块包括两个卷积步骤:深度卷积(Depthwise Convolution)和点向卷积(Pointwise Convolution)。其中，深度卷积通过3
×
3尺寸的卷积对输入图像进行分割，然后点向卷积使用一个1
×
1的卷积来组合深度卷积的输出。本专利技术的预训练的MobileNet模型共包含28个卷积层。该模型首先将图片输入一个3
×
3卷积层。然后采用多层深度可分卷积对输入图像进行特征提取。为了保证训练的稳定性和效率，在每个卷积层之后进行BatchNorm运算和ReLU非线性激活函数。随后，采用滤波核为3
×
3进行平均池化，步长设置为2。最后，添加全连接层(Fully Connected Layer)，并利用Softmax激活将图像分类为所需的目标类别。MobileNet网络的结构参数如表1所示：
[0015]表1 MobileNet各层的结构和参数
[0016][0017][0018]步骤四：训练与测试
[0019]在迁移模型卷积层的全部参数和仅迁移模型部分卷积层的参数两种不同的迁移模式下，本专利技术试图比较一步迁移学习方式还是两步迁移学习方式能够更有效地对混凝土桥梁病害进行分类。具体内容如下：
[0020](1)一步迁移：分别在两种迁移模式下，直接将基于ImageNet大数据库训练好的分
类模型的权值迁移至混凝土桥梁病害的分类模型，最终输出混凝土桥梁病害的分类测试结果。
[0021](2)两步迁移：分别在两种迁移模式下，将处理好的沥青路面数据训练集输入到搭建的神经网络中进行训练和测试。通过对准确度、召回率、F1值等模型结果评估分析，选择出精确度最佳的沥青路面病害分类模型并保存其权值参数。随后，将这些最优的参数迁移至混凝土桥梁病害的分类网络中，对混凝土桥梁数据集进行训练和测试，得到最终的分类结果。
[0022]2.混凝土桥梁病害的检测
[0023]本专利技术采用轻量化网络MobileNet
‑
SSD来检测沥青路面病害和混凝土桥梁病害，具体步骤如下：
[0024]步骤一：原始图片数据及预处理
[0025]首先，将400
×
400像素大小的子图像调整为300
×
300大小。其次，使用软件LabelImg进行沥青路面图片集和混凝土桥梁表面图片集的病害类型和位置标定，将标定后的JPG图片保存格式为xml文件。
[0026]步骤二：数据集制作
[0027]把沥青路面图片集和混凝土桥梁图片集按照训练集和测试集比例约为9：1进行划分。
[0028]步骤三：MobileNet
‑
SSD目标检测模型的建立
[0029]本专利技术采用MobileNet
‑
SSD模型来实现沥青路面病害和混凝土桥梁裂缝的目标识别。该模型由轻量级MobileNet骨干网络、特征金字塔瓶颈网络和SSD检测头部组成。首先，MobileNet对输入图像进行特征提取。然后，颈部网络中的后续卷积层对不同尺度的特征图进行进一步的特征提取，得到有效的特征提取层。本专利技术选取模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的轻量化混凝土桥梁病害识别方法，本方法应用于混凝土桥梁病害的分类和检测；其特征在于：具体步骤如下：第一步图像采集；使用人工方法对原始沥青破损路面和混凝土桥梁破损表面进行采集，沥青破损路面的采集格式为统一像素三通道图像，混凝土桥梁破损表面的采集格式为不同像素三通道图像；第二步图像预处理；使用人工标定法，对沥青路面图片进行分类，分为路面背景、路面纵向裂缝、路面横向裂缝、道路标线和道路破损标线5类；将混凝土桥梁表面图片分为有裂缝和无裂缝2类；然后，将所得路面原始图片数据集进行裁剪，使路面图片尺寸缩小至400
×
400像素；第三步数据集制作；分类任务中，把沥青路面图片集和混凝土桥梁图片集按照训练集、验证集和测试集比例为6：2：2进行划分，并将所有图片的像素调整为224
×
224像素；检测任务中，先将数据集的图片像素大小调整为300
×
300；其次，利用软件LabelImg对沥青路面图片和混凝土桥梁表面图片进行标定，并保存为xml格式的文件；最后，将训练集和测试集按照9：1的比例进行划分；第四步轻量化模型搭建；病害类型的分类任务选用MobileNet轻量级网络模型；设计6组对比试验，分别在两种不同迁移模式下，比较一步迁移学习和两步迁移学习方式得到混凝土桥梁病害的分类结果以及分类模型；使用MobileNet
‑
SSD轻量级网络作为病害检测的模型；通过两组对比试验，选出针对混凝土桥梁病害检测的最佳迁移方式和检测模型；第五步训练与测试；根据设计好的对比试验，将处理好的路面数据分别输入到MobileNet轻量化分类网络和Mobile net
‑
SSD轻量化检测网络中进行训练进行测试；通过对实验准确度的对比，选出能够分类和识别混凝土桥梁病害最佳的迁移学习方式和模型。2.根据权利要求1所述的一种基于迁移学习的轻量化混凝土桥梁病害识别方法，其特征在于：(1)采用MobileNet轻量化网络，MobileNet轻量化网络的核心模块为深度可分离卷积，包括深度卷积(Depthwise Convolution)和点向卷积(PointwiseConvolution)；深度卷积通过3
×
3尺寸的卷积对输入图像进行分割，点向卷积使用一个1
×
1的卷积来组合深度卷积的输出，通过降低网络权值参数来加快训练速度；在每个卷积层之后进行B...

【专利技术属性】
技术研发人员：侯越，史宏宇，韩强，韦韩，陈宁，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：