基于融合卷积神经网络的高速公路沥青路面病害感知方法技术

本发明专利技术公开了一种基于融合卷积神经网络的高速公路沥青路面病害感知方法，包括：使用优化Mobilenet V3网络替换Deeplabv3+骨干网络，构建DL

【技术实现步骤摘要】
基于融合卷积神经网络的高速公路沥青路面病害感知方法


[0001]本专利技术属于智慧高速、公路养护研究领域，具体涉及一种基于融合卷积神经网络的高速公路沥青路面病害感知方法。

技术介绍

[0002]近年来，随着我国高速公路规划建设目标的完成以及高速公路交通网络的不断完善与发展，高速公路的养护问题日益凸显，如何通过技术手段提高公路养护的信息化、专业化、智能化水平是是公路养护领域亟待解决的问题之一。实现公路沥青路面病害的检测、分类以及进行像素级的精准定位，能够更直观的呈现出路面病害全貌，对于公路路面的养护具有重要的意义。是实现道路养护智能化的重要基础。
[0003]目标检测网络仅能实现公路沥青路面病害的检测与分类，用矩形框或正方形框将所检测到的路面病害检测出来并分出类别，不能直观分割病害区域；语义分割网络能将检测到的路面病害进行像素级别的分割，但其检测定位与分类的能力较差。因此，本专利技术提出了一种基于融合卷积神经网络的高速公路沥青路面病害感知方法。

技术实现思路

[0004]专利技术目的：为了克服现有技术中存在的不足，提供基于融合卷积神经网络的高速公路沥青路面病害感知方法，其将Deeplabv3+网络、Mobilenet V3网络和Faster
‑
RCNN、Yolov5s、SSD网络进行优化与融合，构建用于沥青路面病害感知的融合卷积神经网络FCNN
‑
PDP
‑
FR、FCNN
‑
PDP
‑
Yolov5s和FCNN
‑
PDP
‑
SSD，同时实现公路沥青路面病害的精准定位与检测分类，可对高速公路养护智能化发展提供技术支持。
[0005]技术方案：为实现上述目的，本专利技术提供一种基于融合卷积神经网络的高速公路沥青路面病害感知方法，包括如下步骤：
[0006]S1：将Deeplabv3+骨干网络替换为优化Mobilenet V3网络，构建用于公路沥青路面病害分割的DL
‑
M
‑
PDS网络；
[0007]S2：改进网络参数，构建用于公路沥青路面病害分割的DL
‑
M2
‑
PDS优化网络；
[0008]S3：通过DL
‑
M2
‑
PDS路面病害分割模型获取路面像素级的分割病害信息；
[0009]S4：将像素级信息与原图像进行叠加；
[0010]S5：对Faster
‑
RCNN、Yolov5s、SSD模型进行适应性改进，构建用于公路沥青路面病害检测的FR
‑
PDD、Yolov5s
‑
PDD、SSD
‑
PDD融合卷积神经网络网络模型；
[0011]S6：叠加公路沥青路面病害图像分别输入FR
‑
PDD、Yolov5s
‑
PDD、SSD
‑
PDD，构建用于公路沥青路面病害感知的FCNN
‑
PDP
‑
FR、FCNN
‑
PDP
‑
Yolov5s和FCNN
‑
PDP
‑
SSD三种网络；
[0012]S7：进行模型训练并优化参数，优选FCNN
‑
PDP
‑
FR、FCNN
‑
PDP
‑
Yolov5s和FCNN
‑
PDP
‑
SSD网络模型进行高速公路沥青路面病害感知。
[0013]进一步的，所述步骤S1中优化Mobilenet V3的具体步骤如下：
[0014]S1
‑
1：在bneck基本结构中按需要加入空洞卷积(Atrous conv)；
[0015]S1
‑
2：在每次bneck深度卷积之后添加额外的批量标准化和NL激活函数。
[0016]进一步的，所述步骤S2中改进网络参数的主要内容为：优化输出步幅为16；优化空洞卷积步长rate为[3,5,8,11]。
[0017]进一步的，所述步骤S3的具体内容为：
[0018]S3
‑
1：输入公路沥青路面病害原图像，规格化分割网络图像尺寸为513
×
513
×
3；
[0019]S3
‑
2：进行特征提取，设置输入图像与高维特征图的尺度之比为16；
[0020]S3
‑
3：采用空间金字塔池化模块提取多尺度信息，将不同尺度的特征图与image
‑
level特征拼接(concat)，融合得到新特征图像；
[0021]S3
‑
4：将高维特征图插值到原始图像大小，输出二值化的路面病害分割图像。
[0022]进一步的，所述步骤S4的具体内容为：将二值化图像透明度设置为0.3，原图像透明度设置为0.7，采用透明度混合函数将二值化图像与原图像叠加。
[0023]进一步的，所述步骤S5的具体内容为：
[0024]S5
‑
1：根据路面病害图像的特点，对Faster
‑
RCNN网络进行适应性改进，保持锚框的面积为(128
×
128、256
×
256、512
×
512)不变，将锚框长宽比调整为(1:1、1:4、4:1)，并保持Faster
‑
RCNN基础网络结构不变，构建FR
‑
PDD公路沥青路面病害检测网络；
[0025]S5
‑
2：根据路面病害图像的特点，对Yolov5s网络进行适应性改进，对已标注好的数据集进行GT坐标的聚类回归，产生9个最有可能锚框大小，同时去除Yolov5s网络数据增强部分，构建Yolov5s
‑
PDD公路沥青路面病害检测网络；
[0026]S5
‑
3：根据路面病害图像的特点，调整SSD网络输入图像参数，以VGG16为骨干网络，设置先验框的长宽比为(1、2、3、1/2、1/3)，构建SSD
‑
PDD公路沥青路面病害检测网络。
[0027]进一步的，所述步骤S6中用于沥青路面病害感知的融合卷积神经网络FCNN
‑
PDP
‑
FR的构建方法为：
[0028]①
提取：网络自动规格化图像，骨干网络VGG16采用共享的卷积层提取全图特征，得到特征图；
[0029]②
RPN：通过系列锚框滑动卷积操作生成20000个锚框，区分锚框是否包含路面病害目标，并对于包含目标的锚框进行回归；
[0030]③
分类：将目标候选区域映射到特征图中并调整尺寸，确定类别后再次回归修正以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：包括如下步骤：S1：将Deeplabv3+骨干网络替换为优化Mobilenet V3网络，构建用于公路沥青路面病害分割的DL
‑
M
‑
PDS网络；S2：改进网络参数，构建用于公路沥青路面病害分割的DL
‑
M2
‑
PDS优化网络；S3：通过DL
‑
M2
‑
PDS路面病害分割模型获取路面像素级的分割病害信息；S4：将像素级信息与原图像进行叠加；S5：对Faster
‑
RCNN、Yolov5s、SSD模型进行适应性改进，构建用于公路沥青路面病害检测的FR
‑
PDD、Yolov5s
‑
PDD、SSD
‑
PDD融合卷积神经网络网络模型；S6：叠加公路沥青路面病害图像分别输入FR
‑
PDD、Yolov5s
‑
PDD、SSD
‑
PDD，构建用于公路沥青路面病害感知的FCNN
‑
PDP
‑
FR、FCNN
‑
PDP
‑
Yolov5s和FCNN
‑
PDP
‑
SSD三种网络；S7：进行模型训练并优化参数，优选FCNN
‑
PDP
‑
FR、FCNN
‑
PDP
‑
Yolov5s和FCNN
‑
PDP
‑
SSD网络模型进行高速公路沥青路面病害感知。2.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S1中优化Mobilenet V3的具体步骤如下：S1
‑
1：在bneck基本结构中按需要加入空洞卷积；S1
‑
2：在每次bneck深度卷积之后添加额外的批量标准化和NL激活函数。3.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S2中改进网络参数的主要内容为：优化输出步幅为16；优化空洞卷积步长rate为[3,5,8,11]。4.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S3的具体内容为：S3
‑
1：输入公路沥青路面病害原图像，规格化分割网络图像尺寸为513
×
513
×
3；S3
‑
2：进行特征提取，设置输入图像与高维特征图的尺度之比为16；S3
‑
3：采用空间金字塔池化模块提取多尺度信息，将不同尺度的特征图与image
‑
level特征拼接，融合得到新特征图像；S3
‑
4：将高维特征图插值到原始图像大小，输出二值化的路面病害分割图像。5.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S4的具体内容为：将二值化图像透明度设置为0.3，原图像透明度设置为0.7，采用透明度混合函数将二值化图像与原图像叠加。6.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S5的具体内容为：S5
‑
1：根据路面病害图像的特点，对Faster
‑
RCNN网络进行适应性改进，保持锚框的面积为128
×
128、256
×
256、512
×
51...

【专利技术属性】
技术研发人员：赵池航，郑有凤，马欣怡，苏子钧，吴宇航，
申请(专利权)人：东南大学，
类型：发明
国别省市：