一种基于卷积神经网络的桥梁结构表面缺陷检测方法技术

本发明专利技术涉及一种基于卷积神经网络的桥梁结构表面缺陷检测方法，属于结构健康监测领域。该方法包括如下步骤：基于卷积神经网络模型实现裂缝类缺陷、露筋类缺陷的识别分类和初步定位；针对识别出来的裂缝类缺陷，训练U

【技术实现步骤摘要】
一种基于卷积神经网络的桥梁结构表面缺陷检测方法


[0001]本专利技术涉及一种基于卷积神经网络的桥梁结构表面缺陷检测方法，属于结构健康监测领域。

技术介绍

[0002]随着国民基础设施系统的发展与完善，全国桥梁的建造数量迅速增加，至今已经超过73000座。早期建造的很多桥梁可能已经达到服役期限或者由于施工时的混凝土配料比不均、浇筑振捣不当再加上受到外界载荷长期作用的影响，出现裂缝、露筋腐蚀等病害缺陷，亟须建立有效的桥梁表面缺陷检测方法。
[0003]目前现有的桥梁表面缺陷检测方法主要有人工检测和基于图像视觉的两大类检测方法。人工检测主要依靠人眼观测作为缺陷检测的手段，检测人员借助望远镜、绳索、搭设塔架、“窥探者”卡车进行观测。该方法效率低下、强烈的主观性导致准确率低、人工成本较高且存在安全风险，不适用于桥梁等大型结构体缺陷检测。随着无人机技术的发展，桥梁健康监测中开始使用无人机进行检测，利用无人机搭载相机设备对整座桥梁表面进行图像采集，随后基于图像视觉进行分析处理完成桥梁病害缺陷的检测。传统的图像视觉方法较为复杂，需要结合边缘检测Canny、Sobel等方法结合图像的多尺度方法提取裂缝区域的边缘信息，完成裂缝缺陷的检测。但该方法对桥梁结构不同部位背景下的裂缝识别的鲁棒性较弱，较为依赖裂缝所处的背景，难于识别光线弱、有阴影、有斑迹复杂等背景下的裂缝，不具备智能排除干扰项信息的能力。卷积神经网络的出现为处理图像问题提供了新思路，可以从端对端实现对图像的智能识别分类。现有的基于卷积神经网络模型进行桥梁结构缺陷的检测方法，大多只完成了有无缺陷的分类检测，将缺陷的位置从图像的整体区域定位到图像的局部区域。此外，人工检测和基于图像视觉检测的两类方法关注的缺陷较为单一，对于露筋类缺陷的研究较少。

技术实现思路

[0004]本专利技术提出了一种基于卷积神经网络的桥梁结构表面缺陷检测方法，既能自动化地实现桥梁结构表面裂缝类、露筋类缺陷的识别及初步定位，又可以智能化地排除干扰信息，适应多复杂背景下的裂缝缺陷的像素级别检测。
[0005]本专利技术为解决其技术问题采用如下技术方案：
[0006]一种基于卷积神经网络的桥梁结构表面缺陷检测方法，包括如下步骤：
[0007]步骤1：首先定义桥梁结构的裂缝类缺陷、露筋类缺陷，利用无人机搭载相机设备采集不同部位、不同光照条件的桥梁结构图像，分别构建裂缝和露筋类缺陷的分类数据集和露筋类缺陷语义分割的数据集，并利用随机旋转、裁切和尺度变换操作实现数据增强来充数据集；
[0008]步骤2：构建卷积神经网络模型进行256
×
256尺寸大小桥梁结构图像裂缝类缺陷、露筋类缺陷的分类；
[0009]步骤3：初始化分类模型的超参数，结合缺陷分类数据集进行模型的训练，调整卷积神经网络模型的卷积核、池化层的参数；训练完成的模型对输入图像具有裂缝类缺陷、露筋类缺陷和无缺陷三种输出结果；
[0010]步骤4：采用步长为64的交叉滑动方法对大于256
×
256的桥梁结构图像进行分块的裂缝类缺陷检测，并根据检测结果对缺陷实现初步定位；
[0011]步骤5：针对步骤4中检测出的裂缝类缺陷，搭建U-net卷积神经网络模型实现裂缝的粗分割；
[0012]步骤6：初始化U-net卷积神经网络模型超参数，取学习率为0.0001的Adam算法调整网络参数，不断减小每个像素点处的预测值和目标值的差距；训练完成的U-net卷积神经网络模型针对桥梁结构裂缝图像的输入，输出裂缝灰度图像的预测结果；
[0013]步骤7：采用最大类间差法方法进行图像的二值化，同时利用长为4、宽为4的矩形结构元素对二值图进行腐蚀操作，表示如下：
[0014]AΘB＝{x∈E
n
|x+b∈A,b∈B}
[0015]其中，A为二值图像，B为结构元素，x为二值图像A中的像素值，b为结构元素B中的尺寸值，E
n
为n维欧式空间，AΘB为图像A被结构元素B的腐蚀结果；
[0016]步骤8：针对腐蚀图像的结果，采用Zhang-Suen并行快速细化算法进行图像骨架的提取；
[0017]步骤9：寻找裂缝的二值图像骨架提取图中轮廓点集的凸包，再求出凸包的最小外接矩形；以图像的左上顶点作为原点，建立x、y坐标轴；旋转角度θ是与x轴平行的水平线逆时针旋转与缺陷外接矩形碰到的第一条边的夹角，并且这个边的边长是宽度，另一条边边长是高度；从而给出裂缝的最小外接矩形定位图，给出缺陷外接矩形的中心点、宽度、高度以及旋转角度θ特征描述信息。
[0018]步骤2中所述卷积神经网络模型总共包含4层，包括前三层的卷积池化操作以及最后一层的全连接、激活、分类操作。
[0019]所述卷积池化操作采用最大池化方法，同时使用了BN以及Dropout操作，并将ReLU函数作为激活函数和Softmax函数作为分类函数。
[0020]步骤5中所述U-net卷积神经网络模型的具体内容如下：
[0021]图像数据先经过压缩路径进行下采样提取图像特征编码为特征图，然后再经过扩展路径上采样将提取的特征反向解码，利用最后一层特征图进行像素级别的分类，完成图像的分割；将最后一层特征图经过Sigmoid分类单元将每个像素进行分类获得预测的值。
[0022]所述压缩路径中由4层的两次3
×
3的卷积、一次3
×
3的最大池化操作组成；所述扩展路径由4层2
×
2上卷积、通道特征融合、两次3
×
3的最大池化操作组成。
[0023]本专利技术的有益效果如下：
[0024]1.本专利技术通过构建卷积神经网络模型实现裂缝、露筋不同缺陷的分类并实现初步定位。
[0025]2.本专利技术根据构建的U-net卷积神经网络模型进行粗分割时，通过增加不同背景下的桥梁裂缝类缺陷数据集用于网络训练，使得该网络模型对不同部位、不同光照条件下的桥梁表面裂缝图像都有比较好的适应性，有效地排除光照产生的阴影、裂缝附近的斑驳、桥梁表面含有的其他污渍等干扰信息，实现智能化地裂缝检测。
[0026]3.本专利技术通过卷积神经网络和形态学处理实现可适应复杂多背景下桥梁结构表面裂缝的提取并给出裂缝最小外接矩形的位置参数信息描述。
附图说明
[0027]图1是本专利技术的总体流程图。
[0028]图2是本专利技术基于卷积神经网络模型的缺陷分类模型图。
[0029]图3是本专利技术基于U-net卷积神经网络构建的裂缝粗分割模型图。
[0030]图4是本专利技术提取裂缝骨架时的二维像素点图。
[0031]图5是本专利技术给出的裂缝的位置参数示意图。
具体实施方式
[0032]下面结合附图对本专利技术作更进一步的说明。
[0033]如图1所示，一种基于卷积神经网络的桥梁结构表面缺陷检测方法包括如下步骤：
[0034]步骤1：首先定义桥梁结构的裂缝类缺陷、露本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的桥梁结构表面缺陷检测方法，其特征在于，包括如下步骤：步骤1：首先定义桥梁结构的裂缝类缺陷、露筋类缺陷，利用无人机搭载相机设备采集不同部位、不同光照条件的桥梁结构图像，分别构建裂缝和露筋类缺陷的分类数据集和露筋类缺陷语义分割的数据集，并利用随机旋转、裁切和尺度变换操作实现数据增强来充数据集；步骤2：构建卷积神经网络模型进行256
×
256尺寸大小桥梁结构图像裂缝类缺陷、露筋类缺陷的分类；步骤3：初始化分类模型的超参数，结合缺陷分类数据集进行模型的训练，调整卷积神经网络模型的卷积核、池化层的参数；训练完成的模型对输入图像具有裂缝类缺陷、露筋类缺陷和无缺陷三种输出结果；步骤4：采用步长为64的交叉滑动方法对大于256
×
256的桥梁结构图像进行分块的裂缝类缺陷检测，并根据检测结果对缺陷实现初步定位；步骤5：针对步骤4中检测出的裂缝类缺陷，搭建U-net卷积神经网络模型实现裂缝的粗分割；步骤6：初始化U-net卷积神经网络模型超参数，取学习率为0.0001的Adam算法调整网络参数，不断减小每个像素点处的预测值和目标值的差距；训练完成的U-net卷积神经网络模型针对桥梁结构裂缝图像的输入，输出裂缝灰度图像的预测结果；步骤7：采用最大类间差法方法进行图像的二值化，同时利用长为4、宽为4的矩形结构元素对二值图进行腐蚀操作，表示如下：AΘB＝{x∈E
n
|x+b∈A,b∈B}其中，A为二值图像，B为结构元素，x为二值图像A中的像素值，b为结构元素B中的尺寸值，E
n
为n维欧式空间，AΘB为图像A被结构元素B的腐蚀结果；步骤8：针对腐蚀图像的结果，采用Zhang-Suen并行快速...

【专利技术属性】
技术研发人员：周帅琳，熊智，赵耀，张玲，崔雨晨，段胜青，王景琪，王婕，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：