【技术实现步骤摘要】
本专利技术涉及桥梁健康监测，尤其涉及一种基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法。
技术介绍
1、桥梁裂缝的出现会造成桥梁结构承载能力下降,引发诸多桥梁病害。因此,桥梁裂缝检测已成为桥梁养护的重要研究课题之一。近年来,许多优秀的目标检测模型，在实际场景的应用中取得了良好的效果，但是桥梁裂缝图像纹理复杂多样、分布无规律，导致检测结果存在严重的漏检和误检现象,并且此类模型的参数量巨大难以部署到移动设备中,不利于实际的工程应用。
2、深度学习技术的优势在于能由数据驱动、自适应的学习事务特征，对具体数学模型依赖程度低，并具有对源域的迁移学习能力。因此，目前众多学者基于深度学习对裂缝图像与背景图像分类方法开展了大量研究，torres等人比较了神经网络(nn)分类器、贝叶斯分类器和传统的支持向量机(svm)分类器，总结了cnn在桥梁桥面缺陷分类方面的潜力；cha等人使用cnns检测混凝土裂缝，并使用滑动窗口技术对任意大小的裂缝图像进行扫描，验证了cnns在区分大量类别方面的可靠性能，但是此方法耗时较长；liang等人采用了一种faster r-cnn算法，利用边界框来自动检测钢筋混凝土桥梁系统的结构构件；josephredmon等人2016年提出了yolo模型，采用回归的概念，去掉候选帧阶段，使用anchor-free概念实现一级检测，通过网络立即输出类别和位置信息，实现端到端学习，大幅提高了检测速度，使物体检测网络真正能够实时检测；yan等人利用基于caffe框架的alex net网络实现了对裂缝图像的识别；c.v
3、虽然现有的基于深度学习的检测方法在裂缝识别上有较高的识别准确率，但由于桥梁裂缝分布具有稀疏性，且现有的检测技术下获取的图像数据量大，因此，如何快速筛选含裂缝的图像数据以提高检测效率是目前存在的重要问题。
技术实现思路
1、本专利技术的目的在于提供一种基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，从而解决现有技术中存在的前述问题。
2、为了实现上述目的，本专利技术采用的技术方案如下：
3、一种基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，包括如下步骤，
4、s1、采集桥梁裂缝数据，构建基础数据集；
5、s2、构建基于注意力机制的图像筛选网络，筛选包含裂缝的图片数据；
6、基于基础数据集构建包含有相同数量的裂缝图片和无裂缝图片的分类数据集，并将分类数据集按比例划分为训练集和测试集；利用训练集训练基于注意力机制的图像筛选网络，利用bce with logits loss作为损失函数更新网络模型参数，并利用测试集进行测试，以获取训练好的基于注意力机制的图像筛选网络；利用训练好的基于注意力机制的图像筛选网络筛选基础数据集中含有裂缝的图像，构建裂缝检测数据集；
7、s3、基于裂缝检测数据集，构建高质量基础数据；
8、根据环向、纵向裂缝的平均高度-宽度对标注的裂缝的边界盒进行多轮检查，获取高质量基础数据；
9、s4、构建裂缝检测网络，对桥梁裂缝进行检测；
10、基于yolov3结构构建裂缝检测网络yolov3-spp；将高质量基础数据集按比例划分为训练集、验证集和测试集，利用训练集训练裂缝检测网络，利用由分类损失函数、置信度损失函数和边界框定位损失函数构成的总损失函数更新网络模型参数，并利用验证集和测试集分别进行验证和测试，以获取训练好的裂缝检测网络；利用训练好的裂缝检测网络对所选图像的裂缝进行分类和定位，输出裂缝识别结果。
11、优选的，所述基于注意力机制的图像筛选网络的主要模块为b-neck，其结合了mobilenetv1的深度可分离卷积和mobilenetv2的线性瓶颈倒置残差；所述基于注意力机制的图像筛选网络采用了se注意力机制和h-swish函数，所述注意力机制用于调整每个通道的权重，所述h-swish函数用于减少计算量并提升性能；在池化层的后面使用一个大小为1的卷积层，同时最后两个卷积层进行两次大小为1的卷积，获取大小为5×3×1的特征图，这15个像素反映输入图像的相应部分是否有裂缝，用最大集合法来决定整个图像是否含有裂缝。
12、优选的，步骤s1中，在利用训练集和测试集对基于注意力机制的图像筛选网络进行训练和测试之前，将训练集和测试集的图像尺寸调整为预设尺寸。
13、优选的，步骤s3还包括，对裂缝检测数据集中的所有图像数据进行数据增强处理，所述数据增强处理包括几何变换、拼接和mixup数据增强这三种方式。
14、优选的，所述裂缝检测网络yolov3-spp，以darknet-53作为主干网络，采用多尺度检测，将一幅图像划分为多个尺度的块，然后从每个块中提取特征并进行融合，实现对多个尺度特征的兼容；该部分由cbs、cbs2、sppf模块构成，通过基于通道的串联和1x1卷积完成特征融合，包含三个不同尺度的检测头分别对应于5倍、4倍和3倍的下采样。
15、优选的，在训练裂缝检测网络的过程中，聚集锚框，通过生成的锚框和设计的网络获取初步输出，经过非最大抑制算法实现对冗余预测框的过滤，获取最终的预测框；对高质量基础数据集，采用k-means聚类算法自适应地生成锚框，并利用遗传算法来突破局部优化的限制。
16、优选的，所述总损失函数的计算方式为，
17、loss总＝lcls+lobj+lbox
18、
19、
20、
21、
22、
23、
24、其中，lcls、lobj、lbox分别为分类损失函数、置信度损失函数、边界框定位损失函数；λcls为分类损失函数的权重系数，λobj、λnoobj为置信度损失函数的权重系数，λbox为边界框定位损失函数的权重系数；s1×s2为特征图的维度；b为用于密集预测的锚框的数量；表示选择质量好的预测框；pi(c)为c类的概率，是相应的预测值；ci为第i个样本对应的模型输出；为第i个样本对应的类别真实值；为选择质量差的预测框；iou为预测框和地面实况的交集比率；ρ2(a,b)为a,b两个盒子之间的欧氏距离；k为能同时包含预测盒子和地面真相的最小封闭区域的对角线距离；υ为衡量两个矩形的相对比例的一致性；α为权重系数；wgt和hgt分别为地面实景的宽度和高度；w和h分别为预测框的宽度和高度。
25、优选的，为了加速收敛并使网络更易使用连接盒的位置，需要对边界盒的坐标进行变换，公式为，
26、
27、bx＝2σ(tx)-0.5+cx
28、by＝2σ(ty)-0.5+cy
29、bw＝pw(2σ(tw))2
30、bh＝ph(2σ(th))2
31、其中，(bx,by,bw,b本文档来自技高网...
【技术保护点】
1.一种基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：包括如下步骤，
2.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：所述基于注意力机制的图像筛选网络的主要模块为B-neck，其结合了MobileNetV1的深度可分离卷积和MobileNetV2的线性瓶颈倒置残差；所述基于注意力机制的图像筛选网络采用了SE注意力机制和H-Swish函数，所述注意力机制用于调整每个通道的权重，所述H-Swish函数用于减少计算量并提升性能；在池化层的后面使用一个大小为1的卷积层，同时最后两个卷积层进行两次大小为1的卷积，获取大小为5×3×1的特征图，这15个像素反映输入图像的相应部分是否有裂缝，用最大集合法来决定整个图像是否含有裂缝。
3.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：步骤S1中，在利用训练集和测试集对基于注意力机制的图像筛选网络进行训练和测试之前，将训练集和测试集的图像尺寸调整为预设尺寸。
4.根据权利要求1所述的基于两步序列卷积神经网络的桥梁
5.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：所述裂缝检测网络YOLOv3-spp，以Darknet-53作为主干网络，采用多尺度检测，将一幅图像划分为多个尺度的块，然后从每个块中提取特征并进行融合，实现对多个尺度特征的兼容；该部分由CBS、CBS2、SPPF模块构成，通过基于通道的串联和1x1卷积完成特征融合，包含三个不同尺度的检测头分别对应于5倍、4倍和3倍的下采样。
6.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：在训练裂缝检测网络的过程中，聚集锚框，通过生成的锚框和设计的网络获取初步输出，经过非最大抑制算法实现对冗余预测框的过滤，获取最终的预测框；对高质量基础数据集，采用K-Means聚类算法自适应地生成锚框，并利用遗传算法来突破局部优化的限制。
7.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：所述总损失函数的计算方式为，
8.根据权利要求7所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：为了加速收敛并使网络更易使用连接盒的位置，需要对边界盒的坐标进行变换，公式为，
9.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：步骤S1具体为，利用智能检测设备采集桥梁裂缝图像数据，构建基础数据集；所述智能检测设备通过同步控制系统集成了包括高速阵列相机、里程表在内的传感器，构建了时空基准和多个传感器之间的同步控制关系，实现各传感器之间的协同工作。
...【技术特征摘要】
1.一种基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：包括如下步骤，
2.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：所述基于注意力机制的图像筛选网络的主要模块为b-neck，其结合了mobilenetv1的深度可分离卷积和mobilenetv2的线性瓶颈倒置残差；所述基于注意力机制的图像筛选网络采用了se注意力机制和h-swish函数，所述注意力机制用于调整每个通道的权重，所述h-swish函数用于减少计算量并提升性能；在池化层的后面使用一个大小为1的卷积层，同时最后两个卷积层进行两次大小为1的卷积，获取大小为5×3×1的特征图，这15个像素反映输入图像的相应部分是否有裂缝，用最大集合法来决定整个图像是否含有裂缝。
3.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：步骤s1中，在利用训练集和测试集对基于注意力机制的图像筛选网络进行训练和测试之前，将训练集和测试集的图像尺寸调整为预设尺寸。
4.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：步骤s3还包括，对裂缝检测数据集中的所有图像数据进行数据增强处理，所述数据增强处理包括几何变换、拼接和mixup数据增强这三种方式。
5.根据权利要求1所述的基于两步序列卷积神经网络的桥梁裂缝自动分类和检测方法，其特征在于：所述裂缝检测网络yol...
【专利技术属性】
技术研发人员：曹龙，于瑞祥，王晓静，王志宁，王东清，安彦飞，亓轶，徐浩，王磊，张义远，王君宇，
申请(专利权)人：北京城建集团有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。