一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法技术

本发明专利技术公开了一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法，该方法使用深度学习方法训练后的桥梁裂缝识别检测模型对桥梁裂缝图像中的裂缝区域进行分割识别预测；该桥梁裂缝识别检测模型，通过注意力融合特征提取网络提取桥梁裂缝图像的高层语义特征图，通过浅层特征提取网络提取桥梁裂缝图像的位置轮廓特征图，再依据二者的融合结果预测得到桥梁裂缝图像的裂缝分割识别检测结果，降低对复杂背景像素的误判，并准确实现对裂缝区域的定位；本发明专利技术方法能够更快速、更准确的实现对复杂背景下桥梁混凝土裂缝的分割识别和提取，从而改善因背景噪声过大造成的裂缝分割识别速度慢、准确性不足等问题。准确性不足等问题。准确性不足等问题。

【技术实现步骤摘要】
一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法


[0001]本专利技术涉及桥梁结构检测
和神经网络
，具体涉及一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法。

技术介绍

[0002]随着我国基础设施及交通运输系统的发展与完善，桥梁的建设数量也在快速增长，与此同时，越来越多的桥梁逐渐进入了需要养护维修的阶段。桥梁最为普遍的病害就是混凝土的裂缝，混凝土桥梁的损坏有76％以上都是由裂缝引起的。形成裂缝的原因主要有以下几种：由于混凝土结构抗拉强度低，长时间负载过重使得受力不均产生裂缝；由于混凝土结构经常暴露在外，受外界温度变化影响容易发生形变，并且经常受到雨水侵蚀造成裂缝的出现；施工材料的好坏和施工技术水平直接影响着混凝土结构的质量和使用年限。桥梁上裂缝的位置和形态能提供有关结构内部损坏、退化和潜在风险的大量信息。因此，对桥梁进行混凝土结构的裂缝检测，对于桥梁健康状况的评估以及后去的结构养护维修而言，是非常必要且重要的工作。
[0003]目前，常用的桥梁混凝土裂缝的检测方法，主要有人工检测和基于图像视觉的两类。人工检测主要依靠人眼观测的手段，检测人员借助望远镜、绳索、搭设塔架、卡车等进行观测；但人工检测效率较低，容易漏检，且存在人工成本高、安全风险大的问题。基于图像视觉方法依赖于无人机技术的发展，利用无人机搭载相机设备对整座桥梁表面进行图像采集，随后基于图像视觉识别方法对采集的图像进行分析，完成桥梁裂缝的检测。
[0004]图像视觉方法效率较高，但也较为复杂，成为了桥梁混凝土裂缝的重要研究方向。2017年，ZHANG等建立了一种基干卷积神经网络(CNN)的有效架构，可以在像素级检测3D沥青表面裂缝，但它没有轮询层。苑玮琦等采用灰度值阈值分割法并结合基于二值图与灰度图结合的干扰剔除对裂隙进行识别，但不适合于裂缝与背景差异不明显的情况。阮小丽等则引入了将裂缝区域当作连通区域来对待的思想，根据裂缝的特征参数过滤掉非裂缝，能识别较小裂缝的宽度，但仍受限干灰度差异。2018年，YANG等引入了全卷积网络(FCN)来同时解决识别和测量裂缝问题，但是测量误差较大。王森等构建了一种新型的CrackFCN模型，实现了较复杂背景下的裂缝的高精检测及降低错误标记，但是处理效率仍不够高。2019年，周颖等将裂缝碎片拼接和图像处理方法相结合，实现了对裂缝宽度的高精度测量，但是针对更复杂背景下的裂缝的识别有待提升。
[0005]因此，如何能够更快速、更准确的从复杂背景中进行桥梁混凝土裂缝的分割识别，成为了需要进一步研究和解决的问题。

技术实现思路

[0006]针对现有技术存在的上述不足，本专利技术的目的在于提供一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法，能够更快速、更准确的实现复杂背景下的桥梁混凝土裂缝分割识别。
[0007]解决上述技术问题，本专利技术采用如下技术方案实现：
[0008]一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法，获取待处理的桥梁裂缝图像，输入至经过预先训练的桥梁裂缝识别检测模型，得到待处理的桥梁裂缝图像的裂缝分割识别检测结果；
[0009]所述桥梁裂缝识别检测模型包括基于U
‑
Net网络构架的注意力融合特征提取网络和基于多尺度卷积注意模块和Transformer的浅层特征提取网络；桥梁裂缝识别检测模型将输入的桥梁裂缝图像分别作为多尺度卷积注意模块和浅层特征提取网络的输入，通过注意力融合特征提取网络提取桥梁裂缝图像的高层语义特征图，并通过浅层特征提取网络提取桥梁裂缝图像的位置轮廓特征图，然后对桥梁裂缝图像的高层语义特征图和位置轮廓特征图进行相乘运算，以融合生成作为输出的桥梁裂缝图像的裂缝分割识别检测结果。
[0010]上述基于深度学习的复杂背景下桥梁混凝土裂缝检测方法中，作为优选方案，所述注意力融合特征提取网络包括依次连接的四个编码层、一个瓶颈层以及四个解码层；
[0011]每个编码层包括级联的一个多尺度卷积注意模块和一个条带池化模块；其中，该编码层的输入作为其中多尺度卷积注意模块的输入，该编码层中多尺度卷积注意模块的输出作为条带池化模块的输入，条带池化模块的输出作为该编码层的输出；
[0012]每个解码层包括级联的两个卷积层和一个卷积上采样模块；其中，该解码层的输入作为其中第一个卷积层的输入，第一个卷积层的输出作为第二个卷积层的输入，第二个卷积层的输出作为卷积上采样模块的输入，卷积上采样模块的输出作为该解码层的输出；
[0013]瓶颈层包括级联的两个卷积层；
[0014]其中，输入到注意力融合特征提取网络的桥梁裂缝图像作为第一个编码层的输入；每个编码层的输出作为其在注意力融合特征提取网络中连接的下一层的输入；第四个编码层的输出作为瓶颈层的输入，瓶颈层的输出经过卷积上采样后，再与第四个编码层中多尺度卷积注意模块的输出相拼接，作为第四个解码层的输入；每个解码层的输入为其对应的一个编码层中多尺度卷积注意模块的输出与该解码层在注意力融合特征提取网络中的上一层输出相拼接的拼接图；第一个解码层的输出作为注意力融合特征提取网络的整体输出。
[0015]上述基于深度学习的复杂背景下桥梁混凝土裂缝检测方法中，作为优选方案，所述浅层特征提取网络包括两个多尺度卷积注意模块、一个条带池化模块和一个Transformer模块；
[0016]其中，输入到浅层特征提取网络的桥梁裂缝图像分别作为第一个多尺度卷积注意模块和Transformer模块的输入，第一个多尺度卷积注意模块的输出作为条带池化模块的输入，条带池化模块的输出与Transformer模块的输出进行拼接后，作为第二个多尺度卷积注意模块的输入，第二个多尺度卷积注意模块的输出作为浅层特征提取网络的整体输出。
[0017]上述基于深度学习的复杂背景下桥梁混凝土裂缝检测方法中，作为优选方案，所述多尺度卷积注意模块的处理过程包括如下步骤：
[0018]对输入特征图进行5
×
5深度卷积后，对深度卷积图分别进行两个支路的分支深度条带卷积，其中一个支路进行1
×
7和7
×
1的条带卷积，另一个支路进行1
×
11和1
×
11的条带卷积；两个支路的条带卷积处理得到的两个不同的尺度特征图与深度卷积图进行拼接后，随后通过一个卷积核为1的卷积计算得到多通道特征图；最后，多通道特征图与输入特
征图进行相乘运算，得到作为输出的注意力特征图。
[0019]上述基于深度学习的复杂背景下桥梁混凝土裂缝检测方法中，作为优选方案，所述条带池化模块的处理过程包括如下步骤：
[0020]对输入特征图分别进行像素宽度条带池化处理和像素高度条带池化处理，分别得到尺寸大小为1
×
W的像素宽度池化特征图和H
×
1的像素高度池化特征图，其中H、W分别为输入特征图的像素高度和像素宽度；然后，像素宽度池化特征图通过一个一维卷积扩展运算得到尺寸大小为H
×
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法，其特征在于，获取待处理的桥梁裂缝图像，输入至经过预先训练的桥梁裂缝识别检测模型，得到待处理的桥梁裂缝图像的裂缝分割识别检测结果；所述桥梁裂缝识别检测模型包括基于U
‑
Net网络构架的注意力融合特征提取网络和基于多尺度卷积注意模块和Transformer的浅层特征提取网络；桥梁裂缝识别检测模型将输入的桥梁裂缝图像分别作为多尺度卷积注意模块和浅层特征提取网络的输入，通过注意力融合特征提取网络提取桥梁裂缝图像的高层语义特征图，并通过浅层特征提取网络提取桥梁裂缝图像的位置轮廓特征图，然后对桥梁裂缝图像的高层语义特征图和位置轮廓特征图进行相乘运算，以融合生成作为输出的桥梁裂缝图像的裂缝分割识别检测结果。2.根据权利要求1所述基于深度学习的复杂背景下桥梁混凝土裂缝检测方法，其特征在于，所述注意力融合特征提取网络包括依次连接的四个编码层、一个瓶颈层以及四个解码层；每个编码层包括级联的一个多尺度卷积注意模块和一个条带池化模块；其中，该编码层的输入作为其中多尺度卷积注意模块的输入，该编码层中多尺度卷积注意模块的输出作为条带池化模块的输入，条带池化模块的输出作为该编码层的输出；每个解码层包括级联的两个卷积层和一个卷积上采样模块；其中，该解码层的输入作为其中第一个卷积层的输入，第一个卷积层的输出作为第二个卷积层的输入，第二个卷积层的输出作为卷积上采样模块的输入，卷积上采样模块的输出作为该解码层的输出；瓶颈层包括级联的两个卷积层；其中，输入到注意力融合特征提取网络的桥梁裂缝图像作为第一个编码层的输入；每个编码层的输出作为其在注意力融合特征提取网络中连接的下一层的输入；第四个编码层的输出作为瓶颈层的输入，瓶颈层的输出经过卷积上采样后，再与第四个编码层中多尺度卷积注意模块的输出相拼接，作为第四个解码层的输入；每个解码层的输入为其对应的一个编码层中多尺度卷积注意模块的输出与该解码层在注意力融合特征提取网络中的上一层输出相拼接的拼接图；第一个解码层的输出作为注意力融合特征提取网络的整体输出。3.根据权利要求1所述基于深度学习的复杂背景下桥梁混凝土裂缝检测方法，其特征在于，所述浅层特征提取网络包括两个多尺度卷积注意模块、一个条带池化模块和一个Transformer模块；其中，输入到浅层特征提取网络的桥梁裂缝图像分别作为第一个多尺度卷积注意模块和Transformer模块的输入，第一个多尺度卷积注意模块的输出作为条带池化模块的输入，条带池化模块的输出与Transformer模块的输出进行拼接后，作为第二个多尺度卷积注意模块的输入，第二个多尺度卷积注意模块的输出作为浅层特征提取网络的整体输出。4.根据权利要求2或3所述基于深度学习的复杂背景下桥梁混凝土裂缝检测方法，其特征在于，所述多尺度卷积注意模块的处理过程包括如下步骤：对输入特征图进行5
×

【专利技术属性】
技术研发人员：蒋仕新，黄雪梅，杨建喜，王笛，李韧，刘新龙，
申请(专利权)人：重庆交通大学，
类型：发明
国别省市：