一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法技术

本发明专利技术涉及深度学习技术在混凝土桥梁裂缝实时检测中的运用，具体是一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，以基于计算机视觉新算法的混凝土桥梁裂缝损伤识别和量化为技术背景，以深度学习和图像处理方法理论为基础，采用损伤数据集设计、神经网络架构搭建和损伤特征分割与量化相结合的方法，对具有多尺度复杂背景噪声特征的真实混凝土桥梁裂缝图像进行识别检测，包括：步骤一、混凝土桥梁裂缝损伤图像数据集预处理和准备；步骤二，建立裂缝损伤实时识别的迁移学习新网络架构方法；步骤三，使用轻量级注意力机制深度学习算法优化；步骤四，混凝土裂缝特征量化。混凝土裂缝特征量化。混凝土裂缝特征量化。

【技术实现步骤摘要】
一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法


[0001]本专利技术涉及深度学习技术在混凝土桥梁裂缝实时检测中的运用，具体是一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法。

技术介绍

[0002]近年来，我国桥梁数量快速增长，与此同时，越来越多的桥梁逐渐进入了养护维修阶段。有关专家认为桥梁使用超过25年以上则进入老化期，据统计，我国桥梁总数的40％已经属于“老龄”桥梁。其数量随着时间的推移还在不断增长，屡屡发生的桥梁事故也频频敲响了警钟，桥梁管理者对桥梁的养护已日益重视。随着我国城市建设以及基础设施快速发展，面对庞大的混凝土材料的投入使用，其耐久性问题，已经成为影响经济发展和人民生命安全的重要因素。据统计，由于受到疲劳应力和循环负荷的影响，混凝土桥梁的损坏有76％以上都是由裂缝引起的，这也是诱发桥梁坍塌的根本性因素。特定裂缝的位置和形态能提供有关结构内部损坏、退化和潜在风险的大量信息。因此，进行混凝土桥梁裂缝检测和桥梁状况评估在结构养维护阶段是很有必要的。
[0003]随着人工智能在土木工程领域的快速发展，其主要分支计算机视觉技术已成为桥梁系统中结构健康监测的重要组成部分。区别于主观性很高的传统人工目测检查的方法，计算机能够通过图像或视频进行裂缝损伤识别和场景理解，以获取图像中包含的损伤信息和知识。随着航拍、遥感技术产业化程度的飞速发展，人工智能结合无人机技术在桥梁损伤识别检测中的应用受到了广泛关注。
[0004]然而，人工智能在土木工程领域的研究和应用仍处于起步阶段，从计算机视觉算法角度看，基于图像的裂缝检测和识别方法的主要挑战是裂缝的随机形状和不规则大小、不均匀像素强度、复杂拓扑、低对比度以及各种图像背景噪声，例如手写标记(图1a)、不规则的照明条件(图1b)、阴影(图1c)、瑕疵和图像中的混凝土溅点(图1d)等。现有的相关研究只局限于图像识别算法中的单一损伤识别和特征提取，在多尺度复杂背景下基于图像的裂缝损伤特征识别的尝试较少，而且准确度大多数都需要在可控环境下才能保证。
[0005]卷积神经网络(Convolutional Neural Networks,CNNs)在物体检测领域受到越来越多的关注，主要是因为CNNs能够通过训练来学习图像中不同层次的特征属性，并从图像中可靠地无接触式识别目标物体。如图2所示，Cha等使用了CNN的深层架构来检测混凝土裂缝，同时考虑了不断变化的现实世界环境情况(例如，光照和阴影变化)对图像算法预测的影响。梁雪慧等提出了基于Google Net的改进CNN模型来对桥梁裂缝进行识别的方法，并通过对光照不足时低质量的裂缝照片进行了图像增强预处理操作以保证算法的训练质量。该神经网络算法最后通过滑动窗口来对裂缝进行定位。但是，基于滑动窗口定位的方法的通用性不强，往往取决于预先确定窗口的大小来对损伤进行定位。如果裂缝尺寸大小发生改变，算法损伤检测的鲁棒性和准确度可能会因此降低。
[0006]近年来基于区域的卷积神经网络(Region
‑
based CNN,R
‑
CNN)的研究拓展到了结构损伤检测领域中，通过对图像的选择性搜索，用矩形框来确定图像上目标的具体位置。
Cha等使用了一个端到端(endtoend)快速区域卷积神经网络(FasterR
‑
CNN)来提供具有检测置信度的边界框，从图像中检测出五种类型的结构损伤，其检测结果具有较高的精确度。邓江桦等使用了一个改进的FasterR
‑
CNN对具有复杂背景的真实混凝土裂缝现场图像进行区域损伤检测，成功实现了在手写标注背景干扰下真实裂缝的定位识别。基于FasterR
‑
CNN和无人机，Ali等提出了一种在没有全球定位系统(Global Positioning System,GPS)信号的地区准实时地检测多种结构损伤方法，来检测裂缝、腐蚀和螺栓松动。Redmon等提出了适用于移动和实时目标检测的分类边界框预测框架算法模型(YouOnlyLookOnce,YOLO)，该算法的图像目标分类检测速度较其他算法有明显提高。邓江桦等采用了具有锚箱功能的YOLOv2神经网络架构从带有手写标注的复杂真实现场图像中成功检测出混凝土裂缝的具体位置和方向。
[0007]随着计算机运算速度和算法计算效率的提升，裂缝损伤研究也从图像层面的目标区域检测逐渐过渡到像素级别的密集语义分割，基于边界框识别和图像处理的两阶段裂缝识别方法得到了广泛的研究。如图3所示，Liu等使用YOLOv3和U
‑
net设计了一个两阶段路面裂缝检测和分割模型，有效地检测出具有照明条件、阴影和人行道划线等多噪声图像中的所有四种路面裂缝。Zhang和Yuen利用公开裂缝数据集研发了一个具有增量学习能力的基于融合特征的广泛学习系统分两步检测和分割混凝土裂缝，该系统大大减少了模型的计算和训练时间。在他们的研究中，通过已训练的神经网络模型来选择包含裂缝的窗口，如图4b所示。然后选定的窗口通过阈值和中值滤波器进行裂缝的像素级分割处理，根据它们的坐标信息每个窗口的分割结果会在与原始图像相同大小的白色掩模上显示，如图4c所示。但是，上述神经网络算法大多数只能够检测和分割裂缝，无法提供工程师所需要的损伤定量信息，例如裂缝的长度和宽度。
[0008]迁移学习(TransferLearning)是一种新型的深度神经网络优化机制，其本质是通过将以前训练过的神经网络模型重新用于新的数据集，使得可以用较少的训练数据和较低的硬件要求对新的目标检测算法进行充分的训练。Zarski等使用了一种基于模型剪枝(Pruning)和迁移学习的新方法，通过之前在大型公共数据集上训练过的CNNs算法对混凝土裂缝进行分类，此方法显著降低了分类推理时间，同时提高了分类的精度，实现了在单板计算机上的实时操作。刘智勇使用了实例分割模型(MaskR
‑
CNN)对公开数据集(MicrosoftCommonObjectsinContext,MSCOCO)进行迁移学习，以用于对混凝土道路表面裂缝损伤的自动检测识别和定位。但是，基于迁移学习方法的一个棘手的问题是负迁移(NegativeTransfer)问题，它会由于重用了对目标域数据集整体准确性产生负面影响的原始算法部分，导致预测神经网络准确性的降低。
[0009]深度学习中的注意力机制(AttentionMechanism)从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。Karaaslan等使用了半监督注意力引导的目标检测网络(SingleShotMultiBoxDetector,SSD)和图像分割深度网络SegNet双算法对桥梁裂缝、剥蚀等损伤进行半自动识别与分割。如图5所示，在人工监督的帮助下来进行损伤的定位和对该具体损伤进行局部区域的像素级量化，算法结果表明特征提取的效率和准确度有了显著的提高。蔡逢煌等提出了基于YOLOv3和注意力机制的轻量级桥梁表面裂缝检测算法，通过提高算法的处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，其特征在于，包括：步骤一、混凝土桥梁裂缝损伤图像数据集预处理和准备；包括数据集建立，具体采用不同来源的真实现场混凝土桥梁裂缝数据图像作为部分原始数据图像，然后通过预处理分析来确定训练、验证和测试集的布置，然后使用MATLAB对裁剪后尺寸为512
×
512像素的裂缝损伤图像数据集进行像素点标注；研究现场采集到的数据集中具有混凝土桥梁结构裂缝以及复杂手写标注背景的图像，分析其图像的基本特征、结构损伤的种类以及结构裂缝在图片中呈现的大小、数量对神经网络算法目标检测鲁棒性的影响；包括混凝土桥梁裂缝图像的数据增强，具体采用有监督的图像数据增强和基于生成对抗网络的无监督数据增强两种数据增强方法；其中有监督的图像数据增强是指在样本受限的条件下，数据增强在不实质性增加数据的情况下，让有限的初始图像数据产生等价于更多数据的价值；首先，通过MATLAB或者ImageJ图像处理软件导入初始设计的混凝土桥梁裂缝图像数据集，对其进行单样本的几何变换，包括翻转，旋转，移位，裁剪，变形和缩放；然后通过颜色变换数据增强法对数据集进行包括亮度、噪声、模糊、颜色变换、擦除和填充处理；其中基于生成对抗网络的无监督数据增强是指通过生成对抗网络模型学习图像数据的分布，随机生成与训练数据集分布一致的图片，通过利用生成对抗网络模型中的生成器与判别器之间的交替优化训练，采用适当的超参数调优和足够的训练迭代次数，生成器网络和判别器网络将同时收敛直到描述伪造数据的分布和取样真实数据的分布相一致的点，最终得到改进的生成模型；然后使用这个生成模型去生成更多具有复杂背景环境的真实混凝土桥梁裂缝数据以实现无监督数据增强；步骤二，建立裂缝损伤实时识别的迁移学习新网络架构方法；包括基于领域自适应编码器和解码器架构的裂缝检测和识别，利用领域自适应迁移学习方法的目标是将数据分布不同的源域和目标域的数据映射到一个共同的特征空间中，并使它们在空间中尽可能接近，从而减少对目标域数据标注的过度依赖；通过最小化源分布和目标分布之间的距离，建立一个中间域进行深度神经网络的训练，以提高提取域不变特征的能力；MK
‑
MMD通过多个核的线性组合得到最优核，最终得到域判别损失，其平方公式定义为：其中，其中H
k
表示具有特征核k的再生核希尔伯特空间，D
s
为源域数据，D
t
为目标域数据；采用的编码器和解码器神经网络架构进行裂缝损伤分割；编码器拟采用预训练好的深度残差网络为基础网络模型进行迁移学习，并通过残差学习机制以解决深度网络训练过程中的退化问题；该深度网络模型由卷积运算器来获取图像局域特征、通过最大池化运算器对特征图进行下采样、可学习的Swish非线性激活函数和批量归一化对训练图像的分布归一化以加速学习运算函数组成；然后，通过解码器的上采样模块对缩小后的特征图进行卷
积处理，使输出与输入图像的大小相匹配来弥补细节损失，以实现在复杂场景中对混凝土桥梁裂缝特征进行精准像素级分割；使用focal
‑
Tversky损失函数进行数据模型训练，以解决数据集不均衡和图像背景复杂度高的问题，采用自适应矩估计优化器，通过利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；超参数如一阶矩、二阶矩和dropout比率分别拟定为0.9、0.999和0.2；初始学习率拟定为0.005，以保持稳定的神经网络训练过程；其中focal
‑
Tversky总损失函数的表达式为：focal
‑
Tversky总损失＝(1
‑
TL)...

【专利技术属性】
技术研发人员：邓江桦，
申请(专利权)人：常州工学院，
类型：发明
国别省市：