基于可解释深度学习的混凝土桥梁表观病害智能检测方法技术

本申请提供一种基于可解释深度学习的混凝土桥梁表观病害智能检测方法。方法包括：将拍摄混凝土桥梁的外表得到的待测图像，输入预先建立的经过训练测试的识别模型，识别模型的主干网络中设置有用于输出热力图的热力图模块，识别模型的颈部网络设置有注意力机制模块；通过识别模型，对待测图像进行表观病害检测，得到检测结果。在得到的检测结果中，包括热力图以及存在表观病害时的病害种类或不存在病害的结果，便于用户通过可视化的热力图直观地了解识别模型从待测图像数据中所学到的知识。另外，以输出热力图的方式，可以对识别模型做出最终决策进行可视化的解释。做出最终决策进行可视化的解释。做出最终决策进行可视化的解释。

【技术实现步骤摘要】
基于可解释深度学习的混凝土桥梁表观病害智能检测方法


[0001]本专利技术涉及混凝土桥梁检测
，具体而言，涉及一种基于可解释深度学习的混凝土桥梁表观病害智能检测方法。

技术介绍

[0002]随着社会发展，公路混凝土桥梁运营时间、运营里程、行车密度和客货运量的大幅提升，作为公路运输主要载体的混凝土桥梁结构承受了循环、高速、重载的荷载状态，以及受恶劣天气、施工缺陷、材料自老化等因素影响，混凝土桥梁运营状态逐渐恶化，表现为表观病害出现，这些病害主要包括蜂窝、麻面、裂缝、孔洞等。这些外观病害直接或间接地影响着结构受力状态变化，结构耐久性甚至安全性可能存在一定程度的降低，因此对混凝土桥梁表观病害的检测至关重要。
[0003]目前，在混凝土桥梁表观病害检测方面，传统以人工检测为主，也有一些采用辅助机械伸展臂搭载摄像头采集图像进行人机交互分析的尝试。这些传统检测方式受限于结构高度、跨度的发展，存在着难以抵达性、工作量庞大、安全性差、人力时间成本高昂以及检测结果易受主观影响的特性。近年来，无人机和光学相机硬件的普及，以及计算机视觉、深度学习的快速发展使得图像的获取、处理、识别趋于自动化和智能化。
[0004]深度神经网络在计算机视觉、语义分割等众多领域得到了广泛的应用，并且表现出很好的性能。目前，在混凝土桥梁表观病害检测过程中，人们通常无法探知深度学习模型究竟从数据中学到了哪些知识，如何进行最终决策，即，受限于目前的检测方式，所检测得到的结果信息单一。

技术实现思路

[0005]有鉴于此，本申请实施例的目的在于提供一种基于可解释深度学习的混凝土桥梁表观病害智能检测方法，能够改善在对混凝土桥梁表观病害检测时，所得到的检测结果的内容单一的问题。
[0006]为实现上述技术目的，本申请采用的技术方案如下：
[0007]本申请实施例提供了一种基于可解释深度学习的混凝土桥梁表观病害智能检测方法，所述方法包括：
[0008]获取拍摄混凝土桥梁的外表得到的待测图像；
[0009]将所述待测图像输入预先建立的经过训练测试的识别模型，所述识别模型包括改进的Yolov5s模型，所述改进的Yolov5s模型包括输入层、Backbone主干网络、Neck颈部网络及检测头，所述Backbone主干网络中设置有用于输出热力图的热力图模块，所述Neck颈部网络设置有注意力机制模块；
[0010]通过所述识别模型，对所述待测图像进行表观病害检测，得到检测结果，所述检测结果包括表征所述待测图像对应的所述混凝土桥梁不存在表观病害的结果，或者存在表观病害的结果以及在存在表观病害时的病害种类与热力图。
[0011]在一些可选的实施方式中，在获取拍摄混凝土桥梁的外表得到的待测图像之前，所述方法还包括：
[0012]获取拍摄混凝土桥梁存在表观病害得到的第一类图像集，以及拍摄混凝土桥梁不存在表观病害得到的第二类图像集；
[0013]对所述第一类图像集与所述第二类图像集进行数据增强，得到经过数据增强后的第一类图像集和第二类图像集；
[0014]通过标注工具，对所述经过数据增强后的第一类图像集进行病害类别的标注，得到用于模型训练测试的数据集；
[0015]将所述数据集按照预设比例划分为训练集、验证集与测试集，以及将所述经过数据增强后的第二类图像集合并至所述训练集；
[0016]通过合并后的所述训练集，对预先创建的所述改进的Yolov5s模型进行训练，以及通过所述验证集对训练后的所述改进的Yolov5s模型进行验证，以及通过所述测试集对验证后的所述改进的Yolov5s模型进行测试，直至所述改进的Yolov5s模型收敛，并将经过测试的所述改进的Yolov5s模型作为所述识别模型。
[0017]在一些可选的实施方式中，对所述第一类图像集与所述第二类图像集进行数据增强，得到经过数据增强后的第一类图像集和第二类图像集，包括：
[0018]对所述第一类图像集与所述第二类图像集中的至少部分图像进行缩放、裁剪、旋转、镜像翻转、色域调节中的至少一项操作，得到对应的第一类中间图像集和第二类中间图像集；
[0019]对所述第一类中间图像集进行Mosaic数据增强，以及进行Mixup数据增强，得到所述经过数据增强后的第一类图像集；
[0020]对所述第二类中间图像集进行Mosaic数据增强，以及进行Mixup数据增强，得到所述经过数据增强后的第二类图像集。
[0021]在一些可选的实施方式中，所述病害类别包括裂缝、空洞、蜂窝、麻面、剥落、渗水及露筋。
[0022]在一些可选的实施方式中，所述改进的Yolov5s模型的损失函数L
loos
包括定位损失函数L
bbox
、置信度损失函数L
obj
和分类损失函数L
cls
；
[0023]L
loos
＝λ1L
bbox
+λ2L
obj
+λ3L
cls
ꢀꢀꢀꢀꢀꢀ
(1)
[0024][0025][0026][0027][0028]其中，λ1、λ2和λ3指预设的权重系数；IOU指交并比；ρ为所述第一类图像集和第二类图像集中的标注框中心点和预测框中心点间的欧式距离；b为预测框；b
gt
为标注框；c为包含标注框和预测框的最小外接矩形的对角线长度；α为预设权重参数；v为长宽比的相似性；w
gt
为标注框的宽度；h
gt
为标注框的长度；w为预测框的宽度；h为预测框的长度；
[0029][0030]其中，λ
cls
为置信度损失的权重系数；s2为特征图被分割成的网格数量；B为每个网格分配到先验框的目标个数；为第i个网格中的第j个预测框含有病害的正样本；λ
c
为类乘法器；C
i
为预测框和标注框的IOU值；C
i
’
为预测的置信度值；为第i个网格中的第j个预测框不含有病害的负样本；
[0031][0032]其中，ε指所有病害类别中的指定类别的病害；class为所有病害的类别；p
i
(c)为第i个网格是指定类别病害的实际概率；p
’
i
(c)为第i个网格是指定类别病害的预测概率。
[0033]在一些可选的实施方式中，在获取拍摄混凝土桥梁的外表得到的待测图像之前，所述方法还包括：
[0034]创建所述Backbone主干网络，所述Backbone主干网络包括相互串接的第一CBS模块、第二CBS模块、第一C3模块、第三CBS模块、第二C3模块、第四CBS模块、第三C3模块、第五CBS模块、第四C3模块、热力图模块及SPPF模块；
[0035]创建所述Neck颈部网络，所述Neck颈部网络包括相互串接的第六CBS模块、第一上采样模块、第一Concat模块、第五C3模块、第七CBS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可解释深度学习的混凝土桥梁表观病害智能检测方法，其特征在于，所述方法包括：获取拍摄混凝土桥梁的外表得到的待测图像；将所述待测图像输入预先建立的经过训练测试的识别模型，所述识别模型包括改进的Yolov5s模型，所述改进的Yolov5s模型包括输入层、Backbone主干网络、Neck颈部网络及检测头，所述Backbone主干网络中设置有用于输出热力图的热力图模块，所述Neck颈部网络设置有注意力机制模块；通过所述识别模型，对所述待测图像进行表观病害检测，得到检测结果，所述检测结果包括表征所述待测图像对应的所述混凝土桥梁不存在表观病害的结果，或者存在表观病害的结果以及在存在表观病害时的病害种类与热力图。2.根据权利要求1所述的方法，其特征在于，在获取拍摄混凝土桥梁的外表得到的待测图像之前，所述方法还包括：获取拍摄混凝土桥梁存在表观病害得到的第一类图像集，以及拍摄混凝土桥梁不存在表观病害得到的第二类图像集；对所述第一类图像集与所述第二类图像集进行数据增强，得到经过数据增强后的第一类图像集和第二类图像集；通过标注工具，对所述经过数据增强后的第一类图像集进行病害类别的标注，得到用于模型训练测试的数据集；将所述数据集按照预设比例划分为训练集、验证集与测试集，以及将所述经过数据增强后的第二类图像集合并至所述训练集；通过合并后的所述训练集，对预先创建的所述改进的Yolov5s模型进行训练，以及通过所述验证集对训练后的所述改进的Yolov5s模型进行验证，以及通过所述测试集对验证后的所述改进的Yolov5s模型进行测试，直至所述改进的Yolov5s模型收敛，并将经过测试的所述改进的Yolov5s模型作为所述识别模型。3.根据权利要求2所述的方法，其特征在于，对所述第一类图像集与所述第二类图像集进行数据增强，得到经过数据增强后的第一类图像集和第二类图像集，包括：对所述第一类图像集与所述第二类图像集中的至少部分图像进行缩放、裁剪、旋转、镜像翻转、色域调节中的至少一项操作，得到对应的第一类中间图像集和第二类中间图像集；对所述第一类中间图像集进行Mosaic数据增强，以及进行Mixup数据增强，得到所述经过数据增强后的第一类图像集；对所述第二类中间图像集进行Mosaic数据增强，以及进行Mixup数据增强，得到所述经过数据增强后的第二类图像集。4.根据权利要求2所述的方法，其特征在于，所述病害类别包括裂缝、空洞、蜂窝、麻面、剥落、渗水及露筋。5.根据权利要求2所述的方法，其特征在于，所述改进的Yolov5s模型的损失函数L
loos
包括定位损失函数L
bbox
、置信度损失函数L
obj
和分类损失函数L
cls
；L
loos
＝λ1L
bbox
+λ2L
obj
+λ3L
cls
ꢀꢀꢀꢀꢀꢀ
(1)
其中，λ1、λ2和λ3指预设的权重系数；IOU指交并比；ρ为所述第一类图像集和第二类图像集中的标注框中心点和预测框中心点间的欧式距离；b为预测框；b
gt
为标注框；c为包含标注框和预测框的最小外接矩形的对角线长度；α为预设权重参数；v为长宽比的相似性；w
gt
为标注框的宽度；h
gt
为标注框的长度；w为预测框的宽度；h为预测框的长度；其中，λ
cls
为置信度损失的权重系数；s2为特征图被分割成的网格数量；B为每个网格分配到先验框的目标个数；为第i个网格中的第j个预测框含有病害的正样本；λ
c
为类乘法器；C
i
为预测框和标注框的IOU值；C
i
’
为预测的置信度值；为第i个网格中的第j个预测框不含有病害的负样本；其中，ε指所有病害类别中的指定类别的病害；class为所有病害的类别；p
i
(c)为第i个网格是指定类别病害的实际概率；p
’
i
(c)为第i个网格是指定类别病害的预测概率。6.根据权利要求1所述的方法，其特征在于，在获取拍摄混凝土桥梁的外表得到的待测图像之前，所述方法还包括：创建所述Backbone主干网络，所述Backbone主干网络包括相互串接的第一CBS模块、第二CBS模块、第一C3模块、第三CBS模块、第二C3模块、第四CBS模块、第三C3模块、第五CBS模块、第四C3模块、热力图模块及SPPF模块；创建所述Neck颈部网络，所述Neck颈部网络包括相互串接的第六CBS模块、第一上采样模块、第一Concat模块、第五C3模块、第七CBS模块、第二上采样模块、第二Concat模块、第一注意力机制模块、第六C3模块、第八CBS模块、第三Concat模块、第二注意力机制模块、第七C3模块、第九CBS模块、第四Concat模块、第三注意力机制模块及第八C3模块；基于预设的输入层、所述Backbone主干网络、...

【专利技术属性】
技术研发人员：李提军，刘纲，
申请(专利权)人：重庆铠通路桥复合材料技术有限公司，
类型：发明
国别省市：