一种基于两阶段深度学习策略的桥梁裂纹检测方法技术

本发明专利技术公开了一种基于两阶段深度学习策略的桥梁裂纹检测方法，将分类网络与分割网络相结合，首先利用分类网络对高分辨率桥梁裂纹图像中的裂纹位置进行粗定位，通过对YOLOx的剪枝，将目标检测的回归问题转换为二分类问题，避免卷积神经网络因平移不变性带来的网络性能降低，同时，为提升模型性能，DBCC

【技术实现步骤摘要】
一种基于两阶段深度学习策略的桥梁裂纹检测方法


[0001]本专利技术属于桥梁裂纹检测
，尤其涉及一种基于两阶段深度学习策略的桥梁裂纹检测方法。

技术介绍

[0002]桥梁裂纹是一种严重的桥梁病害，对其进行高覆盖率、高效的检测成为桥梁工程发展不可缺少的关键环节。
[0003]目前桥梁裂纹的检测方法中使用了多种桥梁检测机器人对桥梁缺陷进行检测，通过桥梁检测机器人采集的图像进行裂纹检测，图像采集量大，因此，基于图像处理的裂纹检测算法具有重要意义。传统图像处理方法处理裂纹图片通常通过阈值、边缘、区域等方法实现裂纹目标提取或通过人工设置特征提取裂纹目标，其检测目标方式均是通过手动提取图像浅层或中层形态特征，对于具有良好连续性和对比度的裂纹，则可以高精度的检测出裂纹，但在实际应用中，桥梁混凝土掉块、阴影、污渍等噪声使这种基于特征假设的方法在复杂环境下不具备鲁棒性。
[0004]随着机器学习研究的深入，复杂条件下基于图像的裂纹检测成为现实。如通过构建图像数据库，实现无监督的裂纹提取；再如将图像裁剪为小块，借鉴haar
‑
like特征提取器设计描述子描述裂纹特征，并基于Adaboost通过多描述子对小块进行打分，从而分辨裂纹块与背景块。但这些方法很大程度上依赖于提取的特征，因此仅在特定环境下有较好的性能表现，然而，由于裂纹所处环境比较复杂，很难找到适用于各种环境下的有效特征。
[0005]近年来，深度学习的发展使图像处理任务能够充分提取图片深层语义特征，精度更高，抗干扰能力能更强，使复杂环境下基于图像的裂纹检测成为现实，因此成为当前大多数图像处理任务中的主流方法，如采用分类网络识别裂纹图像、采用目标检测网络识别裂纹图像、采用语义分割网络识别裂纹图像等，但都存在如下缺陷：
[0006]1、采用分类网络识别裂纹图像是按照一定的尺寸裁剪成patches，将每个patch送进网络进行分类，再将结果进行拼接。这种做法具有以下局限性：
[0007](1)patches之间信息不互通，且感受野极小，无法训练出鲁棒的网络；
[0008](2)随着数字成像技术的发展，目前采集图像均大于2000
×
2000分辨率，在实际问题中的应用性有待考证。
[0009]2、采用目标检测网络识别裂纹图像具有以下局限性：
[0010](1)CNN网络具有平移不变性，而目标检测需要网络对位置信息敏感，鲁棒与敏感共存导致检测网络无法准确定位图像；
[0011](2)传统目标检测通常应用在人脸检测、车辆定位、行人计数等，在检测裂纹的应用场景中，对Recall值的需求要高于Precision值，需要找到方法对Precision与Recall进行合理的trade
‑
off。
[0012]3、采用语义分割网络识别裂纹图像具有以下局限性：
[0013](1)网络需要像素级图像标签进行训练，裂纹分布的不规律导致像素标注困难；
[0014](2)由于裂纹图片场景较传统语义分割目标场景具有环境统一性、裂纹分布无规律性与噪声不确定性，因此漏检与误检常常无法预料，导致后处理步骤设计困难。
[0015]因此，单一结构的深度学习网络难以满足复杂业务场景的需求实现。

技术实现思路

[0016]针对上述
技术介绍
中指出的不足，本专利技术提供了一种基于两阶段深度学习策略的桥梁裂纹检测方法，旨在解决上述
技术介绍
中现有技术存在的问题。
[0017]为实现上述目的，本专利技术采用的技术方案是：
[0018]一种基于两阶段深度学习策略的桥梁裂纹检测方法，步骤如下：
[0019](1)采集高分辨率桥梁裂纹图像，输入训练后的DBCC
‑
Net(Deep Bridge Crack Detection Network)，以YOLOx作为网络的backbone提取裂纹特征信息，为避免anchor的回归过程造成漏检裂纹，对YOLOx模型的head进行剪枝，完成裂纹位置粗定位，过滤出包含裂纹的图像部分；既不需要设置anchor，也不需要对anchor进行回归，仅通过prediction中的fusion block处理后的最终预测层判断该特征层每点对应在原图的区域中是否有裂纹存在；
[0020](2)分类网络后处理
[0021]正向推理过程中，裂纹经过DBCC
‑
Net的分类处理后，特征图上每一点对应在原图的patch类型被分类，裂纹patch已经十分逼近实际裂纹区域，但仍存在漏检与误检现象，因此，进行分类网络后处理：
[0022]①
模型修正
[0023]将DBCC
‑
Net的Prediction部分中经sigmoid处理得到的预测结果映射为矩阵，对所述矩阵中的误检和漏检部分进行修正，得到修正矩阵h
′
；
[0024]②
切片聚类
[0025]利用所述修正矩阵对步骤(1)过滤出的图像部分进行切片聚类，得到裂纹的完整切片图像；
[0026](3)利用DDRNet对切片图像进行像素级分割，提取出裂缝完整形态。
[0027]通过上述分类网络与分割网络相结合的两阶段检测策略，实现高效率、高精度的裂纹检测，具有较高实用价值。
[0028]优选地，步骤(2)中，所述模型修正的具体方法如下：
[0029]a.将映射得到的矩阵中，裂纹部分矩阵值设为1，背景部分矩阵值设为0，对每个矩阵值为1的点，统计其八邻域内矩阵值为1的点的个数，将矩阵内值为1的点称为端点，大于等于2的矩阵点称为中间点；
[0030]b.计算端点与端点间的最小欧式距离，设置误检阈值β，删除与其他部分距离小于β的孤立点，将相应位置的矩阵值由1设为0，得到误检部分的修正矩阵；
[0031]c.计算端点与端点间的最小欧式距离，设置漏检阈值α，当该距离小于阈值α时认为这两个端点为断点关系，两点间存在漏检裂纹面元，确定漏检裂纹面元并设置其所对应位置的矩阵值为1，得到漏检部分的修正矩阵。
[0032]优选地，所述漏检裂纹面元的寻找方法为：
[0033]计算两断点间横纵坐标差值ΔX与ΔY，若ΔX>ΔY，则以x轴为主轴连接，若ΔX≤
ΔY，则以y轴为主轴连接，分别进行断点迭代直至两点重合，即找到漏检裂纹面元。
[0034]优选地，步骤(2)中，所述切片聚类具体方法如下：
[0035]将修正矩阵中有连接的点聚类为点集，确定点集的最小横坐标x
min
，最小纵坐标y
min
，最大横坐标x
max
，最大纵坐标y
max
，以(x
min，
y
min
)、(x
max
，y
max
)作为裂纹部分bounding box的左上角顶点与右下角顶点，将bounding box中对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两阶段深度学习策略的桥梁裂纹检测方法，其特征在于，包括以下步骤：(1)采集高分辨率桥梁裂纹图像，输入训练后的DBCC
‑
Net，以YOLOx作为网络的backbone提取裂纹特征信息，并对YOLOx模型的head进行剪枝，完成裂纹位置粗定位，过滤出包含裂纹的图像部分；(2)分类网络后处理
①
模型修正将DBCC
‑
Net的Prediction部分中经sigmoid处理得到的预测结果映射为矩阵，对所述矩阵中的误检和漏检部分进行修正，得到修正矩阵h
′
；
②
切片聚类利用所述修正矩阵对步骤(1)过滤出的图像部分进行切片聚类，得到裂纹的完整切片图像；(3)利用DDRNet对切片图像进行像素级分割，提取出裂缝完整形态。2.如权利要求1所述的基于两阶段深度学习策略的桥梁裂纹检测方法，其特征在于，步骤(2)中，所述模型修正的具体方法如下：a.将映射得到的矩阵中，裂纹部分矩阵值设为1，背景部分矩阵值设为0，对每个矩阵值为1的点，统计其八邻域内矩阵值为1的点的个数，将矩阵内值为1的点称为端点，大于等于2的矩阵点称为中间点；b.计算端点与端点间的最小欧式距离，设置误检阈值β，删除与其他部分距离小于β的孤立点，将相应位置的矩阵...

【专利技术属性】
技术研发人员：季坤，张振海，闵永智，余家乐，党建武，
申请(专利权)人：兰州交通大学，
类型：发明
国别省市：