一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法技术

本发明专利技术公开了.一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法，包括如下步骤：步骤1，利用无人机对堤坝进行拍摄，采集堤坝表面区域的图像；步骤2，堤坝裂缝的识别与定位：步骤3，堤坝裂缝尺寸信息计算：步骤4，计算裂缝尺寸信息。本发明专利技术所公开的方法，利用无人机对堤坝表面进行图像数据采集，利用深度学习和图像处理技术对堤坝裂缝进行识别、定位和量化，可以实现快速、自动、智能化的堤坝裂缝检测；基于改进FPN的Mask R

【技术实现步骤摘要】
一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法


[0001]本专利技术属于堤坝结构的健康监测与损伤识别领域，特别涉及该领域中的一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法。

技术介绍

[0002]裂缝是我国水库堤坝等大体积混凝土结构中普遍存在的一种病害，裂缝的存在影响着堤坝建筑的整体性、耐久性和抗震性能，大大降低了堤坝的质量。因此，需要对堤坝的病害风险，特别是裂缝进行定期检测。由于堤坝裂缝具有宽度小、可见性差、识别特征不明显等特点，因此实现快速、稳定、准确的堤坝裂缝检测仍然是一个极具挑战性的难题。
[0003]对于堤坝裂缝检测，最早且最常用的方法是依靠人工观测，但该方法耗时、效率低下，且较容易受到人为主观因素的影响，导致大规模堤坝快速检测无法实现。随着科技的进步与发展，无人机智能巡检技术的出现为堤坝表观裂缝检测提供了良好的发展思路。无人机作为一种新兴的数据采集方法，可以通过搭载多种型号的传感器来满足不同类型的裂缝检测要求，能够轻松获取测量人员难以采集的数据信息，并且可以向地面或云系统传输拍摄的图像信息，与先进的数字图像处理算法相结合，从而实现对堤坝裂缝信息的高效准确定位与识别。
[0004]目前以无人机为载体，采用图像识别技术对堤坝裂缝进行快速识别已开始进入工程应用阶段。但是，人机的抖动、外界干扰和目标物背景复杂等因素的干扰，常常造成图像模糊、区域分辨率较低和裂缝像素点过少等问题，导致小目标识别精度较低，难以对裂缝部位进行精确识别、定位和量化。虽然研究人员已经将深度学习(DNN、CNN、Faster RCNN网络)应用到堤坝裂缝检测和识别领域，并取得较大突破。但是，在小目标的检测准确率方面仍然不够理想。而且，在裂缝的定位和量化方面也未能做到自动化和智能化。因此急需研究一种适应于堤坝裂缝快速检测的无人机智能检测方法。

技术实现思路

[0005]本专利技术所要解决的技术问题就是提供一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法，用于提高对堤坝小裂缝的识别精度，并能计算裂缝的尺寸信息，实现快速、准确、智能的堤坝裂缝检测。
[0006]本专利技术采用如下技术方案：
[0007]一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法，其改进之处在于，包括如下步骤：
[0008]步骤1，利用无人机对堤坝进行拍摄，采集堤坝表面区域的图像；
[0009]步骤2，堤坝裂缝的识别与定位：
[0010]首先进行预处理：对采集图像进行增强处理并采用LabelMe标注工具进行数据标注和Mask掩膜制作；
[0011]其次，基于改进FPN的Mask R
‑
CNN算法进行堤坝裂缝识别：
[0012]输入待检测图像，利用ResNet
‑
101网络提取图像的深度特征{C2,C3,C4,C5}；
[0013]采用改进FPN特征金字塔网络，将ResNet
‑
101生成的特征图与底层特征信息进行融合，输出自上而下融合特征图{P2,P3,P4,P5}和自下而上融合特征图{T2,T3,T4,T5}；
[0014]将自上而下融合特征图{P2,P3,P4,P5}和自下而上融合特征图{T2,T3,T4,T5}进行融合，获得多尺度多信息特征图{Q2,Q3,Q4,Q5}，并将其输入RPN区域生成网络，生成关于检测目标的建议框；
[0015]采用RoI Align网络对生成的建议框执行对齐操作；
[0016]采用全卷积网络对对齐后的建议框进行分类、边界回归和Mask分割操作；
[0017]输出对采集图像的裂缝检测结果、目标检测框以及目标掩膜；
[0018]最后定位裂缝在堤坝表面的具体位置；
[0019]步骤3，堤坝裂缝尺寸信息计算：
[0020]首先，将含裂缝的彩色图像转换为灰度图像，得到裂缝的初始灰度图像，图像像素灰度值集合{x1,x2,
…
,x
N
}，N为样本数；
[0021]其次，利用K
‑
means聚类算法和区域生长算法对裂缝灰度图像进行精确分割：
[0022]将裂缝灰度图像按像素特征划分为背景区域、噪声区域和裂缝区域3类，因此初始化K簇值为3，通过下式计算裂缝灰度图像中每个像素点到预设初始中心{u1,u2,
…
,u
K
}的距离，动态调整聚类中心，迭代此过程直至聚类结果收敛为止，得到最佳聚类结果；
[0023][0024]上式中，x
l
为第l个样本数据，u
k
为第k个簇中心，J表示样本数据中x
l
与u
k
之间距离的累加和；
[0025]利用区域生长算法对裂缝灰度图像进行精确分割时，将K
‑
means聚类算法求出的裂缝目标聚类中心像素灰度值对应点作为初始目标点，并以目标点与周围八邻域灰度像素点大小变化作为生长准则的评判标准，假设裂缝灰度图像的大小为M
×
N，G(i,j)表示坐标为(i,j)的点的像素灰度值，给点(i,j)设置一个标量F
i,j
，则裂缝的生长准则S为：
[0026]S(G(i,j),G(i
±
1,j
±
1))≤T
[0027]上式中，G(i
±
1,j
±
1)表示点(i,j)八邻域内任一点的像素灰度值，S(G(i,j),G(i
±
1,j
±
1))表示点(i,j)与周围八邻域点像素灰度值的相似程度，T是一个阈值，取值为10，如果满足上式，则F
i,j
＝1，表示点(i,j)属于裂缝区域；否则F
i,j
＝0，表示点(i,j)不属于裂缝区域；
[0028]然后，按宽度对分割后图像中的裂缝区域进行分段标识；
[0029]最后，计算裂缝尺寸信息：
[0030]裂缝面积P
a
为：P
a
＝λ2·
P
v
，上式中，P
v
为裂缝的像素尺寸，λ为裂缝在图像中的缩放比例；
[0031]裂缝长度：对裂缝骨架进行图像细化，细化后的裂缝宽度为单个像素，计算此时周长的一半得到裂缝的像素数目，依据像素的实际物理尺寸，得到裂缝长度；
[0032]裂缝平均宽度为裂缝面积与长度之比，计算公式为：
[0033]d
e
＝2S
e
/C
e
,1≤e≤n
[0034]上式中，S
e
为第e个裂缝的面积，C
e
为第e个裂缝的周长，d
e
为第e个裂缝的平均宽度，n为裂缝总数。
[0035]进一步的，步骤1包括：
[0036]首先，设计观测航线，包括航飞范围、飞行架次、堤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法，其特征在于，包括如下步骤：步骤1，利用无人机对堤坝进行拍摄，采集堤坝表面区域的图像；步骤2，堤坝裂缝的识别与定位：首先进行预处理：对采集图像进行增强处理并采用LabelMe标注工具进行数据标注和Mask掩膜制作；其次，基于改进FPN的Mask R
‑
CNN算法进行堤坝裂缝识别：输入待检测图像，利用ResNet
‑
101网络提取图像的深度特征{C2,C3,C4,C5}；采用改进FPN特征金字塔网络，将ResNet
‑
101生成的特征图与底层特征信息进行融合，输出自上而下融合特征图{P2,P3,P4,P5}和自下而上融合特征图{T2,T3,T4,T5}；将自上而下融合特征图{P2,P3,P4,P5}和自下而上融合特征图{T2,T3,T4,T5}进行融合，获得多尺度多信息特征图{Q2,Q3,Q4,Q5}，并将其输入RPN区域生成网络，生成关于检测目标的建议框；采用RoI Align网络对生成的建议框执行对齐操作；采用全卷积网络对对齐后的建议框进行分类、边界回归和Mask分割操作；输出对采集图像的裂缝检测结果、目标检测框以及目标掩膜；最后定位裂缝在堤坝表面的具体位置；步骤3，堤坝裂缝尺寸信息计算：首先，将含裂缝的彩色图像转换为灰度图像，得到裂缝的初始灰度图像，图像像素灰度值集合{x1,x2,
…
,x
N
}，N为样本数；其次，利用K
‑
means聚类算法和区域生长算法对裂缝灰度图像进行精确分割：将裂缝灰度图像按像素特征划分为背景区域、噪声区域和裂缝区域3类，因此初始化K簇值为3，通过下式计算裂缝灰度图像中每个像素点到预设初始中心{u1,u2,
…
,u
K
}的距离，动态调整聚类中心，迭代此过程直至聚类结果收敛为止，得到最佳聚类结果；上式中，x
l
为第l个样本数据，u
k
为第k个簇中心，J表示样本数据中x
l
与u
k
之间距离的累加和；利用区域生长算法对裂缝灰度图像进行精确分割时，将K
‑
means聚类算法求出的裂缝目标聚类中心像素灰度值对应点作为初始目标点，并以目标点与周围八邻域灰度像素点大小变化作为生长准则的评判标准，假设裂缝灰度图像的大小为M
×
N，G(i,j)表示坐标为(i,j)的点的像素灰度值，给点(i,j)设置一个标量F
i,j
，则裂缝的生长准则S为：S(G(i,j),G(i
±
1,j
±
1))≤T上式中，G(i
±
1,j
±
1)表示点(i,j)八邻域内任一点的像素灰度值，S(G(i,j),G(i
±
1,j
±
1))表示点(i,j)与周围八邻域点像素灰度值的相似程度，T是一个阈值，取值为10，如果满足上式，则F
i,j
＝1，表示点(i,j)属于裂缝区域；否则F

【专利技术属性】
技术研发人员：辛剑飞，訾亚磊，孙亚飞，李冰，王捷，姚晓斌，贾宪武，
申请(专利权)人：新乡市水利水电工程质量监测站，
类型：发明
国别省市：