基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质技术

基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质，属于混凝土结构病害检测技术领域。为解决现有高速公路裂缝巡检技术的准确性不高。本发明专利技术设定无人机的飞行路线与高度，对高速公路混凝土路面裂缝进行数据采集，通过labelimg工具进行裂缝类别标注，裂缝类别为横向裂缝、纵向裂缝、龟裂和块状裂缝，将标注后的高速公路混凝土路面裂缝数据分为训练集、验证集和测试集；改进YOLOV5网络模型构建高速公路混凝土路面裂缝检测网络模型；将训练集、验证集和测试集输入高速公路混凝土路面裂缝检测网络模型，得到训练好的高速公路混凝土路面裂缝检测网络模型，无人机设定路线操控飞行进行实现检测。本发明专利技术实时精准检测。本发明专利技术实时精准检测。本发明专利技术实时精准检测。

【技术实现步骤摘要】
基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质


[0001]本专利技术属于混凝土结构病害检测
，具体涉及基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质。

技术介绍

[0002]高速公路的维护是确保道路安全的一项重要的日常工作，裂缝是影响道路质量的主要因素之一。目前进行高速公路巡检的方法主要分为人工巡检和半自动巡检。人工巡检是通过公路巡检的技术人员进行现场勘测，人为的衡量道路裂缝的严重程度和手工记录计算，这种方法效率低，存在安全隐患，时间成本和人力成本高，且易受工作人员主观判断的影响，没有统一的标准；半自动巡检的方式是在巡检车上安装自动检测系统，将拍摄的道路画面实时传回到车端服务器，通过图像算法识别道路病害。但这种方法一方面无法克服如行道树倾倒、道路防护栏破损影响正常通行的问题，另一方面车载巡检系统安装在车上，视野受限，限制了巡检的效率，且由于视角原因，无法对裂缝的严重程度进行准确的识别。

技术实现思路

[0003]本专利技术要解决的问题是基于现有高速公路裂缝巡检技术的准确性不高，提出一种基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质。
[0004]为实现上述目的，本专利技术通过以下技术方案实现：
[0005]一种基于无人机的高速公路混凝土路面裂缝检测方法，包括如下步骤：
[0006]S1、设定无人机的飞行路线与高度，对高速公路混凝土路面裂缝进行数据采集；
[0007]S2、将步骤S1采集的高速公路混凝土路面裂缝数据通过labelimg工具进行裂缝类别标注，裂缝类别为横向裂缝、纵向裂缝、龟裂和块状裂缝，将标注后的高速公路混凝土路面裂缝数据分为训练集、验证集和测试集；
[0008]S3、改进YOLOV5网络模型构建高速公路混凝土路面裂缝检测网络模型；
[0009]进一步的，步骤S3的具体实现方法包括如下步骤：
[0010]S3.1、输入层Input：在输入层通过数据加载器传输每批训练数据，传入到神经网络中首先进行尺寸归一化处理，然后使用Mosaic将选定的一张图与其他随机三张图进行拼接处理；
[0011]S3.2、主干网络部分Backbone：使用swin transformer作为主干网络，主要由W
‑
MSA结构和SW
‑
MSA结构组成，W
‑
MSA结构用于在特征窗口内部的patch之间进行相互学习，SW
‑
MSA结构用于各层窗口与窗口之间的特征学习；
[0012]S3.3、连接网络部分Neck：使用BiFPN重复加权双向特征金字塔网络进行加权融合，加权方法如下，
[0013][0014]其中，I
i
为第i级的输入，w
i
为当前学习的级别第i级的权重值，i为当前学习的级别，ε为一个小数用于防止分母为0，w
j
为学习后的级别第j级的权重值，j为学习后的级别，O为加权融合的特征；
[0015]以BiFPN的第四级特征融合进行描述，计算公式为：
[0016][0017][0018]其中，C表示用于特征处理的卷积运算，R表示用于匹配不同分辨率特征层的上采样或下采样操作，为自上而下路径上的级别4处的中间特征，为自上而下路径上的级别4处的中间特征，分别表示级别3与级别4的的输出特征，P
4in
、P
5in
为级别4与级别5的输入特征，w
i
'为自上而下路径上的中间权重；
[0019]S3.4、最终检测部分Head：在特征图上应用锚定框对特征图网格化预测，设定NMS置信度参数，将检测到的目标置信度高于设置的阈值保留，并生成带有类概率的最终输出向量，不同缩放尺度的Head分别用来检测大中小物体；
[0020]S4、将步骤S2得到的训练集、验证集和测试集输入步骤S3构建的高速公路混凝土路面裂缝检测网络模型，得到训练好的高速公路混凝土路面裂缝检测网络模型；
[0021]S5、无人机设定路线或者通过遥控器远程操控飞行，进行高速公路巡检，将无人机拍摄的高速公路混凝土路面裂缝图像传输到步骤S4训练好的高速公路混凝土路面裂缝检测网络模型中，进行实现检测。
[0022]进一步的，步骤S1中无人机的飞行高度根据相机成像原理及几何图形相似原理进行计算，计算公式为
[0023][0024]其中，H为无人机的飞行高度，Fr为相机传感器真实焦距，Dw为图像覆盖地面的真实宽度，Sw为为真实传感器宽度。
[0025]进一步的，步骤S2中按照8：1：1的比例将标注后的高速公路混凝土路面裂缝数据分为训练集、验证集和测试集。
[0026]进一步的，步骤S4的具体实现方法包括如下步骤：
[0027]S4.1、图像通过第一个CBS模块，CBS模块由Conv+BatchNorm+SiLU组成，通道数设置为16，输出大小为320的第0层特征图；
[0028]S4.2、步骤S4.1得到的第0层特征图通过CBS、C3、C3STR模块进行深层下采样特征提取，得到深层特征图；
[0029]S4.3、步骤S4.2提取到的深层特征图经过SPPF模块进行池化、融合，得到主干网络输出特征图；
[0030]S4.4、将步骤S4.3得到的主干网络输出特征图进行上采样操作，将不同层的特征图按加权进行特征融合，对于大物体在下采样时不易丢失信息，其预测来自第10层与第21层的特征图融合，对于小物体随着卷积层深度的增加存在像素信息丢失的情况，其预测来
自第4层与第15层的特征图融合，得到特征融合后的特征图；
[0031]S4.5、将步骤S4.4得到的特征融合后的特征图上应用锚定框对特征融合后的特征图网格化预测，预测结果与标签数据比较得出损失函数，损失函数LOSS的计算公式为：
[0032]LOSS＝分类损失cls_loss+定位损失box_loss+置信度损失obj_loss
[0033]根据损失函数进行反向传输对权重参数和阈值进行调整，设定NMS置信度参数，将检测到的目标置信度高于设置的阈值保留，并生成带有类概率的最终输出向量。
[0034]进一步的，步骤S5的具体实现方法包括如下步骤：
[0035]S5.1、无人机设定路线或人为通过遥控器远程操控飞行，进行高速公路巡检，拍摄高速公路混凝土路面裂缝图像传到训练好的高速公路混凝土路面裂缝检测网络模型中；
[0036]S5.2、首先对高速公路混凝土路面裂缝图像进行归一化处理，统一图像输入大小，并传入到主干网络部分Backbone中，经过swin transformer网络均等分割为多个窗口，在同层的窗口之间、以及不同层的窗口之间充分学习图像特征；
[0037]S5.3、主干网络部分Backbone提取的网络特征传递到neck的BiFPN网络中进行多次多层级加权特征融合，将强语义信息与强位置信息融合，对检测到的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的高速公路混凝土路面裂缝检测方法，其特征在于：包括如下步骤：S1、设定无人机的飞行路线与高度，对高速公路混凝土路面裂缝进行数据采集；S2、将步骤S1采集的高速公路混凝土路面裂缝数据通过labelimg工具进行裂缝类别标注，裂缝类别为横向裂缝、纵向裂缝、龟裂和块状裂缝，将标注后的高速公路混凝土路面裂缝数据分为训练集、验证集和测试集；S3、改进YOLOV5网络模型构建高速公路混凝土路面裂缝检测网络模型；步骤S3的具体实现方法包括如下步骤：S3.1、输入层Input：在输入层通过数据加载器传输每批训练数据，传入到神经网络中首先进行尺寸归一化处理，然后使用Mosaic将选定的一张图与其他随机三张图进行拼接处理；S3.2、主干网络部分Backbone：使用swin transformer作为主干网络，主要由W
‑
MSA结构和SW
‑
MSA结构组成，W
‑
MSA结构用于在特征窗口内部的patch之间进行相互学习，SW
‑
MSA结构用于各层窗口与窗口之间的特征学习；S3.3、连接网络部分Neck：使用BiFPN重复加权双向特征金字塔网络进行加权融合，加权方法如下，其中，I
i
为第i级的输入，w
i
为当前学习的级别第i级的权重值，i为当前学习的级别，ε为一个小数用于防止分母为0，w
j
为学习后的级别第j级的权重值，j为学习后的级别，O为加权融合的特征；以BiFPN的第四级特征融合进行描述，计算公式为：以BiFPN的第四级特征融合进行描述，计算公式为：其中，C表示用于特征处理的卷积运算，R表示用于匹配不同分辨率特征层的上采样或下采样操作，P
4td
为自上而下路径上的级别4处的中间特征，P
5td
为自上而下路径上的级别4处的中间特征，P
3out
、P
4out
分别表示级别3与级别4的的输出特征P
4in
、P
5in
为级别4与级别5的输入特征，w
i
'为自上而下路径上的中间权重；S3.4、最终检测部分Head：在特征图上应用锚定框对特征图网格化预测，设定NMS置信度参数，将检测到的目标置信度高于设置的阈值保留，并生成带有类概率的最终输出向量，不同缩放尺度的Head分别用来检测大中小物体；S4、将步骤S2得到的训练集、验证集和测试集输入步骤S3构建的高速公路混凝土路面裂缝检测网络模型，得到训练好的高速公路混凝土路面裂缝检测网络模型；S5、无人机设定路线或者通过遥控器远程操控飞行，进行高速公路巡检，将无人机拍摄的高速公路混凝土路面裂缝图像传输到步骤S4训练好的高速公路混凝土路面裂缝检测网络模型中，进行实现检测。2.根据权利要求1所述的一种基于无人机的高速公路混凝土路面裂缝检测方法，其特
征在于：步骤S1中无人机的飞行高度根据相机...

【专利技术属性】
技术研发人员：郝向炜，金毅，陈海军，毕建伟，魏国峰，刘颖，邢键，
申请(专利权)人：黑龙江省龙建路桥第六工程有限公司，
类型：发明
国别省市：