本发明专利技术公开了一种基于无人机影像的道路裂缝检测方法，涉及人工智能技术领域，包括以下步骤：S1，无人机航拍影像的获取：通过对无人机的各个参数进行设置，控制无人机航拍获取高质量的路面图像，S2，建立道路图像数据集：通过Pix4Dmapper软件对航拍的路面照片进行镶嵌，然后利用ArcMap10.2对镶嵌的整体照片进行路面部分的裁剪，接着将镶嵌出来的图像阵列成具有统一尺寸的子块图像，建立道路图像数据集。本发明专利技术提出了一种基于无人机影像的道路裂缝检测方法，针对无人机航拍影像具有较高重叠率的情况，数据处理过程除了传统的预处理外，还加入了有针对性的处理操作：通过Pix4Dmapper软件对无人机采集的图像进行整体镶嵌。
1、随着经济的快速发展，中国的公路里程发展迅速，需要养护的公路里程也稳步增加，因此，对道路进行宏观的、大范围的健康监测工作的需求日益迫切，在申请号为202111319654.7的中国专利中公开了“一种基于无人机影像的道路裂缝检测方法，利用无人机采集道路裂缝图像，构建图像数据集；构建改进u-net神经网络模型，共七层，包括编码器和解码器，所述解码器包括三层，其最后一层中设置有cbam注意力模块，编码后的各层特征图经上采样至原始输入图像大小，再与解码器中最后一层输出的特征图进行深浅层信息融合，然后进入cbam注意力模块，所述cbam注意力模块用于从通道层面和空间层面重新分配权重，得到更加聚焦裂缝的目标特征图；基于图像数据集，对构建好的改进u-net神经网络模型进行训练和测试，并利用训练好的改进u-net神经网络模型对待检图像进行检测。”
2、该对比文件仅仅解决了传统模型不适合对无人机图像进行裂缝分割，因为无人机图像中的裂缝更小、更窄，并且裂缝包含的纹理特征更少，即使在高分辨率无人机遥感图像中，裂缝通常也只占少数像素，网络模型中的多次下采样有利于抽象特征提取，但这也导致了无人机影像中裂纹信息的丢失的问题，未考虑到由于无人机航拍影像的范围较大、包含的各种地物非常复杂，对道路裂缝的提取工作干扰严重，需要剔除非路面区域的复杂背景，且未考虑到在检测识别道路裂缝后，需要对道路裂缝进行准确定位。
>1、本专利技术的目的在于提供一种基于无人机影像的道路裂缝检测方法，以解决上述
技术介绍
中提出的问题。2、为实现上述目的，本专利技术提供如下技术方案：一种基于无人机影像的道路裂缝检测方法，包括以下步骤：
3、s1：无人机航拍影像的获取：通过对无人机的各个参数进行设置，控制无人机航拍获取高质量的路面图像；
4、s2：建立道路图像数据集：通过pix4dmapper软件对航拍的路面照片进行镶嵌，然后利用arcmap10.2对镶嵌的整体照片进行路面部分的裁剪，接着将镶嵌出来的图像阵列成具有统一尺寸的子块图像，建立道路图像数据集；
5、s3：构建道路裂缝识别模型：使用yolov5检测算法作为检测识别模型的框架，通过调整各项参数和训练次数，构建具有较高定位精确度和分类精确度的道路裂缝识别模型；
6、s4：判别裂缝类型：通过yolov5检测算法，将路面裂缝区分出龟裂、块状裂缝、横向裂缝和纵向裂缝4种类型；
7、s5：标定道路裂缝：用不同颜色的最小外接矩形框，标定不同类型的裂缝，并表注裂缝的要素信息。
8、优选的，所述步骤s1还包括具体应用大疆经纬m210-rtk航测无人机获取高质量的道路影像，其过程包括航拍设置、影像检查、影像粗校正三个环节，航拍设置环节具体包括依据气候、地形、航拍面积、位置等因素，对航拍的规划航线、飞行高度、范围、重叠率等参数进行具体设置，制定准确的无人机航拍方案，影像检查环节具体包括在航拍结束后，立即检查拍摄的影像质量，主要包括漏拍检查、影像重叠率、航线检查等，如果影像质量不符合要求需要及时复飞，影像粗校正环节具体包括在影像处理前，必须先进行镜头畸变校正和控制点精校正以消除影像畸变，影像获取过程需要严格按照步骤操作，确保拍摄影像能够准确、清晰地反映路面特征，提高后续处理效率。
9、优选的，所述步骤s2还包括使用pix4dmapper软件对航拍的路面图像进行镶嵌，消除无人机航拍工作过程中得到的影像中地物重复非常明显所带来的影响，进而排除后续对地物要素提取数据时的干扰，然后利用arcmap10.2对镶嵌的整体照片进行路面部分的裁剪，从而剔除非路面区域的复杂背景，将分割出来的路面图像阵列成具有统一尺寸的子块图像，尺寸大小为608像素×608像素，组成图像数据集，进而保证计算机能顺畅处理和每一条主要裂缝都能被准确的检测出来并且被完整的识别。
10、优选的，所述步骤s3还包括采用轻型网络yolo-v5s作为使用模型，yolo模型整体划分为输入、特征提取以及预测三个阶段，其中：输入阶段对应input层，旨在接收图像并对其进行数据增强，特征提取阶段往往利用预训练的卷积神经网络作为backbone，旨在提取图像中的重要特征，预测阶段对应head层，旨在根据特征提取阶段输出的特征图生成不同尺寸的锚框，其中输入阶段具体包括将尺寸大小为608像素×608像素的子块图像输入，对输入的图像进行预处理，将输入图像缩放到网络的输入大小，并进行归一化操作。
11、优选的，其中特征提取阶段使用focus结构作为基准网络，focus结构是在输入的图片进入backbone前对图片进行切片操作，为后续的特征提取保留了更完整的图片下采样信息，具体包括以下步骤：将原始608×608×3的图像输入focus结构，采用切片操作，先变成304×304×12的特征图，再经过一次32个卷积核的卷积操作，最终变成304×304×32的特征图，之后将多个切片结果合并起来送入neck模块中，neck模块采用特征金字塔网络与路径聚合网络结合的方式，完成目标的定位功能，进一步提高特征的多样性和鲁棒性，特征金字塔网络是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图，其中预测阶段通过kmeans方法计算得到自适应的锚框尺寸，并采用siou损失函数分别计算分类、定位和置信度损失。
12、优选的，所述步骤s4还包括对yolo模型进行数据训练，具体包括以下步骤：准备一个包含道路裂缝图像和对应的标签图的数据集，使用yolov5进行格式转化，将准备好的图像格式转化为yolov5可以用python语言识别的txl、xm的文本格式或数据格式，从数据集中随机挑选训练集用于神经网络训练，设计输入层设计节点数，对图像进行镶嵌、裁剪，做旋转镜像等增强，最终制作出100张含有裂缝的子块图像和50张无裂缝的子块图像进行模型训练，根据模型在训练集上的表现，与人工识别与分类的结果对比，分析模型的准确性和可靠性，以及可能存在的误判情况，根据分析结果，对模型进行优化和调整，以提高模型的准确性和可靠性。
13、优选的，所述步骤s4还包括将尺寸大小为608像素×608像素的子块图像输入到yolo模型中进行检测，在检测阶段，将图像输入后首先对图像进行预处理，将输入图像缩放到网络的输入大小，并进行归一化等操作，再传输到神经网络中，此处神经网络作为一个分类器，通过设计输出层节点数，以及通过检测算法计算得到隐藏层的节点数，其具体计算公式如下：
14、m＝(nl)1/2
15、式中，m表示隐藏层的节点数，n表示输入层的节点数，l表示输出层的节点数，进而判断子块图像是否存在裂缝以及相应路面裂缝的类型，其中路面裂缝类型分为龟裂、块状裂缝、横向裂缝和纵向裂缝4种类型。
16、优选的，所述步骤s5还包括通过yolo模型对于路面破损的位置先进行标定框大致本文档来自技高网...
【技术保护点】
1.一种基于无人机影像的道路裂缝检测方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤S1还包括具体应用大疆经纬M210-RTK航测无人机获取高质量的道路影像，其过程包括航拍设置、影像检查、影像粗校正三个环节，航拍设置环节具体包括依据气候、地形、航拍面积、位置等因素，对航拍的规划航线、飞行高度、范围、重叠率等参数进行具体设置，制定准确的无人机航拍方案，影像检查环节具体包括在航拍结束后，立即检查拍摄的影像质量，主要包括漏拍检查、影像重叠率、航线检查等，如果影像质量不符合要求需要及时复飞，影像粗校正环节具体包括在影像处理前，必须先进行镜头畸变校正和控制点精校正以消除影像畸变，影像获取过程需要严格按照步骤操作，确保拍摄影像能够准确、清晰地反映路面特征，提高后续处理效率。
3.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤S2还包括使用Pix4Dmapper软件对航拍的路面图像进行镶嵌，消除无人机航拍工作过程中得到的影像中地物重复非常明显所带来的影响，进而排除后续对地物要素提取数据时的干扰，然后利用ArcMap10.2对镶嵌的整体照片进行路面部分的裁剪，从而剔除非路面区域的复杂背景，将分割出来的路面图像阵列成具有统一尺寸的子块图像，尺寸大小为608像素×608像素，组成图像数据集，进而保证计算机能顺畅处理和每一条主要裂缝都能被准确的检测出来并且被完整的识别。
4.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤S3还包括采用轻型网络Yolo-v5s作为使用模型，YOLO模型整体划分为输入、特征提取以及预测三个阶段，其中：输入阶段对应Input层，旨在接收图像并对其进行数据增强，特征提取阶段往往利用预训练的卷积神经网络作为Backbone，旨在提取图像中的重要特征，预测阶段对应Head层，旨在根据特征提取阶段输出的特征图生成不同尺寸的锚框，其中输入阶段具体包括将尺寸大小为608像素×608像素的子块图像输入，对输入的图像进行预处理，将输入图像缩放到网络的输入大小，并进行归一化操作。
5.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：其中特征提取阶段使用Focus结构作为基准网络，Focus结构是在输入的图片进入Backbone前对图片进行切片操作，为后续的特征提取保留了更完整的图片下采样信息，具体包括以下步骤：将原始608×608×3的图像输入Focus结构，采用切片操作，先变成304×304×12的特征图，再经过一次32个卷积核的卷积操作，最终变成304×304×32的特征图，之后将多个切片结果合并起来送入Neck模块中，Neck模块采用特征金字塔网络与路径聚合网络结合的方式，完成目标的定位功能，进一步提高特征的多样性和鲁棒性，特征金字塔网络是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图，其中预测阶段通过kmeans方法计算得到自适应的锚框尺寸，并采用SIOU损失函数分别计算分类、定位和置信度损失。
6.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤S4还包括对YOLO模型进行数据训练，具体包括以下步骤：准备一个包含道路裂缝图像和对应的标签图的数据集，使用YOLOV5进行格式转化，将准备好的图像格式转化为YOLOV5可以用Python语言识别的txl、xm的文本格式或数据格式，从数据集中随机挑选训练集用于神经网络训练，设计输入层设计节点数，对图像进行镶嵌、裁剪，做旋转镜像等增强，最终制作出100张含有裂缝的子块图像和50张无裂缝的子块图像进行模型训练，根据模型在训练集上的表现，与人工识别与分类的结果对比，分析模型的准确性和可靠性，以及可能存在的误判情况，根据分析结果，对模型进行优化和调整，以提高模型的准确性和可靠性。
7.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤S4还包括将尺寸大小为608像素×608像素的子块图像输入到YOLO模型中进行检测，在检测阶段，将图像输入后首先对图像进行预处理，将输入图像缩放到网络的输入大小，并进行归一化等操作，再传输到神经网络中，此处神经网络作为一个分类器，通过设计输出层节点数，以及通过检测算法计算得到隐藏层的节点数，进而判断子块图像是否存在裂缝以及相应路面裂缝的类型，其中路面裂缝类型分为龟裂、块状裂缝、横向裂缝和纵向裂缝4种类型。
8.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤S5还包括通过YOLO模型对于路面破损的位置先进行标定...
【技术特征摘要】
1.一种基于无人机影像的道路裂缝检测方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤s1还包括具体应用大疆经纬m210-rtk航测无人机获取高质量的道路影像，其过程包括航拍设置、影像检查、影像粗校正三个环节，航拍设置环节具体包括依据气候、地形、航拍面积、位置等因素，对航拍的规划航线、飞行高度、范围、重叠率等参数进行具体设置，制定准确的无人机航拍方案，影像检查环节具体包括在航拍结束后，立即检查拍摄的影像质量，主要包括漏拍检查、影像重叠率、航线检查等，如果影像质量不符合要求需要及时复飞，影像粗校正环节具体包括在影像处理前，必须先进行镜头畸变校正和控制点精校正以消除影像畸变，影像获取过程需要严格按照步骤操作，确保拍摄影像能够准确、清晰地反映路面特征，提高后续处理效率。
3.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤s2还包括使用pix4dmapper软件对航拍的路面图像进行镶嵌，消除无人机航拍工作过程中得到的影像中地物重复非常明显所带来的影响，进而排除后续对地物要素提取数据时的干扰，然后利用arcmap10.2对镶嵌的整体照片进行路面部分的裁剪，从而剔除非路面区域的复杂背景，将分割出来的路面图像阵列成具有统一尺寸的子块图像，尺寸大小为608像素×608像素，组成图像数据集，进而保证计算机能顺畅处理和每一条主要裂缝都能被准确的检测出来并且被完整的识别。
4.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：所述步骤s3还包括采用轻型网络yolo-v5s作为使用模型，yolo模型整体划分为输入、特征提取以及预测三个阶段，其中：输入阶段对应input层，旨在接收图像并对其进行数据增强，特征提取阶段往往利用预训练的卷积神经网络作为backbone，旨在提取图像中的重要特征，预测阶段对应head层，旨在根据特征提取阶段输出的特征图生成不同尺寸的锚框，其中输入阶段具体包括将尺寸大小为608像素×608像素的子块图像输入，对输入的图像进行预处理，将输入图像缩放到网络的输入大小，并进行归一化操作。
5.根据权利要求1所述的一种基于无人机影像的道路裂缝检测方法，其特征在于：其中特征提取阶段使用focus结构作为基准网络，focus结构是在输入的图片进入backbone前对图片进行切片操作，为后续的特征提取保留了更完整的图片下采样...
【专利技术属性】
技术研发人员：杨大勇，刘晨红，张其红，
申请(专利权)人：沈阳建筑大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。