一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法技术

本发明专利技术涉及一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法。具体公开了适用于公路路面的道路裂缝检测系统，所述方法包括以下步骤：创建用于本模型进行道路裂缝检测的道路裂缝图像训练集和测试集；基于U

【技术实现步骤摘要】
一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法


[0001]本专利技术涉及公路路面裂缝检测领域，尤其是涉及一种基于U
‑
Net,循环网络和残差网络的自动化裂缝检测方法。

技术介绍

[0002]公路网的基本构建推动了我国交通运输行业的快速发展，给人们的出行带来了极大的便利。于此相对的是对于安全隐患路段治理以及提高国省道安全性和抗灾能力和行车舒适性的要求也在提高。由于道路使用年限的不断增加，道路路面在各型重载车辆的长期碾压下受损，导致路面内部的结构层难以承担负荷，主要以路面损伤初期的裂缝形式显现。强化干线公路养护，加强公路安全隐患治理在现今公路网建设“保量增质”的大环境下主体作用显著增强。若能够在公路路面破损初期就对其进行道路养护工作，将大大减少工作量并减少相关费用。对于道路养护工作者来说，若能够在路面损伤初期就进行及时的路况检测可以有效提高预防性养护的水平。相反，由于路面养护的封闭维修模式而导致损伤处理不及时，风险评估不到位，在各种外在因素的影响下会进而引发损伤二次加剧，严重干扰正常的交通秩序，危害驾驶人的安全。目前，随着我国公路里程数与日俱增，道路养护任务量不断加大，传统的养护方式严重依赖一些专业的养护和检测设备，价格高且操作专业性强，导致相关任务完成难度大。相比之下，自动路面检测系统在设计和应用得当的情况下，能够快速、准确地完成任务，同时降低人为主观性因素产生的影响。因此，公路养护工作应该朝着更加智能化、高效化的方向发展。
[0003]在公路的养护任务中，关键的一步便是对路面裂缝的检测和识别。传统的人工检测方式完全依赖于检测人员个人的相关经验和知识背景，在在定量分析中缺乏客观性。基于数字图像处理技术以及边缘检测算法的裂缝检测方法虽然相对于人工检测可以在一定程度上提高检测效率，但其处理模式单一，且没有考虑到实际环境下的路面噪声情况，其检测准确性不高。并且在实际情况下混凝土路面具有光照强度不均匀、拓扑结构复杂、对比度低、纹理背景复杂、噪声干扰大等特点。
[0004]综上所述，设计高效、准确的公路路面裂缝检测系统，成为路面裂缝检测领域亟待攻克的技术难题。

技术实现思路

[0005]针对这些问题，对现有检测算法进行优化或提出更有效的裂缝检测算法是非常必要的。与此同时，现有的裂缝数据集多是图像质量较好、目标清晰、背景单一的裂缝图像，这就导致在此基础上开发的检测算法缺乏对复杂背景的适应性，其难以满足工程实际需求。因此，此论文主要对路面裂缝分割算法进行研究，同时建立真实环境下的路面裂缝数据集，包含各种复杂背景，为开发出更加自动化、智能化的路面裂缝自动灌缝机提供相关的技术支持。
[0006]为实现上述目的，本专利技术提供一下技术方案：
[0007]一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法，包括：
[0008]S1，采用以U
‑
Net为骨架进行搭建的卷积神经网络，所述模型融合循环神经网络，残差网络和注意力引导机制，构成编码
‑
解码结构。
[0009]S2，整个模型分为五层，除了第五层外，每层除了上层的输出作为输入外还有一个图像输入，对应输出一个分隔结果；
[0010]S3，采用任意大小尺寸的数据集可以对模型进行训练，所用数据集为使用专用软件进行标注后的图像集合；
[0011]S4，当模型第一层的输入图像尺寸确定以后，后面三层的输入图像尺寸会自动缩小为它的上一层尺寸的一半；
[0012]S5，最终模型的输出结果是第一层输出经过softmax函数激活后取对数。
[0013]进一步，步骤S3中采用任意大小尺寸的数据集可以对模型进行训练，包括如下步骤：
[0014]S31，第一层输入原始图像，经过循环卷积模块(编码块)得到第一特征图，第一层的注意力引导模块叠加两次第一特征图后的结果作为第一层解码模块的一部分输入；
[0015]S32，第二层输入是第一特征图叠加原始图像卷积后结果，输出通道为64，第二层注意力引导模块将第二特征图和第二层原始图像卷积结果进行叠加输出到第二层解码模块；
[0016]S33，第三层和第四层处理同S32，不同是输出通道变为上一层的2倍，其中，这些卷积模块的卷积核都为3x3；
[0017]S34,第五层输入第四特征图，经过循环残差模块的输出作为第四层解码模块的另一部分输入。
[0018]S35，每一层(除第五层)的解码模块都是循环残差模块加上卷积模块。每一层的输出图像都是这一层卷积后结果。同时这一结果也作为下一层的另一部分输入。
[0019]进一步，模型的输入图像尺寸可以是任意的，对于输入尺寸没有特定要求。除了第一层是原始大小外，第二，三，四层的输入图像尺寸大小为上一层的一半，这一操作通过卷积模块实现，卷积模块的卷积核为3x3的，输入通道都为3，输出通道分别64,128和256。
[0020]进一步，所述模型的每一层(除第五层)都有一个输出，其大小与该层输入图像大小相对应。每次运行模型会有五个输出结果，除了上述四层的输出外，还有这四层输出的平均值。这五个输出通过一系列运算用来计算损失，第一层的输出通过运算后最终用来进行模型输出。四层平均输出计算公式如下：
[0021][0022]模型损失计算公式如下：
[0023][0024]其中loss(out)表示根据out计算的损失，loss(side)表示根据每层输出计算的损失。
[0025]所述编码器模块用于对输入的特征图像进行下采样，使得特征图的长度和宽度缩
小至指定大小。
[0026]所述解码器模块用于对输入的特征图进行转置卷积操作，使得特征图的长度和宽度放大至指定大小。
附图说明：
[0027]图1是本专利技术一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法流程图；
[0028]图2是本专利技术一实施例的网络模型流程图；
[0029]图3是本专利技术一实施例的网络模型输出结果图；
具体实施方式：
[0030]为使本专利技术的目的，技术方案和优点更加明确，下面结合附图对本专利技术作进一步的详细描述。
[0031]本专利技术实施例的实验环境为室外水泥路面，所选区域为常见公共室外区域。同时应考虑到不同天气对本实验的影响，本实验实施天气为晴天。
[0032]本实施例中使用可以进行GPU加速的英伟达显卡高算平台，通过Xshell进行访问控制。通过在平台搭建Pytorch环境进行实验。
[0033]参阅图1，本专利技术实施例提供一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法，包括如下步骤：
[0034]S1，创建用于本模型进行道路裂缝检测的道路裂缝图像训练集和测试集。
[0035]本专利技术实例中采用Crack500和自采集的裂缝图像作为数据集，其中Crack500数据集包括有500张不同的道路裂缝图像，图像大小为2000x1500，每张图片都有像素级别的标签标注，经过裁剪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法，其特征在于，包括以下步骤：S1，采用以U
‑
Net为骨架进行搭建的卷积神经网络，所述模型结合循环神经网络，残差网络和注意力引导机制，构成编码
‑
解码结构；S2，整个模型分为五层，除了第五层外，每层除了上层的输出作为输入外还有一个图像输入，每层分别对应输出一个图像分割结果；S3，采用任意大小尺寸的图像裂缝数据集可以对模型进行训练和测试，所用数据集为使用Labelme进行标注后的图像集合；S4，当模型第一层的输入图像尺寸确定以后，后面三层的输入图像尺寸会自动缩小为它的上一层尺寸的一半；S5，最终模型的输出结果结合四层输出经过softmax函数激活后取对数得到；S6，模型所用的跳过连接使用注意力引导机制，注意引导模块可以通过融合不同分辨率的结构信息来恢复空间信息。2.根据权利要求1所述的一种复杂路面裂缝检测方法，其特征在于，步骤S3中，采用标定数据集对所述神经网络模型进行训练，包括如下步骤：S31，第一层输入原始图像，经过循环卷积模块(编码块)得到第一特征图，第一层的注意力引导模块叠加两次第一特征图后的结果作为第一层解码模块的一部分输入；S32，第二层输入是第一特征图叠加原始图像卷积后结果，输出通道为64，第二层注意力引导模块将第二特征图和第二层原始图像卷积结果进行叠加输出到第二层解码模块；S33，第三层和第四层处理同S32，不同是输出通道变为上一层的2倍，其中，这些卷积模块的卷积核都为3x3；S34,第五层输入第四特征图，经过循环残差模块的输出作为第四层解码模块...

【专利技术属性】
技术研发人员：李刚，代玉，方忠圆，陈永强，兰栋超，李喜媛，张帅龙，
申请(专利权)人：李刚代玉，
类型：发明
国别省市：