一种基于多尺度和多层次的路面裂缝检测方法技术

本发明专利技术涉及一种基于多尺度和多层次的路面裂缝检测方法，属于道路表面裂缝识别领域，包括以下步骤：获取待检测图像创建训练集和测试集；创建包含编码器、解码器、多尺度模块和多层次模块的深度卷积神经网络；训练和测试所述深度卷积神经网络模型，得到裂缝检测神经网络模型；使用裂缝检测神经网络模型对待检测的图像进行像素级分类，输出裂缝的二值图像。本发明专利技术，能够实现完全依靠深度神经网络模型自动提取裂缝特征，实现路面裂缝的自动检测，具有检测过程简单、检测速度快和效率高等优点。

【技术实现步骤摘要】
一种基于多尺度和多层次的路面裂缝检测方法
本专利技术属于道路表面裂缝识别领域，涉及一种基于多尺度和多层次的路面裂缝检测方法。
技术介绍
伴随着公路的长期使用，一些于早期修建的公路逐渐进入了维护期。各种自然条件和人为因素等都会影响到道路的健康状况，导致道路出现了各种不同的道路病害。如果能在道路破损初期就能发现道路产生的病害情况，并提前对其进行养护，将能防患于未然并减少相应的工作量和维护费用。常见的各种道路病害中，最早期的病害一般是路面裂缝，如果没有及时对裂缝进行处理，裂缝可能衍生出其他更为严重的次生病害。人工检测是裂缝检测中的一种常用的方法，但检测过程通常是耗时费力的，而由于检测人员具有一定的主观性，可能会影响到检测结果的准确度，还有可能存在一定程度的漏检、误检。随着各类自动化工具和技术的发展，目前也出现了许多自动化的路面裂缝检测方法，最为常用的方法是基于数字图像处理的检测方法，此类方法虽然可以替代部分劳动力，但却对道路上的许多类型的噪声和障碍物都很敏感，导致检测结果和实际的路面情况有一定的差距，因此基于此类的方法无法完全适应所有的路面情况，算法的鲁棒性不强，在复杂环境下很难得到预期的结果。而基于一般卷积神经网络的裂缝检测方法又无法实现端到端的图像处理，只能判断一个像素块里是否包含裂缝，无法获取裂缝是位于图片中的位置信息，破坏了裂缝的完整性。明显的，当前道路裂缝检测技术还存在以下问题：(1)由于路面裂缝图像容易受到复杂多样的噪声影响，因此在现实情况下，基于数字图像处理技术的检测方法不能适应各种复杂的场景。(2)近年来多数基于深度学习的路面裂缝检测算法都是基于图像块的。这种做法不是真正意义上的逐像素预测，也没有考虑到裂缝的整体性，不能为预测提供足够的上下文信息，同时也增加了计算量和时间消耗。(3)主流的卷积神经网络只采用了最后一层的特征图作为输出，单使用高层的小特征图无法恢复识别物体的细节信息，这种做法会对裂缝这种细小的分割目标造成较大的影响。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于多尺度和多层次的路面裂缝检测方法，采用多尺度模块获取裂缝的上下文信息，恢复裂缝细节，采用多层次模块提升模型的整体性能。为达到上述目的，本专利技术提供如下技术方案：一种基于多尺度和多层次的路面裂缝检测方法，包括以下步骤：S1：获取待检测图像创建训练集和测试集；S2：创建包含编码器、解码器、多尺度模块和多层次模块的深度卷积神经网络；S3：训练和测试所述深度卷积神经网络模型，得到裂缝检测神经网络模型；S4：使用裂缝检测神经网络模型对待检测的图像进行像素级分类，输出裂缝的二值图像。进一步，步骤S1具体包括以下步骤：S11：使用数据增强对待检测的图像数据集进行扩充，对每个图像样本围绕着该样本本身进行几何变换操作，包括旋转、翻转、缩放等各类操作；S12：同时也对该图像样本的标注图像进行同样的操作，保证样例和标注一一对应；S13：将扩充后的图像数据按一定比例划分为训练集和测试集。进一步，所述步骤S2中，确定所述的深度神经网络的编码器结构，编码器的主干网络为VGG16网络去掉两个全连接层，把VGG16网络变成一个只由卷积层和池化层组成的五层次全卷积神经网络，由此网络来提取待检测图像的特征。进一步，所述步骤S2中，所述网络的多尺度模块为六个分路并行组成的一个模块，其中四个分路由不同感受野的卷积核输出的特征图组成，不同的感受野对应不同尺度的特征。本专利技术利用空洞卷积获得不同的感受野，从而获得不同尺度的特征。空洞卷积有一个参数空洞率r，具体含义就是在卷积核中每个点间隔填充r减1个0。对于k×k大小的卷积核，其实际的感受野尺寸为：kresult＝k+(k-1)×(r-1)(1)另外两个分路一个是主干网络输出的最后一层特征图，一个是该层特征图经过全局平均池化操作后的输出，以便获得图像的全局特征。最后将六个并行支路进行拼接，经过1x1卷积后，得到多尺度模块的输出。进一步，所述步骤S2中，所述解码器模块采用上采样方法逐步恢复特征图的分辨率。将主干网络五个层次的卷积中的最后一层卷积输出的特征图上采样到与第四层卷积输出的特征图同样的分辨率大小，将两个特征图进行拼接经过1x1卷积得到新的第四层次卷积输出。将新的第四层次卷积输出按照此方法与第三层次的卷积输出进行拼接得到新的第三层次卷积输出。以此类推，得到新的第二、第一层次的卷积输出。进一步，所述的多层次模块是让每个卷积层次都参与预测，让S23所述的每个卷积层次的输出与标签图直接进行深度监督学习，生成每个层次的侧输出，将五个侧输出进行融合得到所述方法最终的输出。假设网络的所有参数值为W，定义训练图像为X＝(xj,j＝1,...,|X|)，标签图为Y＝(yj,j＝1,...,|X|)，yj∈{0，1}；如果网络有M个卷积阶段输出(侧输出)，定义侧输出的参数为w＝(w(1),...,w(m))，则侧输出的目标函数定义为:其中αm表示每个侧输出的损失函数的权值，根据训练日志调整或都为1/5；是每个侧输出的损失函数，定义为：其中w0＝|Y-|/|Y|，w1＝|Y+|/|Y|，|Y-|和|Y+|分别表示裂缝像素个数和非裂缝像素个数，Pr(·)表示预测图中某个像素的概率值；最后融合层的损失函数定义为：Lfuse(W,w,h)＝Dist(Y,Yfuse)(4)Yfuse为m个层次的激活值之和经过sigmod函数得到的值，融合权重h＝(h(1),...,h(m))，Dist(·,·)表示交叉熵损失函数；最后，网络需要最小化的训练目标函数L为：L＝argmin(Lside(W,w)+Lfuse(W,w,h))(5)。进一步，步骤S3中，根据所述步骤S21、S22、S23和S24，利用训练集训练深度卷积神经网络，通过反向传播算法不断优化神经网络的参数，降低损失函数的值使网络达到最优，实现端到端的训练，得到裂缝检测神经网络模型。本专利技术的有益效果在于：本专利技术能够实现完全依靠深度神经网络模型自动提取裂缝特征，实现路面裂缝的自动检测，具有检测过程简单、检测速度快和效率高等优点。(1)采用多尺度模块更好地获取了裂缝的上下文信息，对裂缝细节恢复起到了较好的作用。(2)采用多层次模块较好地提升了模型的整体性能。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为本专利技术所述一种基于多尺度和多层次的路面裂缝检测方法的流程图；图2为本专利技术一实施例的多尺度模块图；图3为本本文档来自技高网...

【技术保护点】
1.一种基于多尺度和多层次的路面裂缝检测方法，其特征在于：包括以下步骤：/nS1：获取待检测图像创建训练集和测试集；/nS2：创建包含编码器、解码器、多尺度模块和多层次模块的深度卷积神经网络；/nS3：训练和测试所述深度卷积神经网络模型，得到裂缝检测神经网络模型；/nS4：使用裂缝检测神经网络模型对待检测的图像进行像素级分类，输出裂缝的二值图像。/n

【技术特征摘要】
1.一种基于多尺度和多层次的路面裂缝检测方法，其特征在于：包括以下步骤：
S1：获取待检测图像创建训练集和测试集；
S2：创建包含编码器、解码器、多尺度模块和多层次模块的深度卷积神经网络；
S3：训练和测试所述深度卷积神经网络模型，得到裂缝检测神经网络模型；
S4：使用裂缝检测神经网络模型对待检测的图像进行像素级分类，输出裂缝的二值图像。


2.根据权利要求1所述的基于多尺度和多层次的路面裂缝检测方法，其特征在于：步骤S1具体包括以下步骤：
S11：使用数据增强对待检测的图像数据集进行扩充，对每个图像样本围绕着其本身进行几何变换操作，包括旋转、翻转、缩放；
S12：同时也对所述图像样本的标注图像进行同样的几何变换操作，保证图像样本和标注图像一一对应；
S13：将扩充后的图像数据按一定比例划分为训练集和测试集。


3.根据权利要求1所述的基于多尺度和多层次的路面裂缝检测方法，其特征在于：所述步骤S2中，所述编码器的主干网络为VGG16网络去掉两个全连接层，只由卷积层和池化层组成五层次全卷积神经网络，用于提取待检测图像的特征。


4.根据权利要求3所述的基于多尺度和多层次的路面裂缝检测方法，其特征在于：所述步骤S2中，所述多尺度模块由六个分路并行组成，其中四个分路由不同感受野的卷积核输出的特征图组成，不同的感受野对应不同尺度的特征；利用空洞卷积获得不同的感受野，从而获得不同尺度的特征；所述空洞卷积包括参数空洞率r，意为在卷积核中每个点间隔填充r减1个0；对于k×k大小的卷积核，其实际的感受野尺寸为：
kresult＝k+(k-1)×(r-1)(1)
另外两个分路为主干网络输出的最后一层特征图，以及该层特征图经过全局平均池化操作后的输出，用于获得图像的全局特征；最后将六个并行分路进行拼接，经过1x1卷积后，得到多尺度模块的输出。


5.根据权利要求4所述的基于多尺度和多层次的路面裂缝检测方法，其特征在于：所述步骤S2中，所述解码器采用上采样方法逐步恢复...

【专利技术属性】
技术研发人员：程文科，周应华，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50