一种基于深度卷积融合神经网络的路面裂缝识别方法技术

本发明专利技术提供了一种基于深度卷积融合神经网络的路面裂缝识别方法，包括以下步骤：步骤1，采集N幅路面图像，并对N幅路面图像进行预处理，对预处理后的N幅路面图像进行图像增广，得到M幅路面图像；步骤2，对M幅路面图像进行裂缝类别标注，并将裂缝标注后的M幅路面图像分为训练集、交叉验证集和测试集；步骤3，训练裂缝分类检测；步骤4，训练裂缝分割模型；步骤5，将待识别图像输入裂缝分割模型中，得到待识别图像中裂缝的类别和置信度；再将待识别图像输入至裂缝分割模型，得到裂缝二值图像；步骤6，计算待识别图像中裂缝面积、长度和宽度；步骤7，将待识别图像中裂缝的类别、置信度、坐标、面积、长度和宽度信息绘制到待识别图像上。

【技术实现步骤摘要】
一种基于深度卷积融合神经网络的路面裂缝识别方法
本专利技术属于路面裂缝检测领域，具体涉及一种基于深度卷积融合神经网络的路面裂缝识别方法。
技术介绍
随着我国经济的日益繁荣，公路交通运输业得以迅速发展。在二十一世纪日益激烈的国际竞争中，公路的建设与维护情况不仅反映了一个国家的经济水平，而且是衡量一个国家综合国力的重要依据。路面裂缝作为道路常见病害之一，是道路养护工作的重点和难点。传统的基于主动特征提取的路面裂缝识别方法，首先进行裂缝图像分割，且要进行繁琐的噪声点去除及断缝连接的过程，然后根据裂缝的横纵比等参数再进行裂缝分类。这种方式对于复杂的实际路面图像的普遍适用性有待提高，导致路面裂缝的识别准确度不高。随着深度学习的再次兴起，目前已存在应用深度学习的方式进行路面识别，但这些方法使用神经网络进行路面裂缝的分类和定位时，其定位方式是用矩形框确定裂缝位置，这种定位方式不够精确且无法对裂缝的几何参数进行计算，即无法得到裂缝的更完整更精确的信息，其对于路面裂缝识别的实际应用价值还可进一步提高。
技术实现思路
针对现有技术中存在的不足，本专利技术的目的在于，提供一种基于深度卷积融合神经网络的路面裂缝识别方法，解决现有技术无法准确、高效对路面裂缝进行分类和分割的技术问题。为了解决上述技术问题，本申请采用如下技术方案予以实现：一种基于深度卷积融合神经网络的路面裂缝识别方法，包括以下步骤：步骤1，采集N幅路面图像，并对N幅路面图像进行预处理，对预处理后的N幅路面图像进行图像增广，得到M幅路面图像，M>N；步骤2，对M幅路面图像进行裂缝类别标注，并将裂缝标注后的M幅路面图像按照7:3的比例分为训练集和交叉验证集；步骤3，构建裂缝分类检测模型，将训练集和交叉验证集输入所构建裂缝分类检测模型中进行训练，得到裂缝分类检测模型的最优权重；步骤4，构建裂缝分割模型，将训练集和交叉验证集输入所构建裂缝分割模型模型中进行训练，得到裂缝分割模型的最优权重；步骤5，将待识别图像输入裂缝分割模型中，得到待识别图像中裂缝的类别和置信度，将裂缝的类别标注在待识别图像上；再将待识别图像输入至裂缝分割模型，得到裂缝二值图像，即得到待识别图像中裂缝的坐标；步骤6，根据裂缝二值图像，计算待识别图像中裂缝的面积、长度和宽度；步骤7，将待识别图像中裂缝的类别、置信度、坐标、面积、长度和宽度信息绘制到待识别图像上。进一步地，所述步骤3中所构建裂缝分类检测模型为SSD卷积神经网络模型；所述SSD卷积神经网络模型包括50个卷积层，所述50个卷积层中的第4个卷积层与第15个卷积层相同，第7个卷积层与第27个卷积层相同，第8个卷积层与第30个卷积层相同，第10个卷积层与第34个卷积层相同，第12个卷积层与第40个卷积层相同，第14个卷积层与第46个卷积层相同，第16个卷积层与第50个卷积层相同；当将训练集和交叉验证集输入所构建SSD卷积神经网络模型中，对SSD卷积神经网络模型进行训练时，将SSD卷积神经网络模型中的激活函数设置为Relu函数，优化器设置为SGD优化器，并且当训练次数小于80次时，学习率设置为0.01，当训练次数大于等于80并且小于100时，学习率设置为0.001，当训练次数大于等于100时，学习率设置为0.0001。进一步地，所述步骤4中所构建裂缝分割模型为U-Net卷积神经网络模型；所述U-Net卷积神经网络模型包括50个卷积层，所述50个卷积层中的第2个卷积层与第1个卷积层相同，第5个卷积层与第4个卷积层相同，第8个卷积层与第9个卷积层相同，第12个卷积层与第26个卷积层相同，第16个卷积层与第43个卷积层相同；当将训练集和交叉验证集输入所构建U-Net卷积神经网络模型中，对U-Net卷积神经网络模型进行训练时，将U-Net卷积神经网络模型中的激活函数设置为Sigmoid函数，优化器设置为SGD优化器，并且当训练次数小于38时，学习率设置为0.001，当训练次数大于等于38时，学习率设置为0.0001。进一步地，所述步骤6中根据裂缝二值图像，计算待识别图像中裂缝的面积、长度和宽度，包括：步骤61，设裂缝像素面积S＝0，裂缝行参数Lx＝0，裂缝列参数Ly＝0；步骤62，按照从左至右、从上到下的顺序，依次选取裂缝二值图像中的每一个像素点作为当前像素点；若当前像素点的像素值为1，则S＝S+1；否则，S＝S+0；步骤63，重复步骤62，直至裂缝二值图像中的每一个像素点均被作为当前像素点，得到待识别图像中裂缝的面积S；步骤64，按照从左至右的顺序，依次选取裂缝二值图像中的每一列像素作为当前列像素；若当前列像素的像素值为1，则Lx＝Lx+1；否则，Lx＝Lx+0；步骤65，重复步骤64，直至裂缝二值图像中的每一列像素均被作为当前列像素，得到待识别图像中裂缝行参数Lx；步骤66，按照从上到下的顺序，依次选取裂缝二值图像中的每一行像素作为当前行像素；若当前行像素的像素值为1，则Ly＝Ly+1；否则，Ly＝Ly+0；步骤67，重复步骤66，直至裂缝二值图像中的每一行像素均被作为当前行像素，得到待识别图像中裂缝列参数Ly；步骤68，通过式(1)得到裂缝长度L；步骤69，通过式(2)得到裂缝宽度W；W＝S/L。本专利技术与现有技术相比，有益的技术效果是：1.本专利技术使用深度卷积神经网络的方式，通过先分类再分割的方式对路面裂缝进行识别，优化路面裂缝识别过程与识别效果。2.本专利技术采用分类网络和分割网络融合的方式进行路面裂缝的识别，得到裂缝类别的同时实现了裂缝精确定位，并计算了裂缝的几何参数，使识别到的路面裂缝信息更加的完善，可直接用于路面状况评价。附图说明图1是本专利技术的总流程图；图2为深度残差网络基本模块图；图3为裂缝分类检测模型训练损失函数曲线；图4为裂缝分割模型损失函数曲线；图5是裂缝分检测模型的检测效果图；其中，(a)为横向裂缝检测效果图；(b)为纵向裂缝检测效果图；(c)为网状裂缝检测效果图；图6是裂缝分割模型的检测效果图；其中，(a)为横向裂缝原图；(b)为纵向裂缝原图；(c)为网状裂缝原图；(d)为横向裂缝分割效果图；(e)为纵向裂缝分割效果图；(f)为网状裂缝分割效果图；图7是最终融合模型的裂缝识别效果图；其中，(a)为横向裂缝效果图1；(b)为横向裂缝效果图2；(c)为横向裂缝效果图3；(d)为纵向裂缝效果图1；(e)为纵向裂缝效果图2；(f)为纵向裂缝效果图3；(g)为网状裂缝效果图1；(h)为网状裂缝效果图2；(i)为网状裂缝效果图3。以下结合附图和实施例对本专利技术的具体内容作进一步详细解释说明。具体实施方式以下给出本专利技术的具体实施例，需要说明的是本专利技术并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本专利技术的保护范围。实施例：本实施例给出一种基于深度卷积融合神经网络的路面裂缝识别方法，如图1，包括以下步骤：步骤1，采集N幅路面图像，并对N幅路面图像进行预处理，对预处理后的N幅路面图像进行图像增广，得到M幅路面图像，M>N；作为本专利技术的一种具体实施方式，路面图像的采集方式可以采用检测车采集或者智能手机拍摄。并且，本专利技术可以通过图像翻转、不同角度旋转等方式对路面图像进行增广。在一种实施例下，图像增广后得到的样本数据集中共8000幅本文档来自技高网...

【技术保护点】
1.一种基于深度卷积融合神经网络的路面裂缝识别方法，其特征在于，包括以下步骤：步骤1，采集N幅路面图像，并对N幅路面图像进行预处理，对预处理后的N幅路面图像进行图像增广，得到M幅路面图像，M>N；步骤2，对M幅路面图像进行裂缝类别标注，并将裂缝标注后的M幅路面图像按照7:3的比例分为训练集和交叉验证集；步骤3，构建裂缝分类检测模型，将训练集和交叉验证集输入所构建裂缝分类检测模型中进行训练，得到裂缝分类检测模型的最优权重；步骤4，构建裂缝分割模型，将训练集和交叉验证集输入所构建裂缝分割模型模型中进行训练，得到裂缝分割模型的最优权重；步骤5，将待识别图像输入裂缝分割模型中，得到待识别图像中裂缝的类别和置信度，将裂缝的类别标注在待识别图像上；再将待识别图像输入至裂缝分割模型，得到裂缝二值图像，即得到待识别图像中裂缝的坐标；步骤6，根据裂缝二值图像，计算待识别图像中裂缝的面积、长度和宽度；步骤7，将待识别图像中裂缝的类别、置信度、坐标、面积、长度和宽度信息绘制到待识别图像上。

【技术特征摘要】
1.一种基于深度卷积融合神经网络的路面裂缝识别方法，其特征在于，包括以下步骤：步骤1，采集N幅路面图像，并对N幅路面图像进行预处理，对预处理后的N幅路面图像进行图像增广，得到M幅路面图像，M>N；步骤2，对M幅路面图像进行裂缝类别标注，并将裂缝标注后的M幅路面图像按照7:3的比例分为训练集和交叉验证集；步骤3，构建裂缝分类检测模型，将训练集和交叉验证集输入所构建裂缝分类检测模型中进行训练，得到裂缝分类检测模型的最优权重；步骤4，构建裂缝分割模型，将训练集和交叉验证集输入所构建裂缝分割模型模型中进行训练，得到裂缝分割模型的最优权重；步骤5，将待识别图像输入裂缝分割模型中，得到待识别图像中裂缝的类别和置信度，将裂缝的类别标注在待识别图像上；再将待识别图像输入至裂缝分割模型，得到裂缝二值图像，即得到待识别图像中裂缝的坐标；步骤6，根据裂缝二值图像，计算待识别图像中裂缝的面积、长度和宽度；步骤7，将待识别图像中裂缝的类别、置信度、坐标、面积、长度和宽度信息绘制到待识别图像上。2.如权利要求1所述的基于深度卷积融合神经网络的路面裂缝识别方法，其特征在于，所述步骤3中所构建裂缝分类检测模型为SSD卷积神经网络模型；所述SSD卷积神经网络模型包括50个卷积层，所述50个卷积层中的第4个卷积层与第15个卷积层相同，第7个卷积层与第27个卷积层相同，第8个卷积层与第30个卷积层相同，第10个卷积层与第34个卷积层相同，第12个卷积层与第40个卷积层相同，第14个卷积层与第46个卷积层相同，第16个卷积层与第50个卷积层相同；当将训练集和交叉验证集输入所构建SSD卷积神经网络模型中，对SSD卷积神经网络模型进行训练时，将SSD卷积神经网络模型中的激活函数设置为Relu函数，优化器设置为SGD优化器，并且当训练次数小于80次时，学习率设置为0.01，当训练次数大于等于80并且小于100时，学习率设置为0.001，当训练次数大于等于100时，学习率设置为0.0001。3.如权利要求1所述的基于深度卷...

【专利技术属性】
技术研发人员：孙朝云，李伟，沙爱民，郝雪丽，马志丹，户媛姣，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西,61