基于两步卷积神经网络的路面裂缝快速提取方法技术

本发明专利技术公开了一种基于两步卷积神经网络的路面裂缝快速提取方法，针对路面图像尺寸大、识别耗时长的特点，先对子块进行有无裂缝分类判定，将判定为无破损的子块进行抛弃，对有破损子块进行第二步语义分割。在分类过程中，采用经过针对裂缝连续拓扑结构进行超参数优化的卷积神经网络1进行训练，根据卷积神经网络1的训练结果，在语义分割过程中，采用无下采样的卷积神经网络2进行训练，输出具有像素级精确性的分割结果。由于路面图像中裂缝区域所占的比例远小于完好区域，先分类再分割的两步提取方法可以在分割之前快速抛弃大量非目标区域，避免浪费算力，与一步直接语义分割的裂缝提取算法相比，在查全率损失很小的基础上，大大加快了识别速度。

Fast extraction method of pavement crack based on two-step convolution neural network

【技术实现步骤摘要】
基于两步卷积神经网络的路面裂缝快速提取方法
本专利技术涉及路面自动检测
，特别是涉及基于两步卷积神经网络的路面裂缝快速提取方法。
技术介绍
随着改革开放不断深入，国家逐年加大公路基础设施的投资力度，我国公路网总里程飞速增长，公路运输网络可达性显著提高。2018年国家统计局报告指出：截止2017年末，全国公路总里程达到477.35万公里，是1978年的5.4倍，年均增长4.4%；公路密度达到49.72公里/百平方公里，每百平方公里公路密度提高了40.45公里。我国公路建设逐步完善，公路养护受到了越来越多的关注。裂缝病害是路面病害的主要形式，对路面使用性能影响很大。路面裂缝病害会破坏路面结构的整体性和连续性，并且会成为路表水侵入路基路面结构层的天然通道，若不及时处置，还有可能使裂缝继续延展形成龟裂造成路面脱落，引起结构性破坏，影响道路的行车舒适性与安全性。所以，路面裂缝病害检测和养护是路面状况检查的重要内容。裂缝出现后会随时间快速延伸和扩宽，在雨水和轴载作用下会破坏路面的整体性并削弱路面结构强度，如果能在裂缝病害早期发现并进行处理，则会有效延长路面使用寿命，减少公路养护资金投入。路面裂缝病害若能得到及时调查和养护，可以使公路维持在较好的服务状况，节约养护投资预算。基于深度神经网络的最新发展证明了运用深度神经网络是一种更有效的自动裂缝检测方法。其主要优点是不需要特征提取技术，因为当网络被随机梯度下降算法调优时，卷积神经网络会自动学习特征。与传统的图像处理技术实现相比，这种优势可以节省大量的工作。例如，假设有人试图在带有照明点和阴影区域的图像上找到裂缝。使用图像处理技术的方法可以从光斑边缘和阴影区域中找到边缘，而不是在未经仔细参数化的方法中找到边缘。相比之下，卷积神经网络能够从大量的训练图像中学习其中固有的特征。倘若存在部分类型的特性没有得到很好地分类，唯一需要做的就是提供错误分类的数据并在网络中重新定位。这些因素使得卷积神经网络在现实问题中具有强大的生命力和可操作性。综上所述，深度神经网络在路面裂缝病害自动识别方向上具有可行性。但由于图像分割（即裂缝的准确提取）来说，需要对每个像素输出标签值，在模型中无法降采样，导致神经网络的结构各层需要保持原图像的大小，因此算力消耗极大。有研究表明，2000张1024*512大小的图片，在4层的CNN网络上进行训练，为了达到90%的查准和88%的查全，需要两块GTXTitan显卡连续运算9天。这样的时间和硬件代价在应用中往往是不可行的。为了实现裂缝图像的快速分割，研究提出如下思路：由于路面图像中，裂缝所占的像素数量只占很少的比例，分割时不含裂缝的空白部分消耗了绝大部分的运算资源而并没有收获。因此，可以将路面图像首先分为若干个小区域，利用分类方法，快速抛弃不含裂缝的子块，对于判定含裂缝的子块，再进行分割，这样可以降低硬件的性能要求，并大大加速分割训练过程。
技术实现思路
本专利技术的目的是为了以上问题，提供一种基于两步卷积神经网络的路面裂缝快速提取方法，将路面图像首先分为若干个小区域，利用第一步卷积神经网络进行有无裂缝判定，快速抛弃不含裂缝的子块，对于判定含裂缝的子块，再利用第二步卷积神经网络进行分割，为达此目的，本专利技术采用的方法是：基于两步卷积神经网络的路面裂缝快速提取方法，具体步骤如下：步骤一：预处理。对于路面自动检测系统采集到的路面病害图像，需对其先进行处理，以消除不均匀光照背景的影响，并增强前景背景对比。步骤二：建立路面病害图像数据集。将原始大小的图像进行裁剪，以适应子块分类与分割的需要。对每个图像子块进行二重标注：a.有无裂缝二分类标注；b.裂缝像素标注。将构建的数据集作为神经网络模型的训练及测试样本。步骤三：构建用于子块有/无裂缝检测的二分类卷积神经网络模型（第一步卷积神经网络）。采用常规的神经网络层次结构，并针对裂缝连续性拓扑结构进行超参数优化。使用病害图像子块数据集对模型进行训练和交叉验证。步骤四：构建用于子块像素级精度检测的分割神经网络模型（第二步卷积神经网络）。采用取消了下采样的神经网络结构，通过1×1卷积层代替全连接层，使得模型的输入与输出具有相同的维度。使用病害图像子块数据集对模型进行训练和交叉验证。步骤五：从数据集中选取一批图像子块用于测试。将样本输入第一步卷积神经网络，调整输出阈值，以保证第一步的查全。将第一步模型中判定为有裂缝的图像子块作为第二步卷积神经网络的样本集，输出像素级的分割结果。重新拼接输出的子块结果，可提取出路面图像中的裂缝信息。作为本专利技术的一种改进，步骤一详细步骤如下：若路面病害图像来源的采集系统使用线阵相机，则通过列平均法进行不均匀光照背景的去除。若路面病害图像来源的采集系统使用面阵相机，则通过模糊正像法进行不均匀光照背景的去除。作为本专利技术的一种改进，步骤二详细步骤如下：一、图像子块的裁剪。图像子块的裁剪大小应根据相机视野像素及安装高度确定，对于普通的公路或城市道路，每个子块的大小应对应实际路面的10×10厘米左右大小的区域。二、图像子块的有无裂缝二分类标注。对于每个子块，按照其中是否含有裂缝信息，分为有裂缝和无裂缝两类，分别用1/0表示。对于裂缝元素所占像素数不超过子块总像素数5%的子块，认为其为无裂缝类型。三、图像子块的像素标注。对于每个子块，对于每个图像子块，应按其像素大小，构建一等大小的二值矩阵，其中是裂缝的位置对应矩阵的元素标为1，不是裂缝的位置对应矩阵的元素标为0。于是得到了像素精度的子块标签值。作为本专利技术的一种改进，步骤三详细步骤如下：一、构建第一步卷积神经网络的结构。最起始的四层由两组卷积层+最大池化层组成，其具有如下特点：卷积核尺寸分别为（7,7）和（5,5），卷积与池化步长均为（2,2）。后面紧跟一层有padding的（3,3）卷积层。最后一部分由三个连续的全连接层组成，最终输出维度为1。二、第一步卷积神经网络的训练。将样本图像矩阵作为x，二分类0/1标注作为y，输入上一步构建的模型中。分批输入的样本量可根据实际运行硬件的性能确定。准确率稳定大于90%且查全率高于95%之后停止迭代。作为本专利技术的一种改进，步骤四详细步骤如下：一、构建第二步卷积神经网络结构。采用四个特征提取卷积层，卷积核尺寸分别为（3,3），（5,5），（5,5），（7,7），每层卷积核数量均为90。在每个特征提取卷积层后，都增加一个1×1卷积层，其卷积核数量也均为90。最后再使用一个1×1卷积层取代全连接层，以输出分割结果。二、第二步卷积神经网络的训练。将样本图像矩阵作为x，像素标注作为y，输入上一步构建的模型中。分批输入的样本量可根据实际运行硬件的性能确定。最终测试集上的准确率稳定大于90%且查全率高于80%之后停止迭代。作为本专利技术的一种改进，步骤五详细步骤如下：一、取一批未经训练过的图像切割成的子块，将其灰度矩阵作为x，输入经过训练后的第一步卷积神经网络模型中。根据输出结果（预测值）与测试样本的二分类0/1标注（真值），进行第一阶段评价（查准率1，查全率1）。二、将第一步预测为有裂缝的子块作为第二步的样本。将其灰度矩阵作为x，输入经过训练后的第二步卷积神经网络模型中。根据输出结果（预测值）与测试样本的像素标注（真值），进行第二阶段本文档来自技高网...

【技术保护点】
1.一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，包括以下步骤：S1：预处理，对于路面自动检测系统采集到的路面病害图像，对其先进行处理，以消除不均匀光照背景的影响，并增强前景背景对比；S2：建立路面病害图像数据集：将原始大小的图像进行裁剪，以适应子块分类与分割的需要，对每个图像子块进行二重标注：a.有无裂缝二分类标注；b.裂缝像素标注，将构建的数据集作为神经网络模型的训练及测试样本；S3：构建用于子块有/无裂缝检测的二分类卷积神经网络模型即第一步卷积神经网络：采用常规的神经网络层次结构，并针对裂缝连续性拓扑结构进行超参数优化，使用病害图像子块数据集对模型进行训练和交叉验证；S4：构建用于子块像素级精度检测的分割神经网络模型即第二步卷积神经网络：采用取消了下采样的神经网络结构，通过1×1卷积层代替全连接层，使得模型的输入与输出具有相同的维度，使用病害图像子块数据集对模型进行训练和交叉验证；S5：从数据集中选取一批图像子块用于测试：将样本输入第一步卷积神经网络，调整输出阈值，以保证第一步的查全，将第一步模型中判定为有裂缝的图像子块作为第二步卷积神经网络的样本集，输出像素级的分割结果，重新拼接输出的子块结果，提取出路面图像中的裂缝信息。...

【技术特征摘要】
1.一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，包括以下步骤：S1：预处理，对于路面自动检测系统采集到的路面病害图像，对其先进行处理，以消除不均匀光照背景的影响，并增强前景背景对比；S2：建立路面病害图像数据集：将原始大小的图像进行裁剪，以适应子块分类与分割的需要，对每个图像子块进行二重标注：a.有无裂缝二分类标注；b.裂缝像素标注，将构建的数据集作为神经网络模型的训练及测试样本；S3：构建用于子块有/无裂缝检测的二分类卷积神经网络模型即第一步卷积神经网络：采用常规的神经网络层次结构，并针对裂缝连续性拓扑结构进行超参数优化，使用病害图像子块数据集对模型进行训练和交叉验证；S4：构建用于子块像素级精度检测的分割神经网络模型即第二步卷积神经网络：采用取消了下采样的神经网络结构，通过1×1卷积层代替全连接层，使得模型的输入与输出具有相同的维度，使用病害图像子块数据集对模型进行训练和交叉验证；S5：从数据集中选取一批图像子块用于测试：将样本输入第一步卷积神经网络，调整输出阈值，以保证第一步的查全，将第一步模型中判定为有裂缝的图像子块作为第二步卷积神经网络的样本集，输出像素级的分割结果，重新拼接输出的子块结果，提取出路面图像中的裂缝信息。2.根据权利要求1所述的一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，在S1中，图像预处理的方法如下：A1：若路面病害图像来源的采集系统使用线阵相机，则通过列平均法进行不均匀光照背景的去除；A2：若路面病害图像来源的采集系统使用面阵相机，则通过模糊正像法进行不均匀光照背景的去除。3.根据权利要求1所述的一种基于两步卷积神经网络的路面裂缝快速提取方法，其特征在于，在S2中，路面病害图像数据集的建立方法如下：B1：图像子块的裁剪：图像子块的裁剪大小应根据相机视野像素及安装高度确定，对于普通的公路或城市道路，每个子块的大小应对应实际路面的10×10厘米左右大小的区域；B2：图像子块的有无裂缝二分类标注：对于每个子块，按照其中是否含有裂缝信息，分为有裂缝和无裂缝两类，分别用1/0表示，对于裂缝元素所占像素数不超过子块总像素数5%的子块，认为其为无裂缝类型；B3：图像子块的像素标注：对于每个子块，对于每个图像子块，按其像素大小，构建一等大...

【专利技术属性】
技术研发人员：于斌，孟祥成，顾兴宇，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32