一种沥青路面图像的裂缝检测方法技术

本发明专利技术公开了一种沥青路面图像的裂缝检测方法。首先将标记好的训练数据输入到Crack‑Faster‑RCNN模型；其次，训练深度残差卷积神经网络ResNet101提取图像特征的能力、区域建议网络RPN对裂缝和背景的分类能力、分类网络Classifier对裂缝的分类以及边框位置回归的能力；最后保存训练好的Crack‑Faster‑RCNN模型参数。将训练好的Crack‑Faster‑RCNN模型用于检测新的路面裂缝图像，首先加载模型的参数，提取图像的特征；然后对其进行裂缝的检测；最后标记裂缝的位置信息。本发明专利技术通过构建路面裂缝检测的深度神经网络框架，实现了可应用于实际场景的沥青路面裂缝检测方法。

【技术实现步骤摘要】
一种沥青路面图像的裂缝检测方法
本专利技术涉及深度学习领域，尤指使用深度学习方法进行图像中路面裂缝的检测。
技术介绍
中国公路交通正处于高速发展时期，在新建、改扩建公路特别是高等级公路的同时，路面养护管理的重要性和紧迫性也日渐凸显。沥青材料因其施工快速、维修便捷、适应力强等优点已经被广泛应用为我国的高速公路修建材料。对于沥青路面来说，裂缝是最常见的最重要的病害变现形式，路面裂缝在很大程度上会诱发路基或基层出现病害，如雨水沿裂缝进入基层导致基层失稳，从而加剧路面病害。同时如果不及时修补裂缝，不仅影响行车安全，还会缩短公路的使用寿命。实现对裂缝的快速检测、高效识别和及时养护是提升道路服务质量和延长道路使用寿命的有效途径。目前，基于数字图像的裂缝检测系统是较为主流的检测方法，已被广泛应用于公路、隧道和桥梁的裂缝检测系统中，这些系统一般由图像采集系统和图像处理软件组成，图像处理软件常采用预处理、基于阈值分割和边缘检测以及基于形态学的裂缝检测算法，这些方法在路面干净且图像采集环境良好时，能够取得较好的效果，但是就行业实际应用表明，目前国内外还没有任何一种裂缝检测算法能够满足实际工程应用需求。主要是由于以下原因造成：图像采集时受自然光照、天气、路面状况以及行车状态等影响，获取的路面图像会存在光照不均、曝光效果差、模糊、阴影等现象。因此采集到的图像中裂缝与背景对比度弱且难以表现出完整的几何形态，因此传统的检测方法并不能取得令人满意的效果。近年来，深度学习方法在实践中取得了革命性进展，在视觉和听觉等感知问题上取得了令人瞩目的成果，特别是在图像处理领域，在ImageNet数据集上，深度学习方法的识别能力已经超过了人类。国内外学者也在研究将深度学习方法应用到道路裂缝的检测，但这些研究多是针对水泥路面的裂缝检测，且这些方法多是将输入图片划分为一个一个独立的子块，然后对子块进行一个有无裂缝的分类。因为是基于子块的检测，因此这些方法不能很好地考虑到图片的全局信息，且无法实现在原图上对裂缝进行定位。针对已有的数据采集方法采集到的沥青路面数据中存在光照不均、曝光效果差、图像噪声多等多种现象，造成传统的特征工程方法效果不佳，结合深度神经网络强大的特征学习能力，本专利技术采用深度残差神经网络对采集到的沥青路面图片进行特征提取，然后经过区域建议网络生成包含裂缝的候选区域，再通过非线性映射实现对推荐区域的分类和边框位置的回归，实现对裂缝的定位。
技术实现思路
鉴于现有的路面裂缝检测方法存在的问题，本专利技术的目的是提供一种使用深度神经网络实现路面裂缝的检测方法，使之克服现有技术的以上不足。使用深度残差神经网络ResNet101提取图片特征，采用RPN网络实现对裂缝的定位，以实现对复杂沥青路面的裂缝检测，直接在输入图像中定位出裂缝位置。本专利技术主要手段为：一种沥青道路路面图像的裂缝检测方法，通过构建深度神经网络学习框架，对路面裂缝图像进行特征提取，以实现对沥青道路路面裂缝的即时检测，包括如下步骤：步骤1、使用适宜线宽的矩形框，利用已经获取的路面裂缝标记图像集，标出其每幅图像中裂缝的精确位置，即GroundTruth；步骤2、训练Crack-Faster-RCNN模型步骤2.1：将标记好GroundTruth的路面裂缝图像作为输入，传入用ImageNet数据集训练好的深度残差神经网络ResNet101；对每幅图像通过多次卷积操作、ReLU函数激活和池化操作提取图像特征，输出特征映射Featuremap；步骤2.2：将2.1所获特征映射Featuremap输入给区域建议网络RPN，RPN网络先对Featuremap进行1次卷积和1次池化操作，然后使用anchor策略，在特征映射的每一个像素点上都生成K个anchor，K大于或等于9；步骤2.3：整个RPN网络分为两个分支，分支1结合图像的GroundTruth和步骤2.2得到的anchors，通过计算每个anchor与GroundTruth的Intersection-Over-Union对裂缝目标和背景噪声进行区分，训练RPN网络分支1对裂缝目标和背景噪声的分类能力；步骤2.4：利用2.3训练好的RPN网络的分支1区分出包含裂缝的anchors，对每一个anchors通过softmax函数计算出一个相应的置信值，即其被分类为裂缝的概率；然后将计算出置信值后的所有anchors输入给RPN网络的分支2；分支2首先结合GroundTruth对输入的每一个anchors进行边框位置的初步回归，然后对位置回归后的anchors按照所其相应的置信值进行排序；提取出排序靠前的若干个位置回归后的anchors，进行非极大值抑制后再按照置信值进行排序，提取出一定数量排序靠前的anchors作为候选区域proposals，并输出；步骤2.5：将步骤2.4得到的一定数量的候选区域proposals结合步骤2.1得到的特征映射Featuremap进行ROIpooling，然后经过Classifier网络的非线性映射对处理后的候选区域进行最终的裂缝目标检测和边框位置的精确回归；步骤2.6：保存训练得到的Crack-Faster-RCNN的模型参数；步骤3、沥青路面图像裂缝的检测步骤3.1：加载步骤2.6保存的Crack-Faster-RCNN模型参数；步骤3.2：将需要检测的路面图像输入到深度残差神经网络ResNet101，进行特征的提取，得到特征映射Featuremaps；步骤3.3：执行步骤2.2的过程生成anchors，然后执行步骤2.4-2.5；步骤3.4：在输入的检测图像中画出裂缝的位置及预测概率。本专利技术在使用深度网络提取图像特征时，针对沥青路面图像的灰度不均衡且多噪声等特性，不同于其他的Faster-RCNN多采用ZF-Net或者VGG16作为特征提取网络。本专利技术在大量实验之后选择目前在图像分类和目标检测领域取得较好效果的深度残差卷积神经网络ResNet101作为特征提取网络。与现有技术相比，本专利技术的积极效果是：(1)该专利技术基于Faster-RCNN模型，使用深度神经网络实现对路面裂缝的检测，使用者仅需输入路面图像，经过非线性映射即可实现对裂缝的检测，在输入路面上定位裂缝的位置。(2)该专利技术基于Faster-RCNN模型，针对沥青路面的灰度不均衡且多噪声等特点，使用深度残差神经网络ResNet101作为特征提取网络，针对裂缝的方向特征，在RPN网络中，使用宽高比为{0.25，1，4}生成anchors，本专利技术提出的模型命名为Crack-Faster-CNN，该模型能够即时有效地检测出裂缝的位置(3)该专利技术提出的Crack-Faster-CNN模型，针对图像质量差且方向特征强的目标进行检测，可扩展到其它有关的目标检测领域，模型泛化能力强。附图说明图1是本专利技术整体的工作流程图图2是Crack-Faster-RCNN模型结构图。其中ResNet101代表特征提取网络，RPN代表区域建议网络，输入图片后，首先经过ResNet101提取出Featuremap，然后将提取出的Featuremap送入RPN网络获得Proposals，将获得的proposals经过ROIPooling处理后送入分类网络Classifier后在本文档来自技高网...

【技术保护点】
1.一种沥青路面图像的裂缝检测方法，通过构建深度神经网络学习框架，对路面裂缝图像进行特征提取，以实现对沥青道路路面裂缝的即时检测，包括如下步骤：步骤1、使用适宜线宽的矩形框，利用已经获取的路面裂缝标记图像集，标出其每幅图像中裂缝的精确位置，即GroundTruth；步骤2、训练Crack‑Faster‑RCNN模型步骤2.1：将标记好GroundTruth的路面裂缝图像作为输入，传入用ImageNet数据集训练好的深度残差神经网络ResNet101；对每幅图像通过多次卷积操作、ReLU函数激活和池化操作提取图像特征，输出特征映射Feature map；步骤2.2：将2.1所获特征映射Feature map输入给区域建议网络RPN，RPN网络先对Feature map进行1次卷积和1次池化操作，然后使用anchor策略，在特征映射的每一个像素点上都生成K个anchor，K大于或等于9；步骤2.3：整个RPN网络分为两个分支，分支1结合图像的GroundTruth和步骤2.2得到的anchors，通过计算每个anchor与GroundTruth的Intersection‑Over‑Union对裂缝目标和背景噪声进行区分，训练RPN网络分支1对裂缝目标和背景噪声的分类能力；步骤2.4：利用2.3训练好的RPN网络的分支1区分出包含裂缝的anchors，对每一个anchors通过softmax函数计算出一个相应的置信值，即其被分类为裂缝的概率；然后将计算出置信值后的所有anchors输入给RPN网络的分支2；分支2首先结合GroundTruth对输入的每一个anchors进行边框位置的初步回归，然后对位置回归后的anchors按照所其相应的置信值进行排序；提取出排序靠前的若干个位置回归后的anchors，进行非极大值抑制后再按照置信值进行排序，提取出一定数量排序靠前的anchors作为候选区域proposals，并输出；步骤2.5：将步骤2.4得到的一定数量的候选区域proposals结合步骤2.1得到的特征映射Feature map进行ROI poollng，然后经过Classifier网络的非线性映射对处理后的候选区域进行最终的裂缝目标检测和边框位置的精确回归；步骤2.6：保存训练得到的Crack‑Faster‑RCNN的模型参数；步骤3、沥青路面图像裂缝的检测步骤3.1：加载步骤2.6保存的Crack‑Faster‑RCNN模型参数；步骤3.2：将需要检测的路面图像输入到深度残差神经网络ResNet101，进行特征的提取，得到特征映射Feature maps；步骤3.3：执行步骤2.2的过程生成anchors，然后执行步骤2.4‑2.5；步骤3.4：在输入的检测图像中画出裂缝的位置及预测概率。...

【技术特征摘要】
1.一种沥青路面图像的裂缝检测方法，通过构建深度神经网络学习框架，对路面裂缝图像进行特征提取，以实现对沥青道路路面裂缝的即时检测，包括如下步骤：步骤1、使用适宜线宽的矩形框，利用已经获取的路面裂缝标记图像集，标出其每幅图像中裂缝的精确位置，即GroundTruth；步骤2、训练Crack-Faster-RCNN模型步骤2.1：将标记好GroundTruth的路面裂缝图像作为输入，传入用ImageNet数据集训练好的深度残差神经网络ResNet101；对每幅图像通过多次卷积操作、ReLU函数激活和池化操作提取图像特征，输出特征映射Featuremap；步骤2.2：将2.1所获特征映射Featuremap输入给区域建议网络RPN，RPN网络先对Featuremap进行1次卷积和1次池化操作，然后使用anchor策略，在特征映射的每一个像素点上都生成K个anchor，K大于或等于9；步骤2.3：整个RPN网络分为两个分支，分支1结合图像的GroundTruth和步骤2.2得到的anchors，通过计算每个anchor与GroundTruth的Intersection-Over-Union对裂缝目标和背景噪声进行区分，训练RPN网络分支1对裂缝目标和背景噪声的分类能力；步骤2.4：利用2.3训练好的RPN网络的分支1区分出包含裂缝的anchors，对每一个anchors通过softmax函数计算出一个相应的置信值，即其被分类为裂缝的概率；然后将计算出置信值后的所有anchors输入给RPN网络的分支2；分支2首先结合GroundTruth对输入的每...

【专利技术属性】
技术研发人员：彭博，苟聪，李天瑞，唐堂，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川,51