一种基于深度学习的路面灌封裂缝检测方法技术

本发明专利技术公开了一种基于深度学习的路面灌封裂缝检测方法：步骤1：采集路面灌封裂缝图像，进行图像增广得到路面图像；步骤2：对路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；步骤4：将待检测图像输入训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。本发明专利技术首次使用了深度学习的方法对路面图像中的灌封裂缝进行检测，并能够达到0.8994的检测精度。

A detection method of pavement filling crack based on deep learning

【技术实现步骤摘要】
一种基于深度学习的路面灌封裂缝检测方法
本专利技术属于道路工程领域，具体涉及一种基于改进的FasterR-CNN模型的路面灌封裂缝检测方法。
技术介绍
灌封裂缝产生的原因主要是路面养护部门发现道路出现裂缝后使用路面裂缝灌封技术后形成的一种新的病害。灌封裂缝一旦出现表明这条路已经发生过破损，灌封裂缝的有效检测对延长路面的使用寿命有很大影响，如何对灌封裂缝进行实时、准确和高效的检测，成为公路管理养护部门十分关注的问题。传统的灌封裂缝检测是基于主动特征提取的图像处理方法，这种方法有一定的局限性，在实时性和检测精度上都有所欠缺，无法进行实时、准确和高效的检测。因此，研究一种能够准确和高效的灌封裂缝检测方法是非常有必要的。
技术实现思路
针对上述传统路面灌封裂缝检测方法存在的不足，本专利技术的主要目的在于，提供一种基于改进的FasterR-CNN模型的路面灌封裂缝检测方法。该方法能够实现对路面灌封裂缝数据的高效、准确的定位，为进一步研究路面自动检测提供参考。为了达到上述目的，本专利技术采用如下的技术方案：一种基于深度学习的路面灌封裂缝检测方法，包括如下步骤：步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N；步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；步骤4：将待检测图像输入经步骤3训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。进一步的，所述步骤1中的数据增广处理是指通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。进一步的，所述步骤3中所构建的路面灌封裂缝检测模型为FasterR-CNN模型；所述FasterR-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。进一步的，当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将FasterR-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。与现有技术相比，本专利技术的方法具有以下优点：1.本专利技术采用了使用深度学习方法对路面灌封裂缝进行检测，并达到0.8994的检测精度。2.本专利技术通过对FasterR-CNN方法中的候选区域的比例进行改进，能够更加适合本专利技术所处理的路面灌封裂缝，大大提高了检测精度，且能够实现对灌封裂缝的精确定位。附图说明图1是损失函数loss随训练次数变化曲线图；图2是待检测的灌封裂缝图像；图3是采用传统的FasterRCNN模型对图像进行灌封路面检测的效果图；图4是采用本专利技术中改进后的FasterRCNN模型对图像进行灌封路面检测的效果图。以下结合具体实施方式和附图对本专利技术进一步解释说明。具体实施方式以下给出本专利技术的具体实施例，需要说明的是本专利技术并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本专利技术的保护范围。实施例：本实施例给出一种基于改进的FasterR-CNN模型的路面灌封裂缝检测方法，包括如下步骤：步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N。作为本专利技术的一种具体实施方式，路面图像的采集方式可以采用检测车采集或者智能手机拍摄。本专利技术中，数据增广处理具体通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。本实施例中，图像增广后得到的样本数据集中共7116幅路面图像。步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框(groundtruth)；将所有标注后的路面灌封裂缝图像放缩为统一尺寸800×600)，得到放缩后的图像，作为训练集；在具体实施中，采用最小外接矩形对灌封裂缝进行标注，裂缝区域框即裂缝的最小外接矩形。在采集路面灌封裂缝图像时，可能由于拍摄所采用的设备不统一造成图像的尺寸、规格不统一，此处统一尺寸，以得到准确的处理结果。步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重。在具体实施时，在训练过程中当灌封裂缝检测模型中的损失函数曲线趋于稳定，且损失函数的值不再下降，则完成裂缝分类检测模型的训练。步骤3中所构建的路面灌封裂缝检测模型为FasterR-CNN模型；所述FasterR-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。在传统的FasterR-CNN模型中，通常是保证基础区域256的面积不变，分别将该横纵比为1:1的正方形区域变换成横纵比为1:1、1:2、2:1的区域，之后将这3个区域的横、纵分别按8倍、16倍和32倍扩充，最终得到的特征图上的每一像素点都能在步骤3中缩放后的图像上生成3×3＝9个候选框。而本专利技术设置上述11个横纵比进行处理的原因是因为灌封裂缝的形态多样化，传统方法生成候选框的处理方式对灌封裂缝的处理并不适用，经试验发现，采用上述11个横纵比进行变换，得到的检测结果更加准确。当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将FasterR-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。在训练过程中，当损失函数曲线趋于稳定，且损失函数的值不再下降，则完成裂缝分类检测网络的训练。如图2为一种实施例下灌封裂缝检测模型训练损失函数曲线，可见当训练到第70000次时，损失函数的值基本趋于稳定，说明网络训练完成。步骤4：将待检测图像输入经步骤3训练后得到的FasterR-CNN模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。如图2所示的采集的某一幅原始路面灌封裂缝图像，图3是采用传统的FasterRCNN模型进行灌封路面检测的效果图，图4是采用本专利技术的方法(即本专利技术改进后的FasterRCNN模型)对该图像进行灌封路面检测的效果图，可以明显看出，相较于传统方法模型，本方法得到的检测框能够对图像中所有路面灌封裂缝进行更加精准地标注。从而使得检测结果精确度明显提高。另外，参见表1所示，用平均检测精度(AP)对实施例的结果进行了定量评价。从表中结果可以看出，本专利技术的基于深度学习的路本文档来自技高网...

【技术保护点】
1.一种基于深度学习的路面灌封裂缝检测方法，其特征在于，包括如下步骤：步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N；步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；步骤4：将待检测图像输入经步骤3训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。

【技术特征摘要】
1.一种基于深度学习的路面灌封裂缝检测方法，其特征在于，包括如下步骤：步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N；步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；步骤4：将待检测图像输入经步骤3训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。2.如权利要求1所述的基于深度学习的路面灌封裂缝检测方法，其特征在于，所述步骤1中的数据增广处理是指通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。3.如权利要求1所述的基于深度...

【专利技术属性】
技术研发人员：孙朝云，沙爱民，李伟，郝雪丽，陈瑶，裴莉莉，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西,61