一种基于深度学习和图像处理法的路面病害智能提取方法技术

本发明专利技术公开了一种基于深度学习和图像处理法的路面病害智能提取方法，该方法包括深度学习(DL)部分和图像处理技术(IPT)部分。图像处理技术方法包括路面裂缝图像预处理；基于匀光算法的图像增强；图像分割；图像后处理；裂缝类型判断和评估。本发明专利技术计算出裂缝长度为像素长度。因此，若要获得图像中裂缝的真实长度，应该知道一幅图像中裂缝的真实长度和计算出来的像素长度，根据二者比值就可以计算出其他图像中的裂缝长度，由此可以将计算出来的长度与实际长度进行对比，从而了解计算精度。本发明专利技术能够根据真实的现场照片提取路面裂缝骨架，可以用于智能路面结构健康监测。

An intelligent extraction method of pavement diseases based on deep learning and image processing

【技术实现步骤摘要】
一种基于深度学习和图像处理法的路面病害智能提取方法
本专利技术属于深度学习图像处理领域，涉及一种识别路面病害并自动提取的方法。本专利技术适用于路面结构智能检测的优化。
技术介绍
随着经济持续增长，我国公路建设历程里程逐步攀升。尽管我国公路建设已经取得了良好的成绩，但是公路养护却没有跟不上。由于种种原因，几年后，路面病害(裂缝)逐渐产生。如果裂缝发现及时，可以避免裂缝损害的加重，并避免随之产生的其他病害。因此，在沥青路面及时、快速检测和提取裂缝信息是非常重要的。由于缺少足够的基础理论和技术支撑，目前大部分的裂缝识别工作都需要大量的人工和成本，通过现场检查或基于路面裂缝现场照片进行人工识别。而路面裂缝的趋势、形状等详细信息的提取，在人工/半自动检测裂缝后，可能还需要人工的工作。本专利技术提出了一种自动综合裂缝检测算法，即裂缝提取算法，该算法不仅能自动检测路面裂缝，而且能根据真实的现场照片提取路面裂缝骨架，可以用于智能路面结构健康监测。
技术实现思路
本专利技术采用的技术方案为一种基于深度学习的路面结构智能检测的方法，其包括两个主要部分，即深度学习(DeepLearning,DL)部分和图像处理技术(imageprocesstechnology,IPT)部分。具体步骤如下：S1深度学习(DL)部分：步骤一：人工标定本专利技术使用的数据集为中国江苏省沥青路面三通道灰度场图像3000张，像素为4096×2000，由ZOYON-RTM智能道路检测车拍摄。通过对图像中路面病害的训练学习，该专利技术可以自动识别、检测并提取路面裂缝，以用于智能路面结构健康监测。使用软件LabelImg进行图片的标定，将标定后的图片保存为xml文件。步骤二：目标检测对于处理好的xml文件，将其输入至算法模型中进行学习和训练。采用两级检波器FasterR-CNN模型作为计算工具，对裂缝性沥青路面进行目标检测。1)输入在FasterR-CNN中，每个输入大小的短边长度被设置为600。对于任意大小的矩形图像，按比例调整大小，使短边长度为600像素。在本专利技术中，将调整后的输入尺寸设置为600×600。2)基础卷积神经网络(BaseCNN)基本经典分类模型VGG-16作为CNN的基础。在目标定位的步骤中，由于需要保留特征图的原始空间特征，将Conv13层以上的图层截取为BaseCNN的输出层，同时作为RPN的输入。3)区域代网络(RPN)区域代网络采用三维512×512、256×256、128×128的红色方框，同时，对于每个面积大小，设置三个长宽比分别为1:1、1:1、2:1的黄色方框，总共有9种锚点。锚点将不同大小的输入转换为固定大小的输出，同时将固定大小的输入转换为不同预设锚点大小的输出。将滑动窗口设置为3×3，并在每个窗口的中心像素处选择9种锚点。然后删除这些不合适的锚点，从剩下锚点中根据以下规则选择相对较好的作为候选样本。正样本是指属于某一类别的样本,反样本是指不属于某一类别的样本。具体类别由正交比公式判断，表示为：式中IoU为正交比；A为边界框真值；B为边界框预测值。(1)正样本满足锚点与真值的正交比大于0.7。(2)负样本满足锚点真值IoU小于0.3。其中，为了增加接受域，RPN使用了3:3卷积层的BaseCNN网络。然后对前景(对象)和背景(背景)进行分类。同时，对地面真值的中心点坐标与相应锚点的中心点坐标的偏移量以及物体地面真值的长、宽与锚的长、宽之比进行回归。RPN的损失函数由交叉熵函数和L1正则化两部分组成，表示为：式中pi为锚i是裂缝的预测概率；ti为预测边界框的4个参数化坐标的向量；和为对应真值；Lcls为判断是否为裂缝的分类损失；Lreg为回归损失；Ncls和Nreg为对应样本量；λ为两个损失函数的平衡参数。i为一个小批量锚的索引。4)RoI池化RoI池既能够接受BaseCNN的特征图输出，也能够接受RPN的RoI输出。将RoI投影到特征图后，将不同大小的映射区域划分为固定数量的区域。将每个区域的最大池映射为相同大小的特征图。5)分类器最终的分类器同时进行分类和回归。将RPN输出设置为64个mini-batchsize，其中正、负样本的比例为1:3。阳性样本定义为RoI和真值的IoU值大于0.5，阴性样本IoU在范围内(0.1,0.5)。S2图像处理技术(IPT)部分：步骤一：路面裂缝图像预处理图片经过深度学习(DL)部分便可以自动识别裂缝，而下一步即图像处理技术(IPT)部分，要做的是通过多种图像处理相结合的方式来提取路面裂缝信息。图像预处理是对中国江苏省沥青路面三通道灰度场所选取的具有路面病害的3000张图片的预处理。其步骤为两步，分别是：第一步，读取图像。第二步，将图像灰度化处理。以上图像预处理为后续进行深度图像处理奠定了基础。具体为：读取图像。采用JPG格式作为路面图像读取的格式。以便于系统对大量图片的存储，提高系统处理识别裂缝的效率。同时，为了实现对大量路面裂缝图像的处理，采用批量处理的方法。首先，对文件夹中的图片进行标号。然后，对依次读取的图片进行处理和识别。最终，输出图像的识别结果，在一定程度上不仅节约了时间，还提高了数据的可视性，有利于分析路面裂缝的相关特征值。图像灰度化。为了便于对路面裂缝图像的处理和识别，需要将图像进行灰度化。对路面裂缝图像处理的主要目的是将图像中的背景区域和裂缝区域分开，从而将裂缝从图片中提取出来。灰度化后的图像主要反映的是图片中各个物体的亮度大小，从而可以根据不同物体的亮度大小来对裂缝进行提取。因此，在去除图像中的彩色信息可以帮助图像的后续处理。彩色图像主要分为三个通道R(红色)、G(绿色)、B(蓝色)，每个通道都有256级不同的亮度。图像中的每个像素点会展现出上述三个通道按比例融合之后的颜色，这就形成了彩色图像。然而灰度图像只有一个通道，也就是说灰度图像由256级不同大小的灰度值组成，黑色为0，白色为255。由于图像是由像素点组成的阵列，因此若以图像的左上角为原点，垂直向下为y轴正方向，水平向右为x轴正方向，则通过一组关于坐标的函数来表示不同位置的像素点的灰度值。因此一幅彩色图片表示为：f(x，y)＝(R，G，B)(3)式中，f(x，y)为路面裂缝原始图像；R为红色通道亮度值；G为绿色通道亮度值；B为蓝色通道亮度值。一幅彩色图片转化成灰度图片表示为：f(x,y)＝(0.299×R+0.587×G+0.114×B)(4)式中，f(x，y)为由ZOYON-RTM智能道路检测车拍摄的路面原始图像；R为红色通道亮度值；G为绿色通道亮度值；B为蓝色通道亮度值。步骤二：基于匀光算法的图像增强采用Mask匀光算法对路面裂缝图片进行批量处理，调整图像的亮度分布，在基本保持原有图像亮度的同时，对图像中的细节信息进行增强，提高本文档来自技高网...

【技术保护点】
1.一种基于深度学习和图像处理法的路面病害智能提取方法，其特征在于：具体步骤如下：/nS1深度学习(DL)部分：/n步骤一：人工标定/n通过对图像中路面病害的训练学习，自动识别、检测并提取路面裂缝，以用于智能路面结构健康监测；使用软件LabelImg进行JPG图片的标定，将标定后的JPG图片保存格式为xml文件；/n步骤二：目标检测/n对于处理好的xml文件进行学习和训练；采用两级检波器Faster R-CNN模型作为计算工具，对裂缝性沥青路面进行目标检测；/n1)输入/n在Faster R-CNN中，每个输入大小的短边长度被设置为600；对于任意大小的矩形图像；/n2)Base CNN/n将Conv13层以上的图层截取为Base CNN的输出层，同时作为RPN的输入；/n3)区域代网络RPN/n区域代网络RPN采用三维512×512、256×256、128×128的红色方框，同时，对于每个面积大小，设置三个不同长宽比为1:1、1:1、2:1的方框，总共有9种锚点；锚点将不同大小的输入转换为固定大小的输出，将固定大小的输入转换为不同预设锚点大小的输出；/n将滑动窗口设置为3×3，并在每个窗口的中心像素处选择9种锚点；然后删除这些不合适的锚点，从剩下锚点中根据以下规则选择候选样本；/n(1)正样本满足锚点与真值IoU大于0.7，表示为：/n...

【技术特征摘要】
1.一种基于深度学习和图像处理法的路面病害智能提取方法，其特征在于：具体步骤如下：
S1深度学习(DL)部分：
步骤一：人工标定
通过对图像中路面病害的训练学习，自动识别、检测并提取路面裂缝，以用于智能路面结构健康监测；使用软件LabelImg进行JPG图片的标定，将标定后的JPG图片保存格式为xml文件；
步骤二：目标检测
对于处理好的xml文件进行学习和训练；采用两级检波器FasterR-CNN模型作为计算工具，对裂缝性沥青路面进行目标检测；
1)输入
在FasterR-CNN中，每个输入大小的短边长度被设置为600；对于任意大小的矩形图像；
2)BaseCNN
将Conv13层以上的图层截取为BaseCNN的输出层，同时作为RPN的输入；
3)区域代网络RPN
区域代网络RPN采用三维512×512、256×256、128×128的红色方框，同时，对于每个面积大小，设置三个不同长宽比为1:1、1:1、2:1的方框，总共有9种锚点；锚点将不同大小的输入转换为固定大小的输出，将固定大小的输入转换为不同预设锚点大小的输出；
将滑动窗口设置为3×3，并在每个窗口的中心像素处选择9种锚点；然后删除这些不合适的锚点，从剩下锚点中根据以下规则选择候选样本；
(1)正样本满足锚点与真值IoU大于0.7，表示为：



式中IoU为正交比；A为边界框真值；B为边界框预测值；
(2)负样本满足锚定，真值IoU小于0.3；
其中，为增加接收域，RPN使用了3:3卷积层的BaseCNN网络；然后对前景和背景进行分类；对地面真值的中心点坐标与相应锚点的中心点坐标的偏移量以及物体地面真值的长、宽与锚的长、宽之比进行回归；
RPN的损失函数由交叉熵函数和L1正则化两部分组成，表示为：



式中pi为锚i是裂缝的预测概率；ti为预测边界框的4个参数化坐标的向量；和为对应真值；Lcls为判断是否为裂缝的分类损失；Lreg为回归损失；
S2图像处理技术部分：
步骤一：路面裂缝图像预处理
读取图像；采用JPG格式作为路面图像读取的格式；采用批量处理的方法对路面裂缝图像进行处理；首先，对文件夹中的图片进行标号；然后，对依次读取的图片进行处理和识别；最终，输出图像的识别结果分析路面裂缝的相关特征值；
图像灰度化；由于图像是由像素点组成的阵列，因此若以图像的左上角为原点，垂直向下为y轴正方向，水平向右为x轴正方向，则通过一组关于坐标的函数来表示不同位置的像素点的灰度值；因此一幅彩色图片表示为：
f(x，y)＝(R，G，B)(3)
式中，f(x，y)为路面裂缝原始图像；R为红色通道亮度值；G为绿色通道亮度值；B为蓝色通道亮度值；
一幅彩色图片转化成灰度图片表示为：
f(x，y)＝(0.299×R+0.587×G，0.114×B)(4)
式中，f(x，y)为由ZOYON-RTM智能道路检测车拍摄的路面原始图像；R为红色通道亮度值；G为绿色通道亮度值；B为蓝色通道亮度值；
步骤二：基于匀光算法的图像增强
采用Mask算法对路面裂缝图片进行批量处理，调整图像的亮度分布，
步骤三：图像分割
首先进行最小值池化，然后，通过Sobel边缘检测算子勾勒裂缝轮廓；最后，引入自适应阈值有效地将图像进行二值化处理，为图像后处理做好铺垫；
最小值池化；采用后面的边缘检测算子检测裂缝边缘时，会出现误检或漏检的情况；为突出裂缝，增强裂缝与背景的对比度，同时通过改变图像尺寸来减少图像中的噪音，采用最小值池化对路面裂缝图像进行处理；
步骤四：图像后处理
形态学闭运算；采用最大连通域去噪的方法对噪音点进行消除，因此选择形态学闭运算；这样在保证裂缝连续的基础上对背景噪音进行初步去除；
闭运算采用结构元对图像进行处理；对图像先采用4×4的正方形结构元对图像进行闭运算，再采用6×6的十字形结构元对图像进行闭运算；
最大连通域去噪；采用用八邻域法对图像进行扫描；
标记完图中的连通域的边界后，需要计算闭合边界所包围的面积，并将面积大小由小至大依次排列；经过反复试算，选择每幅图像中连通域面积大小排在第70％的面积大小作为删除小面积连通域的阈值；也就是说，低于这个面积的连通域都会被删除并填充成白色，而只有高于该面积的连通域才会保留下来；
采用均值池化对图像进行处理；
采用固定阈值法对图像进行二值，从而去掉噪音点；
然后对均值池化后的图像进行二值化；
提取骨架；
步骤五：裂缝类型判断和评估
首先采用投影法将裂缝图像分为横向裂缝、纵向裂缝和斜向裂缝这三类；然后，计算裂缝的像素长度；最后对图像进行批量处理，判断路面裂缝初步识别的精度。


2.根据权利要求1所述的一种基于深度学习和图像处理法的路面病害智能提取方法，其特征在于：
高斯低通滤波器的二维形式表示为：



式中，u和v为频率域中图像的坐标；H(u，v)为u×v大小的高斯低通滤波器的二维离散函数；D0为截止频率；...

【专利技术属性】
技术研发人员：侯越，李秋晗，张晨，杨湛宁，王俊涛，陈逸涵，曹丹丹，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11