基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法技术

基于图像处理和卷积神经网络相结合的路面表面裂痕缺陷识别的方法，包含：步骤一，数据准备：采集2000张1024×512的道路灰度图像；步骤二，图像标定：将采集好的道路图片分类，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；步骤三，将标定好的图片进行图片预处理，并统一尺寸为1024×512；步骤四，建立核心的卷积神经网络算法架AsphaltCrackNet；步骤五，用于生成特征映射的特征提取器的原理；步骤六，划分用于训练和测试的图像数据集；步骤七，训练数据集并计算成本函数；步骤八，该神经网络的学习方法；步骤九，随机初始化和丢失；步骤十，并行计算；步骤十一，得出训练结果，进行测试和评估。在不改变原始图像宽度和高度的情况下，能够确保完美的像素精确度。

Detection Method of Road Surface Crack Defect Based on Image Processing and Convolutional Neural Network

【技术实现步骤摘要】
基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法
本专利技术涉及一种道路表面裂痕缺陷检测和分类方法。
技术介绍
进入21世纪，我国综合国力迅速发展，高速公路的蓬勃发展便成为一个重要的标志，道路的保护也得到同等重视。然而，人工作业效率低下，特别是现场施工中会有很多不可预测的因素，造成道路缺陷检测尤为困难，同时精度也不能得到保障，从而产生了很多道路缺陷没有检测到。过去，也有过许多算法来检测道路表面裂痕缺陷，但是都有它的局限性。基于图像预处理的边缘检测和图像分割以及形态学变换等算法被广泛用于检测路面裂缝的边缘，但无法检测完整的裂缝轮廓；基于滤波器的算法被开发用于发现预期响应的裂缝，但是在检测对预先设计的滤波器的弱响应的裂缝方面仍然存在局限性。近年来，深度卷积神经网络(CNN)在大规模对象识别问题上取得了重大成功，比如医学上，人脸识别，音频检索等领域。CNN有许多显著的特点，比如局部连接、权值共享、池化操作以及多层结构。CNN能够通过多层非线性变换，从数据中自动学习特征，从而代替手工设计的特征，且深层次的结构使它具有很强的表达能力和学习能力。然而，由于池化层的存在，原始数据通过增加抽象级别而逐渐缩小，导致原始信息的丢失。因此，大多数卷积网络都要对小图像块进行分类，并且无法实现像素完美的精度。像素完美的精度对于路面裂缝检测至关重要，这意味着裂缝的可见几何特征可以在形状，方向，长度和宽度方面获得。首先，像素完美精度可以对检测到的裂缝类型产生准确的识别。其次，裂缝的实际宽度，长度和范围是确定其严重程度的重要指标。
技术实现思路
本专利技术要克服现有技术对道路表面缺陷检测的缺点，提供一种基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷检测和分类的方法，通过监督学习，可以从已经标定好的表面缺陷图像中学习到更好的代表性特征。为了实现上述目的，本专利技术采用了以下技术方案：基于图像处理和卷积神经网络相结合的路面表面裂痕缺陷识别的方法，包含如下步骤：步骤一，数据准备：采集2000张1024×512的道路灰度图像；步骤二，图像标定：将采集好的道路图片分类，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；步骤三，将标定好的图片进行图片预处理，并统一尺寸为1024×512；步骤四，建立核心的卷积神经网络算法架AsphaltCrackNet；步骤五，用于生成特征映射的特征提取器的原理；步骤六，划分用于训练和测试的图像数据集；步骤七，训练数据集并计算成本函数；步骤八，该神经网络的学习方法；步骤九，随机初始化和丢失；步骤十，并行计算；步骤十一，得出训练结果，并进行测试和评估。本专利技术提出了一种基于卷积神经网络(CNN)的高效网络架构，命名为AsphaltCrackNet，用于自动检测路面上的路面裂缝。与传统的CNN不同，AsphaltCrackNet没有任何池化层来缩小先前层的输出。无论数据深度如何，数据宽度和高度在所有层中都是不变的，以实现像素完美的精确度。像素级精度通过以下正则化来实现：首先，输入数据的空间大小在所有层中都是不变的；其次，为像素到像素的监督学习准备了训练数据的基础事实；最后，通过卷积层提供的局部连接将单个像素与其邻居进行比较，并通过整合和分析在该像素处评估的多通道响应来预测单个像素的最终类别得分。本专利技术的原理是：将已经进行通过图像处理的目标图像输入到训练好的卷积神经网络模型里面，然后自动对道路表面裂痕进行缺陷检测和分类。该卷积神经网络由4个层组成，与其他CNN不同的是，该网络结构，即AsphaltCrackNet没有任何池化层来缩小先前层的输出。无论数据深度如何，数据宽度和高度在所有层中都是不变的，以实现像素完美的精确度。本专利技术可以精确地检测道路的表面裂痕缺陷并进行分类。本专利技术通过使用各种高效学习技术，包括小批量梯度下降，动量，交叉熵，并行计算，随机初始化和丢失，成功完成了AsphaltCrackNet的训练，以实现像素的完美精确度，进而达到精确检测道路表面的裂痕的目的。本专利技术的优点是：实现像素的完美精确度，精确检测道路表面的裂痕。附图说明图1是本专利技术的卷积神经网络结构图；图2是本专利技术的工作流程示意图；图3是本专利技术的图像处理流程示意图；图4a～图4f是本专利技术图像处理效果图，其中图4a是道路缺陷原图，图4b是道路缺陷原图灰度直方图，图4c是均衡化处理结果图，图4d是均衡化处理后灰度直方图，图4e是滤波处理结果图，图4f是滤波处理结果灰度直方图。具体实施方式下面结合附图，进一步说明本专利技术的技术方案：基于图像处理与卷积神经网络相结合的道路表面裂痕缺陷识别的方法，包含如下步骤：步骤一，数据准备：建立了一个具有超过5,000个路面图像，分辨率为1mm，代表了裂缝和路面表面纹理的多样性变化的图像库，该图像库的所有路面通过爬虫技术所得。步骤二，图像标定：将采集好的道路图片进行标定，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；步骤三，将标定好的图片进行图片预处理，且统一尺寸为1024×512；3.1去除椒盐噪声和脉冲噪声。路面缺陷图像具有明显的高频噪声，与目标信息掺杂，难以去除，为了处理此类干扰信息，本文采用自适应中值滤波算法。3.2路面缺陷增强算法。实际路面缺陷图像背景复杂，利用单一的图像增强处理方法难以达到预期效果，本系统采集的图像灰度值计算如下所示：nGray＝x*R+y*G+z*B(1)其中R,G,B代表红，绿，蓝通道，x,y,z为相应参数。下面就列出道路增强的详细算法。3.1.1灰度转换。将采集到的图像变成灰度图像，方便之后的直方图均衡化和边缘检测，所用到的公式为nGray＝0.40*R+0.58*G+0.21*B(2)其中R,G,B分别代表红，绿，蓝通道。3.1.2图像直方图均衡化。直方图均衡化(histogramequalization)是一种借助直方图变换实现灰度映射从而达到图像增强目的的方法，其主要思想是把原始图的直方图变换成为均匀分布的形式，这样，就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。路面缺陷图像的灰度值主要分布在90～120之间，其他区间分布很少，这种现象跟图像本身有关。路面缺陷图像的灰度直方图是一个离散化表示的图像，没有一定的显示规律，针对此类图像处理较难，必须要对其均衡化处理。路面缺陷图像的均衡化处理要保证以下两个条件：S1.像素的属性不能发生改变，图像的物理结构要保持不变；S2.采集到的路面缺陷图像是8-bits图像，像素映射函数的值域应保持在0～255之间，不能超过范围。直方图映射的方法是：其中N为像素总个数，L为灰度级总数，Ng为灰度级为g的像素总数。3.1.4改进的自适应中值滤波和邻域处理。路面缺陷图像不同于其他图像，其纹理信息较为明显，且具有椒盐噪声、脉冲噪声等复杂的干扰因素，本文在中值滤波基础上提出了一种改进的滤波方法。对路面缺陷图像滤波处理的过程，相当于在图像f(x,y)中逐点移动滤波模板，使模板与图像中每一个像素点做运算，为了控制平滑处理造成的图像模糊，本文在高斯平滑模板的基础上，根据实际路面缺陷图像的特点，加大了模板的权值下式为高斯模板，来自于二维正态分布密度函数当标准差σ取不同值时，二维高斯函数的形状会有很大变化，所以在路面缺陷本文档来自技高网...

【技术保护点】
1.基于图像处理与卷积神经网络相结合的道路表面裂痕缺陷识别的方法，包含如下步骤：步骤一，数据准备：建立了一个具有超过5,000个路面图像，分辨率为1mm，代表了裂缝和路面表面纹理的多样性变化的图像库，该图像库的所有路面通过爬虫技术所得；步骤二，图像标定：将采集好的道路图片进行标定，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；步骤三，将标定好的图片进行图片预处理，且统一尺寸为1024×512；3.1去除椒盐噪声和脉冲噪声；路面缺陷图像具有明显的高频噪声，与目标信息掺杂，难以去除，为了处理此类干扰信息，采用自适应中值滤波算法；3.2路面缺陷增强算法；实际路面缺陷图像背景复杂，利用单一的图像增强处理方法难以达到预期效果，采集的图像灰度值计算如下所示：nGray＝x*R+y*G+z*B   (1)其中R,G,B代表红，绿，蓝通道，x,y,z为相应参数；下面就列出道路增强的详细算法；3.1.1灰度转换；将采集到的图像变成灰度图像，方便之后的直方图均衡化和边缘检测，所用到的公式为nGray＝0.40*R+0.58*G+0.21*B   (2)其中R,G,B分别代表红，绿，蓝通道。3.1.2图像直方图均衡化；直方图均衡化(histogram equalization)是一种借助直方图变换实现灰度映射从而达到图像增强目的的方法，其主要思想是把原始图的直方图变换成为均匀分布的形式，这样，就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果；路面缺陷图像的灰度值主要分布在90～120之间，其他区间分布很少，这种现象跟图像本身有关；路面缺陷图像的灰度直方图是一个离散化表示的图像，没有一定的显示规律，针对此类图像处理较难，必须要对其均衡化处理；路面缺陷图像的均衡化处理要保证以下两个条件：S1.像素的属性不能发生改变，图像的物理结构要保持不变；S2.采集到的路面缺陷图像是8‑bits图像，像素映射函数的值域应保持在0～255之间，不能超过范围；直方图映射的方法是：...

【技术特征摘要】
1.基于图像处理与卷积神经网络相结合的道路表面裂痕缺陷识别的方法，包含如下步骤：步骤一，数据准备：建立了一个具有超过5,000个路面图像，分辨率为1mm，代表了裂缝和路面表面纹理的多样性变化的图像库，该图像库的所有路面通过爬虫技术所得；步骤二，图像标定：将采集好的道路图片进行标定，没有裂痕的图片标定为0文件夹，有裂痕的图片标定为1文件夹；步骤三，将标定好的图片进行图片预处理，且统一尺寸为1024×512；3.1去除椒盐噪声和脉冲噪声；路面缺陷图像具有明显的高频噪声，与目标信息掺杂，难以去除，为了处理此类干扰信息，采用自适应中值滤波算法；3.2路面缺陷增强算法；实际路面缺陷图像背景复杂，利用单一的图像增强处理方法难以达到预期效果，采集的图像灰度值计算如下所示：nGray＝x*R+y*G+z*B(1)其中R,G,B代表红，绿，蓝通道，x,y,z为相应参数；下面就列出道路增强的详细算法；3.1.1灰度转换；将采集到的图像变成灰度图像，方便之后的直方图均衡化和边缘检测，所用到的公式为nGray＝0.40*R+0.58*G+0.21*B(2)其中R,G,B分别代表红，绿，蓝通道。3.1.2图像直方图均衡化；直方图均衡化(histogramequalization)是一种借助直方图变换实现灰度映射从而达到图像增强目的的方法，其主要思想是把原始图的直方图变换成为均匀分布的形式，这样，就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果；路面缺陷图像的灰度值主要分布在90～120之间，其他区间分布很少，这种现象跟图像本身有关；路面缺陷图像的灰度直方图是一个离散化表示的图像，没有一定的显示规律，针对此类图像处理较难，必须要对其均衡化处理；路面缺陷图像的均衡化处理要保证以下两个条件：S1.像素的属性不能发生改变，图像的物理结构要保持不变；S2.采集到的路面缺陷图像是8-bits图像，像素映射函数的值域应保持在0～255之间，不能超过范围；直方图映射的方法是：其中N为像素总个数，L为灰度级总数，Ng为灰度级为g的像素总数；3.1.4改进的自适应中值滤波和邻域处理；路面缺陷图像不同于其他图像，其纹理信息较为明显，且具有椒盐噪声、脉冲噪声的复杂的干扰因素，在中值滤波基础上提出了一种改进的滤波方法；对路面缺陷图像滤波处理的过程，相当于在图像f(x,y)中逐点移动滤波模板，使模板与图像中每一个像素点做运算，为了控制平滑处理造成的图像模糊，在高斯平滑模板的基础上，根据实际路面缺陷图像的特点，加大了模板的权值下式为高斯模板，来自于二维正态分布密度函数当标准差σ取不同值时，二维高斯函数的形状会有很大变化，所以在路面缺陷图像处理时，合适的σ非常重要，σ太大或者太小，都无法达到预期效果；只有当σ取合适的值的时候才能得到像素值的较好的体现；在所涉及的路面缺陷图像的处理中，对3x3滤波窗口取σ为0.8；到此，图像预处理结束，得到可作为下述卷积神经网络特征提取器的输入；步骤四，建立核心的卷积神经网络算法架，简称为AsphaltCrackNet；卷积神经网络结构AsphaltCrackNet主要由五个层组成：将经过上述预处理后的尺寸为1024×512的道路灰度图像输入到特征提取器，亦可视为1×1的卷积，并将结果作为输入层，然后进行一个全连接层1，相当于一个1×1的卷积层；然后得到同样大小的360个通道的1024×512图像；在全连接层1之后，用一个50×50的过滤器进行卷积，为了不改变尺寸，将卷积后的结果进行相应填充；然后再进行全连接层2，同样类似于1×1的卷积；最后将连接后的结果再用1×1的卷积核进行最后卷积，得到和原始图像相同尺寸的输出；4.1输入层直接从预处理后的图像库中随机选择道路表面图像；4.2在卷积层1，前一层输出的每个通道与一个大小为50×50的单个滤波器进行卷积；因此卷积层1处的滤波器数量为360.在卷积之后，泄漏整流线性单元用于执行非线性变换,表达式为：其中h是输出；wT是权重；x是输入；4.31×1卷积层2传...

【专利技术属性】
技术研发人员：姚明海，隆学斌，顾勤龙，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33