一种基于卷积神经网络和图像识别的路面裂缝检测方法技术

本发明专利技术涉及一种基于卷积神经网络和图像识别的路面裂缝检测方法，属于交通路面检测领域。本方法以卷积神经网络芯片和一个递归神经网络为核心(卷积神经网络芯片用来检测路面裂缝，递归神经网络用于生成描述裂缝类型的语句)。包括：对路面裂缝原始图像进行预标记、根据预标记结果对路面图像进行强度归一化和像素饱和化预处理、把预处理后的路面图像输入到卷积神经网络(CNN)模型中进行训练(使用各种不同的路面作为样本对神经网络进行训练)、确定网络结构和模型参数、使用训练好的网络对复杂路面进行检测，并确定路面裂缝类型。利用路面影像采集设备、图像预处理装置、内存、USB外置设备、微处理器等，构成了具有深度学习功能的路面裂缝检测系统。

A Pavement Crack Detection Method Based on Convolutional Neural Network and Image Recognition

The invention relates to a pavement crack detection method based on convolution neural network and image recognition, belonging to the field of traffic pavement detection. The core of this method is convolution neural network chip and a recursive neural network chip (convolution neural network chip is used to detect pavement cracks, and recursive neural network is used to generate statements describing crack types). It includes: pre-marking the original image of pavement crack, pre-processing the pavement image with intensity normalization and pixel saturation according to the results of pre-marking, training the pre-processed pavement image into the convolutional neural network (CNN) model (using different pavement as samples), determining the network structure and model parameters, and using the trained model. The network detects the complex pavement and determines the types of pavement cracks. Pavement crack detection system with deep learning function is composed of pavement image acquisition equipment, image pre-processing device, memory, USB peripheral equipment, microprocessor and so on.

【技术实现步骤摘要】
一种基于卷积神经网络和图像识别的路面裂缝检测方法
本专利技术涉及一种基于卷积神经网络和图像识别的路面裂缝检测方法，属于交通路面检测领域。
技术介绍
随着公路交通运输业的迅速发展，公路路面的维护工作也日趋繁重，公路管理部门需要快速及时地掌握公路路面信息。传统的人工检测方法早已不能满足道路发展的基本需求。同时，面对大规模的路面破损图像，传统的基于图像识别的方法由于受到路面图像噪声、特征提取方法局限、图像数据量大等因素的影响，也已经不能满足大规模数据的应用。目前，路面检测存在有以下问题:1.只能处理同一条件下的路面图像2.当多种噪声混杂在一起时，裂缝检测的效果不明显。3.对简单的路面裂缝检测效果良好，对于分布复杂的裂缝检测结果断裂严重。4.对于纹理细小且分散的路面裂缝检测结果不好。5.不能有效判断路面缺陷类型。为了提高裂缝检测的准确率，本方法提出了基于CNN检测路面图像的裂缝。
技术实现思路
本专利技术要解决的技术问题是提供一种基于卷积神经网络和图像识别的路面裂缝检测方法，采用卷积神经网络这一深度学习方法，能够从大量的训练样本中提取到反映数据本质的隐性特征，并且能够检测路面裂缝类型，方便相关部门采取合适措施修补路面裂缝。该专利技术安全可靠，检测效率高，运行成本低。本专利技术采用的技术方案是：一种基于卷积神经网络和图像识别的路面裂缝检测方法，步骤如下：A、使用影像采集设备采集路面裂缝图片，并对图片进行预处理；B、设计卷积神经网络结构并使用步骤A中处理过的图片进行训练；C、采集路面图片并使用步骤B中训练好的神经网络判断路面是否存在缺陷；D、若路面存在缺陷，将存在缺陷的图片输入到训练过的多模态循环神经网络中，得到描述路面缺陷的文本，从而确定裂缝类型。具体地，所述步骤A中的图像预处理过程包括：首先，对采集的图片进行预标记，然后对预标记后的路面图像进行强度归一化和像素饱和化预处理，以减少光照不均等的影响，其中预标记的方法是：将2400像素×3150像素的路面图像划分为16行、21列的150像素×150像素图像块，计算每个图像块的均值和标准差，这样，每幅路面图像均有16×21的均值矩阵Mm和标准差矩阵STDm，然后对Mm矩阵分别做纵向和横向扫描查找包含裂缝像素的图像块，预标记的目的是将包含裂缝像素的图像块标记为‘1’，不包含裂缝像素的图像块标记为“0”。具体地，所述步骤B中的卷积神经网络结构的设计与训练过程包括：B1.该网络结构有四个卷积层，整个网络都使用了同样大小的3*3卷积核和2*2最大池化；B2.网络的训练分为两个阶段：前向传播和反向传播；CNN的训练步骤如下：步骤一：由采集到的裂缝图像和图像对应的groundtruth图像作为训练组输入网络；步骤二：设置网络权重和偏置为接近于0的随机值，并将精度控制的参数学习率α设置为0.001；步骤三：从训练集中取1个样本加至网络，再计算它的目标输出向量；步骤四：计算中间层输出向量；步骤五：计算输出向量与目标向量在中间层输出的误差；步骤六：计算输出向量中各个中间层预测结果之和；步骤七：计算最后融合层的输出向量与目标向量的输出误差；步骤八：使用随机梯度下降最小化目标函数；步骤九：不断更新权值和偏置项，优化网络模型，并确定好相应的缺陷设定分数。具体地，所述步骤C中的判断路面是否有缺陷包括：将预处理的待测图片代入步骤B确定好的网络模型中，对卷积神经网络进行运算，若缺陷分数大于缺陷设定分数，则认为路面有缺陷，若该缺陷分数小于或等于缺陷设定分数，则认为无缺陷。具体地，所述步骤D中的多模态循环神经网络的训练需要搜集大量路面裂缝和描述对应裂缝类型文本的集合；在训练阶段，循环神经网络输入图像I和对应文本序列的特征向量序列(x1,...,xT)，然后通过重复式(2)和式(3)的迭代过程(t＝1到T)来计算隐藏状态序列(h1,...,ht)和输出值序列(y1,...,yt)；ht＝f(Whxxt+Whhht-1+bh+∏(t＝1)⊙bv)(2)yt＝softmax(Wohht+bo)(3)其中，为神经网络最后一层的输出，bv为图像信息，Whi，Whx，Whh和Woh为训练过程中的权重，bo和bh为训练过程中的偏置。具体地，所述步骤四中的中间层的输出向量可根据式(4)计算其中Wjk为j层到k层网络需要学习的权重；Fj为输入到k层的特征图；θk为偏置项。具体地，所述步骤五中的误差可以根据式(5)计算其中αm为调节系数；lside是中间层图像的损失函数；W为所有标准的网络层参数；w(m)为每一层的权重，可表示为w＝[w(1),···,w(M)]。具体地，所述步骤六中的预测结果之和可以根据式(6)计算其中，为对中间层进行融合的权重，σ(·)为sigmoid函数，为输出向量与目标向量在中间层输出的误差。具体地，所述步骤七中的输出向量与目标向量的输出误差可根据式(7)计算其中，为融合预测图与groundtruth标签图Y之间的距离，通过使用交叉熵损失函数计算损失值大小。具体地，所述步骤八中的最小化目标函数可根据式(8)计算其中，argmin(·)可以得到使目标函数取最小值时的变量值，Lside(S,Y,W,w)为每个中间层的损失，为最终的预测图与groundtruth标签图的损失。具体地，所述步骤九中的不断更新权值和偏置可以根据式(9)和(10)进行其中，和分别为更新后和未更新的权值，和分别为更新后和未更新的偏置，η为学习率。本专利技术的有益效果是：该方法安全可靠，检测速度快，检测效率高，误报率低，不会出现夜间作业疲劳现象，并且能够准确确定公路缺陷类型，方面相关部门及时采取合理措施修补路面缺陷。附图说明图1是本专利技术一种基于卷积神经网络和图像识别的路面裂缝检测方法实施的识别结构框图。图2是卷积神经网络的网络框架图。图3是对检测结果进行评估的PR曲线。图4是多模式递归神经网络生成模型。图5是路面裂缝检测系统框图。具体实施方式下面结合附图和具体实施方式，对本专利技术作进一步地说明。实施例1：一种基于卷积神经网络和图像识别的路面裂缝检测方法，步骤如下：A、使用影像采集设备采集路面裂缝图片，并对图片进行预处理；B、设计卷积神经网络结构并使用步骤A中处理过的图片进行训练(使用各种不同的路面裂缝作为样本对神经网络进行训练)；C、采集路面图片并使用步骤B中训练好的神经网络判断路面是否存在缺陷；D、若路面存在缺陷，将存在缺陷的图片输入到训练过的多模态循环神经网络中，得到描述路面缺陷的文本，从而确定裂缝类型。进一步地，所述步骤A中的图像预处理过程包括：首先，对采集的图片进行预标记，然后对预标记后的路面图像进行强度归一化和像素饱和化预处理，以减少光照不均等的影响，其中预标记的方法是：将2400像素×3150像素的路面图像划分为16行、21列的150像素×150像素图像块，计算每个图像块的均值和标准差，这样，每幅路面图像均有16×21的均值矩阵Mm和标准差矩阵STDm，然后对Mm矩阵分别做纵向和横向扫描查找包含裂缝像素的图像块，预标记的目的是将包含裂缝像素的图像块标记为‘1’，不包含裂缝像素的图像块标记为“0”。进一步地，所述步骤B中的卷积神经网络结构的设计与训练过程包括：B1.该网络结构有四个卷积层，整个网络都使用了同样大小的3*3卷积核和2本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络和图像识别的路面裂缝检测方法，其特征在于：步骤如下：A、使用影像采集设备采集路面裂缝图片，并对图片进行预处理；B、设计卷积神经网络结构并使用步骤A中处理过的图片进行训练；C、采集路面图片并使用步骤B中训练好的神经网络判断路面是否存在缺陷；D、若路面存在缺陷，将存在缺陷的图片输入到训练过的多模态循环神经网络中，得到描述路面缺陷的文本，从而确定裂缝类型。

【技术特征摘要】
1.一种基于卷积神经网络和图像识别的路面裂缝检测方法，其特征在于：步骤如下：A、使用影像采集设备采集路面裂缝图片，并对图片进行预处理；B、设计卷积神经网络结构并使用步骤A中处理过的图片进行训练；C、采集路面图片并使用步骤B中训练好的神经网络判断路面是否存在缺陷；D、若路面存在缺陷，将存在缺陷的图片输入到训练过的多模态循环神经网络中，得到描述路面缺陷的文本，从而确定裂缝类型。2.根据权利要求1所述的基于卷积神经网络和图像识别的路面裂缝检测方法，其特征在于：所述步骤A中的图像预处理过程包括：首先，对采集的图片进行预标记，然后对预标记后的路面图像进行强度归一化和像素饱和化预处理，以减少光照不均等的影响，其中预标记的方法是：将2400像素×3150像素的路面图像划分为16行、21列的150像素×150像素图像块，计算每个图像块的均值和标准差，这样，每幅路面图像均有16×21的均值矩阵Mm和标准差矩阵STDm，然后对矩阵Mm分别做纵向和横向扫描查找包含裂缝像素的图像块，预标记的目的是将包含裂缝像素的图像块标记为‘1’，不包含裂缝像素的图像块标记为“0”。3.根据权利要求1所述的基于卷积神经网络和图像识别的路面裂缝检测方法，其特征在于：所述步骤B中的卷积神经网络结构的设计与训练过程包括：B1.该网络结构有四个卷积层，整个网络都使用了同样大小的3*3卷积核和2*2最大池化；B2.网络的训练分为两个阶段：前向传播和反向传播；CNN的训练步骤如下：步骤一：由采集到的裂缝图像和图像对应的groundtruth图像作为训练组输入网络；步骤二：设置网络权重和偏置为接近于0的随机值，并将精度控制的参数学习率α设置为0.001；步骤三：从训练集中取1个样本加至网络，再计算它的目标输出向量；步骤四：计算中间层输出向量；步骤五：计算输出向量与目标向量在中间层输出的误差；步骤六：计算输出向量中各个中间层预测结果之和；步骤七：计算最后融合层的输出向量与目标向量的输出误差；步骤八：使用随机梯度下降最小化目标函数；步骤九：不断更新权值和偏置项，优化网络模型，并确定好相应的缺陷设定分数。4.根据权利要求1所述的基于卷积神经网络和图像识别的路面裂缝检测方法，其特征在于：所述步骤C中的判断路面是否有缺陷包括：将预处理的待测图片代入步骤B确定好的网络模型中，对卷积神经网络进行运算，若缺陷分数大于缺陷设定分数，则认为路面有缺陷，若该缺陷分数小于或等于...

【专利技术属性】
技术研发人员：朱阳光，刘瑞敏，王震，王枭，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53