基于多分支并行卷积神经网络的沥青路面病害检测方法技术

本发明专利技术属于土木工程检测技术领域，尤其涉及一种基于多分支并行卷积神经网络的沥青路面病害检测方法，用于实现路面图像中的路表病害类别识别、位置测定、形态测量；将路面图像及其对应的病害边界框标签、病害类型标签、边界框内像素类别标签作为训练数据；构建建立多分支并行卷积神经网络，包括一个特征提取器、一个感兴趣区域提取器、一个回归器、一个分类器、一个解码器；使用训练数据训练多分支并行卷积神经网络；给定待检测沥青路面区域，采集路面图像，采用训练完成的多分支并行卷积神经网络计算待检测区域内存在的路面病害类型、位置、形态。本发明专利技术能够通过路面图像进行路面病害检测，有利于提高沥青路面病害检测的效率和准确率。

【技术实现步骤摘要】
基于多分支并行卷积神经网络的沥青路面病害检测方法
本专利技术属于土木工程检测
，尤其涉及基于多分支并行卷积神经网络的沥青路面病害检测方法。
技术介绍
沥青路面病害检测是路面性能评估的重要环节，为路面养护提供了重要的数据支持。现阶段，沥青路面病害检测方法主要包括现场调查法和路面图像采集分析法。现场调查法需要封闭交通，检测结果受检测人员主观因素影响大，效率低下，严重影响公路通行效率，不适用于我国大范围的沥青路面病害检测。路面图像采集分析法具有不影响交通和图像采集效率高的优势，近年来被广泛运用于路面病害检测。然而，路面图像分析方法的缺陷制约了路面图像采集分析法的广泛使用。路面图像分析方法主要包括人工分析和算法分析两大类。人工分析是依靠人工对路面图像中反应的病害进行识别、定位、测量；这种方法效率低下，分析结果受检测人员主观因素影响大，不适用于大范围的路表病害检测。算法分析是采用一个或者多个图像处理算法获取病害的各类信息；现阶段，常见的算法包括K值聚类、人工神经网络、支持向量机等；然而，这些方法的准确性和稳定性存在较大缺陷，无法满足现阶段路表病害检测的工程需求。
技术实现思路
针对现有技术中存在的技术问题，本专利技术提供了基于多分支并行卷积神经网络的沥青路面病害检测方法，将多分支并行卷积神经网络应用于路面病害的识别、定位、测量，同时采用特征图共享技术实现路面病害识别、定位、测量的同步进行，大大提高了沥青路面病害检测的效率和准确率，有利于快速准确地统计沥青路面病害，为路面养护提供数据支持。>为了解决上述技术问题，本专利技术通过以下技术方案予以实现：一种基于多分支并行卷积神经网络的沥青路面病害检测方法，包括：采集路面图像，建立路面图像数据集；根据路面图像数据集制作路面图像数据集的三种图像标签；根据路面图像数据集和路面图像数据集的三种图像标签建立多分支并行卷积神经网络的训练集；根据多分支并行卷积神经网络的训练集建立多分支并行卷积神经网络训练多分支并行卷积神经网络对多分支并行卷积神经网络中各个结构层的权值和偏值进行调整；根据训练完成的多分支并行卷积神经网络得到沥青路面病害检测结果。进一步地，记所述路面图像数据集为N是路面图像数量，N>2000；xi是路面图像数据集X中第i张图像；图像xi包含了ni个路面病害区域，每个路面病害类型属于病害类型集ωl是第l种路面病害，l＝1,…,M；M是病害类型总数。进一步地，记所述路面图像数据集的三种图像标签为第一种标签、第二种标签和第三种标签；第一种标签用于描述图像xi中病害位置的边界框标签第j个路面病害区域用边界框包围，j＝1,…,ni；和分别为边界框的长和宽，单位是像素点；为边界框中心点在图像xi中的坐标位置；第二种标签是用于描述图像xi中病害边界框所包围病害类型的标签是图像xi中第j个边界框所包围区域的病害类型，第三种标签是用于描述图像xi中病害边界框所包围区域内所有像素点类别的签标是图像xi中第j个边界框所包围区域内所有像素点的类别标签集合；表示图像xi中第j个边界框所包围区域内像素点个数，si,j,k∈Ω'表示图像xi中第j个边界框所包围区域内第k个像素点的类别标签；是像素点类别集；ωl'为表示像素点属于第l’种路面病害区域内的像素点，l'＝1,…,M；ωl'和ωl∈Ω的病害类型逐一对应；ωM+1∈Ω'表示像素点是沥青路面背景像素点；记所述多分支并行卷积神经网络的训练集为di＝(xi,Bi,Ci,Si)。进一步地，所述多分支并行卷积神经网络包括一个特征提取器一个感兴趣区域提取器一个回归器一个分类器和一个解码器所述多分支并行卷积神经网络的输入xi首先输入特征提取器之后特征提取器的输出结果输入感兴趣区域提取器感兴趣区域提取器的输出结果同时输入回归器分类器和解码器进行并行计算；分类器回归器和解码器输出结果即为所述多分支并行卷积神经网络关于图像xi的预测结果；因此，多分支并行卷积神经网络用于建立路面图像数据集X中图像xi和其对应的三种标签集Bi、Ci和Si之间的映射关系，即5.根据权利要求4所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，特征提取器的输入是路面图像数据集的第i张图像xi；特征提取器的输出结果是xi的特征图fi；特征提取器的输入和输出之间包括若干个卷积层和池化层；卷积层和池化层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；因此，特征提取器可描述为xi和fi的映射关系进一步地，感兴趣区域提取器的输入是xi的特征图fi，感兴趣区域提取器的输出结果是特征图fi的ni个子区域集合ni是图像xi包含的路面病害区域的个数；感兴趣区域提取器的输入和输出之间包括若干个全连接层；全连接层的个数和每个全连接层的神经元数量依据检测需求决定；因此，感兴趣区域提取器的可描述为特征图fi和ni个特征图子区域集合的映射关系进一步地，回归器的输入是特征图子区域集合回归器的输出结果是多分支并行卷积神经网络预测的xi中ni个路面病害区域的位置回归器的输入和输出之间包括若干个卷积层、池化层、全连接层和回归层；卷积层、池化层和全连接层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；每个全连接层的神经元数量依据检测需求决定；回归层数量为1。进一步地，分类器的输入是特征图子区域集合分类器的输出结果是多分支并行卷积神经网络预测的病害边界框所包围的路面病害的类型概率分布分类器的输入和输出之间包括若干个卷积层、池化层、全连接层和softmax层；卷积层、池化层和全连接层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；每个全连接层的神经元数量依据检测需求决定；softmax层数量为1。进一步地，解码器的输入是特征图子区域集合解码器的输出结果是多分支并行卷积神经网络预测的xi中ni个路面病害区域边界框的像素级图像分割结果解码器的输入和输出之间包括若干个反卷积层和1个softmax层；反卷积层数量及每个反卷积层的卷积核的个数依据检测需求决定。进一步地，采用梯度下降法训练多分支并行卷积神经网络对多分支并行卷积神经网络中各个结构层的权值和偏值进行调整，具体包括如下步骤：随机赋予多分支并行卷积神经网络中各个部分的各个结构层的权值和偏值；随机选取多分支并行卷积神经网络的训练集D中的一个样本di＝(xi,Bi,Ci,Si)；将di中的图像xi的输入多分支并行卷积神经网络获得多分支并行卷积神经网络关于图像xi的映射结果计算映射结果和样本di标签(Bi,Ci,Si)之间的偏差具体计算公式如下：依据步骤计算得到的偏差使用链导法则计算回归器分类器和解码器中各个结构层权重和偏值的梯度；再依据梯度，调整各个结构层权重和偏值；依据步骤计算得到的偏差使用链导法则分别计算回归器分类器和解码器对特征图子区域集合的偏本文档来自技高网...

【技术保护点】
1.一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，包括：/n采集路面图像，建立路面图像数据集；/n根据路面图像数据集制作路面图像数据集的三种图像标签；/n根据路面图像数据集和路面图像数据集的三种图像标签建立多分支并行卷积神经网络的训练集；/n根据多分支并行卷积神经网络的训练集建立多分支并行卷积神经网络

【技术特征摘要】
1.一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，包括：
采集路面图像，建立路面图像数据集；
根据路面图像数据集制作路面图像数据集的三种图像标签；
根据路面图像数据集和路面图像数据集的三种图像标签建立多分支并行卷积神经网络的训练集；
根据多分支并行卷积神经网络的训练集建立多分支并行卷积神经网络
训练多分支并行卷积神经网络对多分支并行卷积神经网络中各个结构层的权值和偏值进行调整；
根据训练完成的多分支并行卷积神经网络得到沥青路面病害检测结果。


2.根据权利要求1所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，记所述路面图像数据集为N是路面图像数量，N>2000；xi是路面图像数据集X中第i张图像；图像xi包含了ni个路面病害区域，每个路面病害类型属于病害类型集ωl是第l种路面病害，l＝1,…,M；M是病害类型总数。


3.根据权利要求2所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，记所述路面图像数据集的三种图像标签为第一种标签、第二种标签和第三种标签；
第一种标签用于描述图像xi中病害位置的边界框标签第j个路面病害区域用边界框包围，j＝1,…,ni；和分别为边界框的长和宽，单位是像素点；为边界框中心点在图像xi中的坐标位置；
第二种标签是用于描述图像xi中病害边界框所包围病害类型的标签是图像xi中第j个边界框所包围区域的病害类型，
第三种标签是用于描述图像xi中病害边界框所包围区域内所有像素点类别的签标是图像xi中第j个边界框所包围区域内所有像素点的类别标签集合；表示图像xi中第j个边界框所包围区域内像素点个数，si,j,k∈Ω'表示图像xi中第j个边界框所包围区域内第k个像素点的类别标签；是像素点类别集；ωl'为表示像素点属于第l’种路面病害区域内的像素点，l'＝1,…,M；ωl'和ωl∈Ω的病害类型逐一对应；ωM+1∈Ω'表示像素点是沥青路面背景像素点；
记所述多分支并行卷积神经网络的训练集为di＝(xi,Bi,Ci,Si)。


4.根据权利要求3所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，所述多分支并行卷积神经网络包括一个特征提取器一个感兴趣区域提取器一个回归器一个分类器和一个解码器ε；所述多分支并行卷积神经网络的输入xi首先输入特征提取器之后特征提取器的输出结果输入感兴趣区域提取器感兴趣区域提取器的输出结果同时输入回归器分类器和解码器ε进行并行计算；分类器回归器和解码器ε输出结果即为所述多分支并行卷积神经网络关于图像xi的预测结果；因此，多分支并行卷积神经网络用于建立路面图像数据集X中图像xi和其对应的三种标签集Bi、Ci和Si之间的映射关系，即


5.根据权利要求4所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，特征提取器的输入是路面图像数据集的第i张图像xi；特征提取器的输出结果是xi的特征图fi；特征提取器的输入和输出之间包括若干个卷积层和池化层；卷积层和池化层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；因此，特征提取器可描述为xi和fi的映射关系


6.根据权利要求5所述的一种基于多分支并行卷积...

【专利技术属性】
技术研发人员：李娟，童峥，袁东东，陈忠杰，张钊，高杰，
申请(专利权)人：甘肃智通科技工程检测咨询有限公司，华东交通大学，
类型：发明
国别省市：甘肃;62