一种基于卷积神经网络的图像识别方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于卷积神经网络的桥梁混凝土道路图像裂缝识别方法、装置及系统，通过在VGG

【技术实现步骤摘要】
一种基于卷积神经网络的图像识别方法、装置及系统


[0001]本申请涉及计算机视觉、图像处理分析等
，特别涉及一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法、装置及系统。

技术介绍

[0002]随着交通运输业的发展，与运输相关的桥梁、公路数量大幅度上升，这催生了大量的桥梁、公路养护需求。桥梁，作为当今社会交通枢纽的重要组成部分，是人们便捷出行和物流派送服务必不可少的交通基础设施，但在长期使用中，桥梁的混凝土结构难免受到各种损伤，受限于桥梁向下型的受力结构，桥梁病害绝大多数首先表现为桥梁表面以及背面的裂缝或者蜂窝麻面。因此，定期检查桥梁表面以背面的裂缝生长状况是桥梁道路维护必不可少的首要工作。实际检测中，由于裂缝分布和产生具有随机性，往往存在许多细小裂缝容易被车辙、水渍等噪声干扰，造成漏检误检，产生极大的安全隐患。为了防止这类状况的发生，对细小裂缝的研究变得十分重要。
[0003]传统的裂缝检测主要包括桥梁表面和背面的裂缝检测，表面裂缝可通过检测人员对表面进行人工目测来实现桥梁病害的监测；桥梁背面则需要通过桥检车将检测人员送至桥梁底部，检测人员再通过目视定位裂缝存在的大致区域，然后利用专业的裂缝检测工具(如裂缝宽度检测仪、裂缝测深仪等)来获取裂缝的定量数据。随着桥梁数量的不断增加，依赖于人工检测的方式不仅耗费大量的时间成本和人力成本，而且检测人员需要仔细甄别许多过细的裂缝导致检测效率较低，检测的效果严重依赖于工作人员的工作状态和专业素养。
[0004]采用传统机器视觉算法对桥梁裂缝进行识别，其对图像的画质要求较高，且往往只能提取裂缝的某一类特征，如纹理、梯度等，算法泛化能力不强；采用无监督神经网络模型方法，根据不同的附加条件可实现网络对裂缝像素的分类，但该方法对图像质量要求较高，且由于其附加条件的限制，易受到颜色、纹理、位置接近的噪声影响，对裂缝识别的准确率较低；有监督方法中，神经网络模型需逐层提取图像不同尺度特征，较浅的网络对图像特征提取不够全面，不能完整分割图像中的裂缝，且易将颜色、纹理、位置相近的干扰噪声也分割为裂缝，较深的网络提取图像特征的同时也带来了网络不易收敛和计算量倍增的问题，导致网络模型分割裂缝耗时长、效率低。

技术实现思路

[0005]本申请的目的是提供一种基于卷积神经网络的图像识别方法、装置及系统。
[0006]为了实现上述目的，本申请提供如下技术方案：
[0007]一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，包括以下步骤：
[0008]步骤S100、采用VGG
‑
16模型搭建级联的全卷积神经网络；
[0009]步骤S200、在模型输入端增加梯度层，将梯度层和原始图像组合的四通道矩阵作为新的输入端；
[0010]步骤S300、在最后三个编码器模块的最后一个卷积层的输出端加入自我注意力机制模块，为网络模型引入注意力机制；
[0011]步骤S400、在每个处理模块和自我注意力机制模块的输出端放置反卷积层模块，并通过卷积层分割最终图像；
[0012]步骤S500、采用标定数据集对所述全卷积神经网络模型进行训练，其中，所述标定数据集为标定好混凝土裂缝特征的特征图集合；
[0013]对步骤S600、待检测的桥梁道路图像逐帧处理，将处理后的图像输入神经网络模型进行裂缝分割，分割出待检测的桥梁道路图像中的裂缝。
[0014]在步骤S500中，采用标定数据集对所述全卷积神经网络模型进行训练，包括如下步骤：
[0015]1)获得处理模块中最后一个卷积层的输出端经过卷积核输出的Query、Key、Value矩阵；其中，W、H、C、B、Θ、Φ、g分别为输入特征图的宽度、高度、通道数、批数、Query矩阵、Key矩阵和Value矩阵；
[0016]2)对Query矩阵和Key矩阵作点乘运算，得到大小为的相似度权重矩阵；
[0017]3)对相似度权重矩阵进行Softmax运算，实现相似度权重矩阵的归一化；
[0018]4)将归一化的相似度权重矩阵与Value矩阵进行点乘运算，得到大小为的Attention值；经过的卷积核扩展通道数为C后，叠加Attention值到处理模块中最后一个卷积层的输出端矩阵。
[0019]所述全卷积神经网络包括输入模块、编码器模块以及解码器模块。
[0020]所述输入模块由梯度层和输入图像组成；梯度层首先由输入图像的横纵坐标方向采用的Sobel一阶差分算子进行处理，得到横、纵坐标方向的梯度矩阵，再根据每点坐标的横、纵坐标方向的梯度绝对值之和作为梯度幅值，得到梯度层。
[0021]所述编码器模块共有五块，第一块编码器对输入的特征图进行两次卷积操作，输入由标定数据集中的特征图与梯度层组成；第二块编码器由池化层和两层卷积层组成，通过最大池化操作，使得输入的特征图长宽维度都缩小一倍，从而提取更高阶的语义信息，减少计算量；往后三块编码器由池化层和三层卷积层组成。
[0022]所述解码器模块与编码器模块和自我注意力机制模块一一对应，其输入的特征图分别来自上一处理模块的输出；解码器模块对上一处理模块的输出进行转置卷积操作，使得特征图的长宽维度扩大一倍，然后将转置后的特征图与对应自我注意力机制模块的转置输出进行通道叠加，再进行一次卷积操作。
[0023]一种基于卷积神经网络的道路裂缝图像识别装置，包括：
[0024]模型搭建模块，采用基于VGG
‑
16模型搭建级联的全卷积神经网络，所述的全卷积神经网络架构由多个处理模块组成，所述处理模块包括依次级联5个编码器模块和5个解码器模块；
[0025]梯度层和自我注意力机制建立模块，用于在模型输入端增加梯度层，将梯度层和原始图像组合的四通道矩阵作为新的输入端，在每个处理模块的最后一个卷积层的输出端加入自我注意力机制，得到具有自我注意力机制的全卷积神经网络模型；
[0026]神经网络模型训练模块，用于采用标定数据集对所述全卷积神经网络模型进行训练，所述标定数据集为标定好混凝土道路裂缝特征的特征图集合；
[0027]混凝土裂缝检测模块，用于对待检测的道路图像逐帧读取，并输入到混凝土道路裂缝识别模型进行裂缝识别，分割出待检测的图像中的混凝土道路裂缝。
[0028]一种基于卷积神经网络的道路裂缝图像识别系统，所述图像识别系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述权利要求1至6任意一项方法的步骤。
[0029]本专利技术的有益效果为
[0030]本专利技术公开了一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法、装置及系统，通过在VGG
‑
16全卷积神经网络模型的基础上引入梯度层和自我注意力机制模块，从而使模型在采用标定数据集进行训练收敛时起到一定的加速作用，并使得模型在保证轻量化的同时，能提高网络模型对输入特征图的全局信息学习能力，提高其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：包括以下步骤：步骤S100、采用VGG
‑
16模型搭建级联的全卷积神经网络；步骤S200、在模型输入端增加梯度层，将梯度层和原始图像组合的四通道矩阵作为新的输入端；步骤S300、在最后三个编码器模块的最后一个卷积层的输出端加入自我注意力机制模块，为网络模型引入注意力机制；步骤S400、在每个处理模块和自我注意力机制模块的输出端放置反卷积层模块，并通过卷积层分割最终图像；步骤S500、采用标定数据集对所述全卷积神经网络模型进行训练，其中，所述标定数据集为标定好混凝土裂缝特征的特征图集合；对步骤S600、待检测的桥梁道路图像逐帧处理，将处理后的图像输入神经网络模型进行裂缝分割，分割出待检测的桥梁道路图像中的裂缝。2.根据权利要求1所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：在步骤S500中，采用标定数据集对所述全卷积神经网络模型进行训练，包括如下步骤：1)获得处理模块中最后一个卷积层的输出端经过卷积核输出的Query、Key、Value矩阵；其中，W、H、C、B、Θ、Φ、g分别为输入特征图的宽度、高度、通道数、批数、Query矩阵、Key矩阵和Value矩阵；2)对Query矩阵和Key矩阵作点乘运算，得到大小为的相似度权重矩阵；3)对相似度权重矩阵进行Softmax运算，实现相似度权重矩阵的归一化；4)将归一化的相似度权重矩阵与Value矩阵进行点乘运算，得到大小为的Attention值；经过的卷积核扩展通道数为C后，叠加Attention值到处理模块中最后一个卷积层的输出端矩阵。3.根据权利要求1所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：所述全卷积神经网络包括输入模块、编码器模块以及解码器模块。4.根据权利要求1所述的一种基于卷积神经网络的桥梁混凝土道路裂缝图像识别方法，其特征在于：所述输入模块由梯度层和输入图像组成；梯度层首先由输入图像的横纵坐标方向采用的Sobel一阶差分算子进行处理，得到横、纵坐标方向的梯度矩阵，再...

【专利技术属性】
技术研发人员：谢仁平，陈浩瀚，陶铭，丁凯，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：