基于半监督深度学习的多类型旧桥裂痕识别方法技术

本发明专利技术公开了一种基于半监督深度学习的多类型旧桥裂痕识别方法，该方法包括：对原始旧桥裂痕区域图像进行自商滤波处理；进行二值化处理、连通域分析筛选，得到裂痕图像；通过计算子区域的LBP特征来获得裂痕图像的全局LBP特征；利用标注孪生网络对图像进行自动标注；利用自动标注过的样本集对裂痕类型识别深度卷积神经网络进行训练，从而识别桥梁裂痕类型。利用本发明专利技术，在旧桥裂痕识别中，提高了裂痕类型识别精度和效率，降低了人工标注工作量。

Multi type old bridge crack recognition method based on semi supervised deep learning

【技术实现步骤摘要】
基于半监督深度学习的多类型旧桥裂痕识别方法
本专利技术涉及深度学习、计算机视觉
，基于半监督深度学习的多类型旧桥裂痕识别方法。
技术介绍
随着我国社会经济和交通运输事业的快速发展，修建于多年前的桥梁，其交通荷载已超过其设计荷载值数倍。桥梁设计之初，由于工艺、材料、施工水平等方面的欠缺，加上年久失修，许多旧桥已经出现了多种桥梁病害。大部分的病害都集中表现在裂痕方面，如挠度加大而出现裂痕、表面破损而出现裂痕、混凝土碳化造成钢筋锈蚀而产生裂痕等。目前对桥梁裂痕的检测还停留在人工判别的基础上。但是桥梁众多，人工判别不但成本高昂，其效率和准确性也难以满足对数量庞大的旧桥设施持续监测的需求。基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在多类型旧桥裂痕自动识别领域有着广泛的应用前景。因此，也曾有国外研究机构提出采用计算机视觉的方法对多类型的旧桥裂痕进行检测。但由于检测处在自然光条件下，外界环境干扰较多，加上其特征选取的不够精准，导致其检测鲁棒性很低，无法满足实际应用的需求。也有研究提出采用深度学习的方式来对旧桥裂痕进行分类。众所周知，深度学习需要大量的正确的样本数据对模型中的参数进行更新，用最优化方法迭代得到最优的参数值。一方面，裂痕种类繁多；另一方面，图像数据众多。这些都需要人工标注，来确定当前图像的真实类别。此种方式成本高昂，效率较低，难以大规模应用。因此，现有桥梁裂痕识别技术存在裂痕类型识别精度低、识别效率低、人工标注工作量大的问题。
技术实现思路
本专利技术提供了一种基于半监督深度学习的多类型旧桥裂痕识别方法，实现了旧桥裂痕识别，提高了裂痕类型识别精度和效率，降低了人工标注工作量。一种基于半监督深度学习的多类型旧桥裂痕识别方法，该方法包括：步骤一，对采集的原始旧桥裂痕区域图像进行自商滤波处理，得到滤波图像；步骤二，采用大津阈值法对滤波图像进行二值化处理，并对二值化结果进行连通域分析筛选，得到裂痕图像；步骤三，将裂痕图像划分为多个子区域，对每个子区域的像素点基于固定尺寸的模板计算二进制LBP值；步骤四，将得到的二进制LBP值进行向右循环移位操作，每完成一次移位操作计算其十进制数值，直到所有移位操作结束，取最小十进制数数值对应的二进制LBP值作为该像素点的LBP值；步骤五，计算每个子区域的LBP直方图，并将子区域的LBP直方图连接起来形成全局LBP特征；步骤六，将已有分类标注信息的原始旧桥裂痕区域图像的全局LBP特征输入标注孪生网络，对样本集进行自动标注；步骤七，将自动标注过的原始旧桥裂痕区域图像样本集作为输入，对裂痕类型识别深度卷积神经网络进行训练，利用训练好的网络对旧桥裂痕区域图像进行推理，从而得到裂痕类别。步骤一包括：对采集的原始旧桥裂痕区域图像进行高斯模糊处理；对原始旧桥裂痕区域图像进行自商滤波：其中，G为原始旧桥裂痕区域图像，I为经过高斯模糊处理的图像，SQI为滤波图像。步骤一中的高斯模糊核尺寸为3*3，高斯半径为1.5。步骤三中模板尺寸为5*5。步骤六包括：将已有分类标注信息的原始旧桥区域图像的全局LBP特征作为输入，根据对比损失函数训练标注孪生网络；根据训练好的标注孪生网络对未分类的样本集图像进行自动标注。步骤七中的裂痕类型识别深度卷积神经网络采用VGG16，包括13个卷积层，5个池化层，3个全连接层，全连接层最后一层包含M个神经元，M为裂痕类型数目。本专利技术的有益效果在于：1、本专利技术采用自商滤波法去除旧桥裂痕图像光照不均匀的情况，能够提高后续裂痕检测的鲁棒性。2、本专利技术采用大津阈值化、连通域分析筛选方法获得裂痕的二值图像，从而去除干扰信息，获取准确的裂痕图像，提高了方法的整体精度。3、本专利技术采用改进的LBP特征，不仅能够准确地表达局部特征，而且具有旋转不变特性，提高了后续自动标注精度，进一步提高了裂痕类型检测精度。4、本专利技术在提取的LBP特征基础上采用标注孪生网络，在根据少量标注样本的基础上，自动生成大量准确样本以供深度学习使用，实现了半监督学习，降低了人工标注的工作量。5、本专利技术在自动标注的样本集的基础上，采用深度卷积神经网络对样本集进行训练，最终实现鲁棒性更强、泛化能力更强、无需调参的计算机视觉分类系统。附图说明图1为本专利技术方法流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种基于半监督深度学习的多类型旧桥裂痕识别方法，流程图如图1所示。下面通过具体实施例来进行说明。实施例一：基于半监督深度学习的多类型旧桥裂痕识别方法，该方法包括：步骤一，对摄像头采集的原始旧桥裂痕区域图像进行自商滤波处理，得到滤波图像。本专利技术基于计算机视觉技术来进行旧桥裂痕识别，需要使用摄像头采集原始旧桥裂痕区域图像。具体地，可人工使用摄像机采集旧桥裂痕区域图像，也可使用无人机航拍方法获取旧桥裂痕区域图像。如此，可以得到原始旧桥裂痕区域图像G(x,y)。为了实现对旧桥裂痕的精准分类，首先需要将裂痕区域从整张图像中截取出来，以达到顾虑干扰信息的效果，提高分类准确性的效果。然而，众所周知，坏境光照是不均匀且多变的，若采用固定阈值分割的方法会得到错误的裂痕区域。因此，本专利技术首先针对图像光照不均匀进行处理，采用自商滤波去除光照不均匀现象。根据成像原理可知：一幅通过物理光学过程产生的图像都可以表示为照射分量与反射分量的乘积：G(x,y)＝I(x,y)×R(x,y)其中，G(x,y)为原始图像，I(x,y)照射分量图像，R(x,y)为反射分量图像，x,y为像素点坐标。从上述公式可以看出，图像的照射分量是反射分量相乘关系，在信号学当中很难分开。物体的反射分量图像由物体的材料、形状、姿态灯因素决定，与光照无关，因此，可采用自商滤波的方式去除光照不均匀现象，具体地采用下述公式：R(x,y)＝G(x,y)/I(x,y)其中，I(x,y)可以采用如下方式得到：首先,采用高斯模糊算法，对图像进行模糊处理。其中高斯半径σ的取值规则是：σ越大意味着图像模糊程度越高。需要说明的是，高斯模糊算法是公知的，在此不再赘述，也不作为专利技术保护内容。本专利技术中σ取1.5，高斯卷积核采用3*3的模板对原图像进行高斯模糊处理即可得到图像I。代入公式，即可得到：至此，可以得到消除光照现象的图像SQI。步骤二，采用大津阈值法对滤波图像进行二值化处理，并对二值化结果进行连通域分析筛选，得到裂痕图像。采用大津阈值法对图像SQI进行二值化，即可得到裂痕的二值图像。采用轮廓查找的方式进一步确定裂痕区域的矩形包围框，并按照包围框对本文档来自技高网...

【技术保护点】
1.一种基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，该方法包括：/n步骤一，对采集的原始旧桥裂痕区域图像进行自商滤波处理，得到滤波图像；/n步骤二，采用大津阈值法对滤波图像进行二值化处理，并对二值化结果进行连通域分析筛选，得到裂痕图像；/n步骤三，将裂痕图像划分为多个子区域，对每个子区域的像素点基于固定尺寸的模板计算二进制LBP值；/n步骤四，将得到的二进制LBP值进行向右循环移位操作，每完成一次移位操作计算其十进制数值，直到所有移位操作结束，取最小十进制数数值对应的二进制LBP值作为该像素点的LBP值；/n步骤五，计算每个子区域的LBP直方图，并将子区域的LBP直方图连接起来形成全局LBP特征；/n步骤六，将已有分类标注信息的原始旧桥裂痕区域图像的全局LBP特征输入标注孪生网络，对样本集进行自动标注；/n步骤七，将自动标注过的原始旧桥裂痕区域图像样本集作为输入，对裂痕类型识别深度卷积神经网络进行训练，利用训练好的网络对旧桥裂痕区域图像进行推理，从而得到裂痕类别。/n

【技术特征摘要】
1.一种基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，该方法包括：
步骤一，对采集的原始旧桥裂痕区域图像进行自商滤波处理，得到滤波图像；
步骤二，采用大津阈值法对滤波图像进行二值化处理，并对二值化结果进行连通域分析筛选，得到裂痕图像；
步骤三，将裂痕图像划分为多个子区域，对每个子区域的像素点基于固定尺寸的模板计算二进制LBP值；
步骤四，将得到的二进制LBP值进行向右循环移位操作，每完成一次移位操作计算其十进制数值，直到所有移位操作结束，取最小十进制数数值对应的二进制LBP值作为该像素点的LBP值；
步骤五，计算每个子区域的LBP直方图，并将子区域的LBP直方图连接起来形成全局LBP特征；
步骤六，将已有分类标注信息的原始旧桥裂痕区域图像的全局LBP特征输入标注孪生网络，对样本集进行自动标注；
步骤七，将自动标注过的原始旧桥裂痕区域图像样本集作为输入，对裂痕类型识别深度卷积神经网络进行训练，利用训练好的网络对旧桥裂痕区域图像进行推理，从而得到裂痕类别。


2.如权利要求1所述的基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，所...

【专利技术属性】
技术研发人员：谢崇洪，廖满平，母富，焦克滨，贺飞，
申请(专利权)人：中建二局基础设施建设投资有限公司，
类型：发明
国别省市：北京;11