一种地铁隧道表面病害图像顶层语义特征增强方法技术

本发明专利技术公开了一种地铁隧道表面病害图像顶层语义特征增强方法。该方法包括：构建金字塔结构模型，以提取图像的多层原始特征图；对于该金字塔结构模型提取到的原顶层特征图，利用通道自注意力机制增强顶层语义特征并利用样本标记真值图增强顶层语义特征，获得语义特征增强的顶层特征图；用所述语义特征增强的顶层特征图替换原顶层特征图，并进行自顶向下的层间特征融合，进而将经过层间特征融合的特征作为深度学习网络输出的预测目标特征图进行训练，获得隧道表面病害深度学习检测与识别模型。本发明专利技术能够减小在金字塔特征融合中渗漏水整体区域特征信息的丢失，提升病害识别准确性。

【技术实现步骤摘要】
一种地铁隧道表面病害图像顶层语义特征增强方法
本专利技术涉及图像检测和识别
，更具体地，涉及一种地铁隧道表面病害图像顶层语义特征增强方法。
技术介绍
地铁隧道表面渗漏水、裂缝等病害的检测与识别是既有地铁隧道巡检中的重要内容。由于人工检查存在主观性强、效率低等缺点，近年来基于机器视觉的隧道表面病害检测与识别成为行业发展的新趋势，主要包括传统图像处理方法与深度学习方法。传统图像处理方法包括阈值分割、边缘检测、形态学分析等，虽然算法计算复杂度低、算法硬件计算需求也不高，但是难以克服地铁隧道表面病害对比度低、光照不均、背景噪声污染严重等干扰。与传统图像处理方法相比，深度学习方法利用多层神经网络从海量图像数据信息中挖掘图像多层特征并将其不断汇集到网络模型中，再通过训练特定的网络模型，完成对输入图像数据的分类、定位、分割等任务。由于深度学习方法表现出优良的泛化能力和鲁棒性，近几年被广泛应用于隧道衬砌表面病害图像检测与识别领域。例如，专利申请CN201910348834.4公开了一种基于深度学习的地铁盾构隧道病害检测方法，通过对采集到的盾构隧道图像利用CrackNet深度学习模型进行病害检测，在一定程度上解决了环境因素对损伤识别的干扰问题。专利申请201810843204.X公开了一种隧道结构表观病害检测装置及方法，通过所研制检测装置对地铁隧道表面进行拍摄，并对拍摄图像利用基于区域建议候选框的全卷积神经网络(R-FCN)完成病害的检测与识别。尽管上述方法借助深度学习网络强大的特征提取与模式分类能力，取得了比传统图像处理方法更准确的实验效果，但将其应用于实际地铁隧道表面病害巡检，仍存在以下问题：1)诸如渗漏水等块状病害，由于其边界存在明显的渗流变化规律，导致该类病害的边界不明显，进而导致在病害检测时易出现边界丢失问题，降低了病害检测精度；2)随着深度学习网络层数不断增加，顶层特征图中包含的语义特征信息不断丰富。然而为了实现自顶向下的层间特征交叉融合，需对顶层特征图的特征通道数进行降维，而由于顶层特征图包含最丰富的语义信息且具有最多的通道数，其会在通道降维时丢失大量有利于病害检测与识别的特征信息，从而严重影响最终的病害检测与识别精度。
技术实现思路
本专利技术的目的是克服上述现有技术的缺陷，提供一种地铁隧道表面病害图像顶层语义特征增强方法。根据本专利技术的第一方面，提供一种地铁隧道表面病害图像顶层语义特征增强方法。该方法包括以下步骤：步骤S1，构建金字塔结构模型，以提取图像的多层原始特征图；步骤S2，对于该金字塔结构模型提取到的原顶层特征图，利用通道自注意力机制增强顶层语义特征并利用样本标记真值图增强顶层语义特征，获得语义特征增强的顶层特征图；步骤S3，用所述语义特征增强的顶层特征图替换原顶层特征图，并进行自顶向下的层间特征融合，进而将经过层间特征融合的特征作为深度学习网络输出的预测目标特征图进行训练，获得隧道表面病害深度学习检测与识别模型。根据本专利技术的第二方面，提供一种地铁隧道表面病害检测方法，该方法包括：采集待检测的地铁隧道表面图像，输入根据本专利技术上述获得的隧道表面病害深度学习检测与识别模型，以识别地铁隧道表面病害。与现有技术相比，本专利技术的优点在于，利用特征通道权重计算模块计算顶层特征图各通道的重要性，使重要的特征通道更易保留，并实现对背景杂波的抑制。进一步地，提出计算样本标记真值图与顶层语义特征图之间的相似距离，由此加强深度学习网络模型对渗漏水区域关键特征通道的权重分配，从而减小在金字塔特征融合中渗漏水整体区域特征信息的丢失。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1是根据本专利技术一个实施例的基于特征金字塔结构的病害特征增强学习框架示意图；图2是根据本专利技术一个实施例的顶层语义特征信息增强学习框图；图3是本专利技术一个实施例的地铁隧道表面病害图像顶层语义特征增强方法的流程图；图4是根据本专利技术一个实施例的特征金字塔网络架构与特征融合增强学习框架图；图5是根据本专利技术一个实施例的残差网络的基本块结构图；图6是根据本专利技术一个实施例的顶层特征图中各通道自注意力计算过程示意图；图7是根据本专利技术一个实施例的样本标记相似权重计算过程示意图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。本专利技术提出一种基于特征金字塔网络的地铁隧道表面病害图像顶层特征信息增强的新技术方案，结合图1所示，该技术方案主要包括以下方面。如图1的左下虚线框部分所示，利用例如深度残差网络ResNet-101中的特征金字塔结构作为基本特征提取框架，提取出4个原始特征层，分别是C2、C3、C4、C5。其中，C5为整个金字塔特征提取网络的顶层特征图，其具有最多的特征通道数目(如2048个通道)。如图1的左上虚线框部分和图2所示，为了减少传统特征金字塔中顶层语义特征图在自顶向下进行层间特征融合中面临的通道语义信息丢失严重问题，本专利技术提出针对特征金字塔中的顶层特征图，综合利用特征通道权重计算模块以及样本标记真值图相似距离计算模块，实现对顶层语义特征信息的增强学习。如图1中右侧虚线框部分所示，利用上述所提出的顶层语义特征增强方法，对顶层特征图进行增强学习并将学习结果代替原顶层特征图，并进行自顶向下的层间特征融合；利用下采样技术，将图像标记真值图尺寸变换到与各个层间特征图相同的尺寸；利用交叉熵函数建立深度学习误差损失函数，并通过计算特征图中像素预测值与图像标记真值图的误差量，再将误差量反向传播更新各层网络中各个模块的网络参数。通过不断迭代学习，最终训练得到隧道表面病害深度学习检测与识别模型，并可应用于新的隧道表面病害图像检测与识别。具体地，参见图3所示，所提供的地铁隧道表面病害图像顶层语义特征增强方法包括以下步骤。步骤S110，利用金字塔结构模型提取图像的多层特征图。如图4的左侧部分所示，在一个实施例中，选用深度残差网络ResNet-101为基本特征提取模块，ResNet-101由两种基本文档来自技高网...

【技术保护点】
1.一种地铁隧道表面病害图像顶层语义特征增强方法，包括以下步骤：/n步骤S1，构建金字塔结构模型，以提取图像的多层原始特征图；/n步骤S2，对于该金字塔结构模型提取到的原顶层特征图，利用通道自注意力机制增强顶层语义特征并利用样本标记真值图增强顶层语义特征，获得语义特征增强的顶层特征图；/n步骤S3，用所述语义特征增强的顶层特征图替换原顶层特征图，并进行自顶向下的层间特征融合，进而将经过层间特征融合的特征作为深度学习网络输出的预测目标特征图进行训练，获得隧道表面病害深度学习检测与识别模型。/n

【技术特征摘要】
1.一种地铁隧道表面病害图像顶层语义特征增强方法，包括以下步骤：
步骤S1，构建金字塔结构模型，以提取图像的多层原始特征图；
步骤S2，对于该金字塔结构模型提取到的原顶层特征图，利用通道自注意力机制增强顶层语义特征并利用样本标记真值图增强顶层语义特征，获得语义特征增强的顶层特征图；
步骤S3，用所述语义特征增强的顶层特征图替换原顶层特征图，并进行自顶向下的层间特征融合，进而将经过层间特征融合的特征作为深度学习网络输出的预测目标特征图进行训练，获得隧道表面病害深度学习检测与识别模型。


2.根据权利要求1所述的方法，其特征在于，步骤S2包括：
对所述原顶层特征图进行池化，并通过全连接操作学习各个通道之间的关系，得到原顶层特征图中每个通道的权重；
计算样本标记真值图信息与原顶层特征图各个通道特征矩阵之间的相似距离，并根据相似距离确定原顶层特征图中所有通道的权重，获得样本标记相似权重；
将得到的特征通道权重矩阵与样本标记相似权重矩阵共同乘以原顶层特征图，生成所述语义特征增强的顶层特征图。


3.根据权利要求2所述的方法，其特征在于，所述原顶层特征图中每个通道的权重表示为：
Fse＝F*W
W＝fc[gp(F)]
其中，F为顶层输入特征，gp(·)为全局池化层，fc(·)为全连接层，W为通道权重。


4.根据权利要求2所述的方法，其特征在于，所述样本标记相似权重表示为：
Lb＝fs[Υ(F,Fb)]
其中，F为顶层输入特征，Fb为降采样后的样本标记真值图，Υ(·,·)为特征图欧式距离计算函数，fs(·)为特征图相似权重系数归一化函数。


5.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：王保宪，杨宇飞，杜彦良，任伟新，徐飞，王俊芳，赵杨平，张颖，
申请(专利权)人：石家庄铁道大学，深圳大学，
类型：发明
国别省市：河北;13