一种特征增强和语义分割的桥梁裂缝识别方法技术

本发明专利技术公开了一种特征增强和语义分割的桥梁裂缝识别方法，包括以下步骤：S1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；S2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；S3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；S4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝；本发明专利技术解决了裂缝信息在处理过程中被损失，以及裂缝像素与背景像素的不均衡，造成裂缝特征识别精度不足的问题。题。题。

【技术实现步骤摘要】
一种特征增强和语义分割的桥梁裂缝识别方法


[0001]本专利技术属于图像处理
，具体涉及一种特征增强和语义分割的桥梁裂缝识别方法。

技术介绍

[0002]目前针对桥梁构筑物表观病害检测可大致分为三类：人工检测、激光扫描检测和计算机视觉图像检测。采用人工巡检方式，检测工作费时费力、且检查成本高、数据随机性大、规范程度低、信息孤岛严重、时效性差、安全风险高，不可避免的存在漏检和视觉盲区，更无法形成客观、精准、完整的检测成果，难以对混凝土桥梁构筑物存在的病害隐患做出及时、全面的检测和预警，严重制约了混凝土桥梁工程的运维和管控。采用激光扫描检测方式，检测结果通常不够直观，处理分析三维空间信号时间较长，效率不高，且系统构成较大、部署困难、价格昂贵，导致此类检测方式并未得到较广的应用。从使用的技术通道级可大致将基于计算机视觉的图像处理技术分为三个发展阶段：基于传统图像处理技术的检测方法、基于传统机器学习的检测方法和基于深度学习的检测方法。前两种方法在实际应用过程中弊端逐渐显现：（1）在复杂多变的场景中，传统图像处理技术极易受到污渍、光照、水流等噪声干扰，鲁棒性和泛化能力较差，仅适用于简单的场景任务；（2）传统机器学习仍旧涉及手工特征的提取、阈值的设定等繁琐的过程，人为主观性问题成为影响处理效果的重要因素之一。由于深度学习可自动训练、迭代、优化的特点，其检测精度、鲁棒性和泛化能力较之前的方法都有较大提升，在后续发展过程中，基于深度学习的检测方法逐渐成为桥梁构筑物表观病害检测的主流方式。然而，由于裂缝图像的特殊性，在使用深度学习的相关方法对裂缝图像进行处理时，极易造成裂缝信息在处理过程中被损失，同时裂缝像素与背景像素的不均衡问题也导致了裂缝特征识别精度不足。

技术实现思路

[0003]针对现有技术中的上述不足，本专利技术提供的一种特征增强和语义分割的桥梁裂缝识别方法解决了以下技术问题：1、裂缝信息在处理过程中被损失；2、裂缝像素与背景像素的不均衡，造成裂缝特征识别精度不足。
[0004]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种特征增强和语义分割的桥梁裂缝识别方法，包括以下步骤：S1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；S2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；S3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；S4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝。
[0005]进一步地，所述步骤S2中特征提取模型包括：第1稠密卷积块至第50稠密卷积块，
共50个稠密卷积块；第1跨步卷积至第16跨步卷积，共16个跨步卷积；第1反卷积至第13反卷积，共13个反卷积。
[0006]进一步地，所述特征提取模型包括5个阶段：第0阶段输入1种分辨率特征，输出1种分辨率特征；第1阶段输入第0阶段输出的1种分辨率特征，输出2种分辨率特征；第2阶段输入第1阶段输出的2种分辨率特征，输出3种分辨率特征；第3阶段输入第2阶段输出的3种分辨率特征，输出4种分辨率特征；第4阶段将第3阶段输出的4种分辨率特征进行融合；所述稠密卷积块用于对相同分辨率特征进行抽象特征提取；所述跨步卷积用于从高分辨率特征获取低分辨率的高维抽象特征；所述反卷积用于将低分辨率特征与高分辨率特征相加。
[0007]进一步地，所述特征提取模型和裂缝特征增强模型训练时，损失函数为：其中，为损失函数，损失函数包括：第一种方式计算的误差结果和第二种方式计算的误差结果，为第一种方式计算的误差结果，为第二种方式计算的误差结果；第一种方式函数具体计算过程如下：若，则计算误差序列中所有满足该条件的误差值的平均值作为误差结果；若，则计算误差序列前个值的平均值作为误差结果；其中，逐像素计算预测概率与标签的误差值，并降序排列，得到误差序列，为真实概率，为预测概率，为需要优化的误差值数量，为概率阈值；为概率阈值；其中，为单次参与训练的数据中裂缝像素与总像素的比值，为单次参与训练的数据中裂缝像素，为单次参与训练的总像素，为训练过程中单次参与训练的数据量，为训练过程中单次的分割类别数，为训练过程中单次参与训练的数据量的图像分辨率。
[0008]上述进一步地方案的技术效果为：在每次训练时统计单次参与训练的数据中裂缝像素与总像素的比值，并根据比值设定需要优化误差值数量，提升裂缝像素部分产生的损失值在整体损失值中的比重，减小裂缝像素与背景像素不均衡的影响。同时，将
预测结果与标签（标签即真实概率）的交并比纳入损失函数，提升模型定位裂缝的准确率。
[0009]进一步地，所述步骤S2中特征提取模型的输出为：其中，为特征提取模型中第阶段输出的第种分辨率特征，，为输入特征提取模型中第阶段的第种分辨率特征，为特征提取模型中第阶段从第种分辨率特征到第种分辨率特征的映射函数。
[0010]进一步地，所述映射函数的表达式为：其中，为使用步长为2的3
×
3卷积将第种分辨率特征下采样至第种分辨率特征大小，为使用步长为1的3
×
3卷积对第种分辨率特征进行特征提取但不改变分辨率大小，为使用反卷积将第种分辨率特征上采样至第种分辨率特征大小。
[0011]进一步地，所述步骤S3包括以下分步骤：S31、根据分割类别，将高维抽象语义特征分割成两个粗分割特征，其中，粗分割特征对应裂缝像素类别，粗分割特征对应背景像素类别；S32、将两个粗分割特征与高维抽象语义特征进行聚合，得到目标类别的区域；S33、计算高维抽象语义特征与每一类目标的区域关系，得到目标类别的上下文；S34、将目标类别的上下文与高维抽象语义特征进行级联融合，得到增强特征。
[0012]进一步地，所述步骤S32中目标类别的区域表达式为：其中，为第类目标的区域，为第类粗分割特征位置处的像素属于第类粗分割特征的概率，等于1时，对应裂缝像素类，等于2时，对应背景像素类，为高维抽象语义特征位置处的像素，为高维抽象语义特征中像素的数量。
[0013]进一步地，所述步骤S33中目标类别的上下文表达式为：
其中，为高维抽象语义特征位置处的目标类别的上下文，为高维抽象语义特征位置处的像素与第类目标的区域的关系权重，为使用步长为1的1
×
1卷积对特征进行通道整合，等于1时，对应裂缝像素类，等于2时，对应背景像素类，为高维抽象语义特征位置处的像素，为第类目标的区域。
[0014]进一步地，所述步骤S34中增强特征的表达式为：其中，为高维抽象语义特征位置处级联融合处理后的增强特征，为使用步长为1的1
×
1卷积对特征进行通道整合，为高维抽象语义特征位置处的像素，为高维抽象语义特征位置处的目标类别的上下文。
[0015]上述进一步地方案的技术效果为：根据粗分割结果对提取到的高维抽象特征进行基于类别的区域聚集，提升高维特征中属于相同类别的特征间的相关性，以此达到增强特征的目的，提升分割性能。
[0016]本专利技术的有益效果为：1、本专利技术使用标准卷积、跨步卷积和反卷积运算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征增强和语义分割的桥梁裂缝识别方法，其特征在于，包括以下步骤：S1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；S2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；S3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；S4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝。2.根据权利要求1所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述步骤S2中特征提取模型包括：第1稠密卷积块（1_1）至第50稠密卷积块（1_50），共50个稠密卷积块；第1跨步卷积（2_1）至第16跨步卷积（2_16），共16个跨步卷积；第1反卷积（3_1）至第13反卷积（3_13），共13个反卷积。3.根据权利要求2所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述特征提取模型包括5个阶段：第0阶段输入1种分辨率特征，输出1种分辨率特征；第1阶段输入第0阶段输出的1种分辨率特征，输出2种分辨率特征；第2阶段输入第1阶段输出的2种分辨率特征，输出3种分辨率特征；第3阶段输入第2阶段输出的3种分辨率特征，输出4种分辨率特征；第4阶段将第3阶段输出的4种分辨率特征进行融合；所述稠密卷积块用于对相同分辨率特征进行抽象特征提取；所述跨步卷积用于从高分辨率特征获取低分辨率的高维抽象特征；所述反卷积用于将低分辨率特征与高分辨率特征相加。4.根据权利要求1所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述特征提取模型和裂缝特征增强模型训练时，损失函数为：其中，为损失函数，损失函数包括：第一种方式计算的误差结果和第二种方式计算的误差结果，为第一种方式计算的误差结果，为第二种方式计算的误差结果；第一种方式函数具体计算过程如下：若，则计算误差序列中所有满足条件的误差值的平均值作为误差结果；若，则计算误差序列前个值的平均值作为误差结果；其中，逐像素计算预测概率与标签的误差值，并降序排列，得到误差序列，为真实概率，为预测概率，为需要优化的误差值数量，为概率阈值；
其中，为单次参与训练的数据中裂缝像素与总像素的比值，为单次参与训练的数据中裂缝像素，为单次参与训练的总像素，为训练过程中单次参与训练的数据量，为训练过程中单次的分割类别数，为训练过程中单次参与训练的数据量的图像分辨率。5.根据权利要求3所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述步骤S2中特征提取模型的输出...

【专利技术属性】
技术研发人员：陈波，张华，霍建文，陈春梅，王贵锦，李林静，税宇航，王承银，张雨楠，王琰铮，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：