一种基于Faster-rIR7-EC的混凝土裂缝快速识别方法技术

本发明专利技术提供一种基于Faster

【技术实现步骤摘要】
一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法


[0001]本专利技术涉及混凝土视觉损伤识别
，具体涉及一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法。

技术介绍

[0002]混凝土作为最常用的建筑材料被广泛应用于房屋、桥梁等基础设施建设，然而在基础设施运营期间会产生裂缝，影响其安全性，为了避免裂缝扩展带来的结构坍塌风险，混凝土裂缝损伤检测是十分必要的。
[0003]随着无人机技术和无线传输技术的发展，使大体积混凝土的海量数据高效获取成为了可能，为发展智能识别提供了基础。与传统的结构损伤检测方法相比，采用机器视觉技术的裂缝检测避免了人工检测耗时费力而无法频繁检测，具有主观性的问题。但是通用网络为了满足各领域的识别需求，往往具有庞大的体量。在深度学习网络进行混凝土裂缝识别时，裂缝类型仅十余种，通用网络体量大、训练时间长，硬件需求高。有必要发展轻量化网络，搭建收敛速度快，识别mAP(平均精度)高的混凝土裂缝专用深度学习目标识别算法。

技术实现思路

[0004]为解决上述问题，本专利技术提供一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法。
[0005]为实现上述目的，本专利技术提供了如下的技术方案。
[0006]一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法，包括以下步骤：
[0007]搭建Faster
‑
rIR7
‑
EC网络模型；所述Faster
‑
rIR7
‑
EC网络模型包括依次连接的IR7
‑
EC特征提取层、区域生成网络RPN、ROI Head和后处理层；
[0008]其中，所述IR7
‑
EC特征提取层包括依次连接的卷积层、7个Inverted Residual
‑
ECA结构、CBAM注意力机制；所述Inverted Residual
‑
ECA结构为倒残差结构与ECA注意力机制相连接构成；所述ROI Head包括ROI pooling、全连接层和postprocess detections；
[0009]采集待识别的裂缝图像，通过IR7
‑
EC特征提取层，对裂缝图像在通道和空间层面进行特征提取，获得蕴含裂缝信息的特征提取图；
[0010]将特征提取图输入区域生成网络RPN中，在特征提取图上生成候选框，并确定候选框内包含的裂缝和背景；将RPN生成的候选框投影到IR7
‑
EC输出的特征图上获得相应的特征矩阵；
[0011]将每个特征矩阵通过ROI Head，输出混凝土裂缝在特征图中的位置和类型；
[0012]通过后处理层将混凝土裂缝在特征图中的位置和类型投影回实际裂缝图像，获得实际混凝土裂缝位置和类型。
[0013]优选地，还包括：对所述Faster
‑
rIR7
‑
EC网络模型进行训练，包括以下步骤：
[0014]采集裂缝图像，建立裂缝类型识别图像数据集，其中，裂缝图像数据集包括裂缝识别图像训练集和验证集；
[0015]对裂缝图像数据集进行归一化处理：遍历所有裂缝图像，找到高度与宽度最大的图像，以最大宽高为模板，其他所有图像左上角与模板对齐，右侧与下侧大小不足的位置补0直至与模板等大，使得输入图像分辨率统一与模板一致；
[0016]将归一化处理后的图像数据集输入到Faster
‑
rIR7
‑
EC网络模型中获得识别结果；
[0017]将识别结果与训练集的真实结果对比，将损失带入优化函数，更新网络参数，直到网络拟合；其中，损失包括RPN损失和ROI Head损失。
[0018]优选地，所述IR7
‑
EC特征提取层的搭建，具体包括以下步骤：
[0019]建立依次连接的10层网络框架；
[0020]第1层包括卷积核3
×
3大小的卷积层、Batch normalization归一化层和Hardswish激活函数，步长2，输入通道3，输出通道数16；
[0021]第2层到第8层为Inverted Residual
‑
ECA结构，包括三部分：
[0022]第一部分包括卷积核1
×
1大小的卷积层、Batch normalization归一化层和ReLU6激活函数，第二部分包括卷积核3
×
3大小的卷积层、Batch normalization归一化层和ReLU6激活函数，第三部分为ECA注意力机制，结构包括平均池化层、卷积核1
×
1大小卷积层和Sigmoid函数，第四部分结构包括卷积核1
×
1大小的卷积层、Batch normalization归一化层和线性激活函数；
[0023]第9层包括卷积核3
×
3大小的卷积层、Batch normalization归一化层和Hardswish激活函数，步长1，输入通道96，输出通道数96；
[0024]第10层为CBAM注意力机制，包括两部分：
[0025]第一部分为通道注意力机制，包括平均池化层、最大池化层、全连接层1、ReLU6激活函数、全连接层2和Sigmoid函数，第二部分为空间注意力机制，包括平均池化层、最大池化层、卷积核7
×
7大小的卷积层和Sigmoid函数。
[0026]优选地，所述IR7
‑
EC特征提取层的特征提取过程，包括以下步骤：
[0027]对归一化处理后的图像样本数据输入第1层，先后通过卷积层、Batch normalization归一化层和Hardswish激活函数，对图像样本数据进行初步提取特征、数据归一化和非线性变换；
[0028]将通过第1层初步提取的特征输入到第2层到第8层，依次通过7个Inverted Residual
‑
ECA结构，输入数据通过Inverted Residual
‑
ECA结构中第一部分处理后使得输入数据通道维数扩增，将通道维数扩增后的数据输入第二部分用于深层特征提取，将深层特征提取后的数据输入第三部分，通过ECA注意力机制对网络通道加权突出对网络准确率提升较高的部分通道，得到增强的混凝土裂缝特征提取图，将增强的混凝土裂缝特征提取图输入第四部分用于降低数据通道维数，按照相似的操作依次将数据通过所有Inverted Residual
‑
ECA结构；
[0029]将通过第2层到第8层后所得到的数据输入第9层进行特征提取；
[0030]将通过第9层特征提取后的数据输入第1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法，其特征在于，包括以下步骤：搭建Faster
‑
rIR7
‑
EC网络模型；所述Faster
‑
rIR7
‑
EC网络模型包括依次连接的IR7
‑
EC特征提取层、区域生成网络RPN、ROI Head和后处理层；其中，所述IR7
‑
EC特征提取层包括依次连接的卷积层、7个Inverted Residual
‑
ECA结构、CBAM注意力机制；所述Inverted Residual
‑
ECA结构为倒残差结构与ECA注意力机制相连接构成；所述ROI Head包括ROI pooling、全连接层和postprocess detections；采集待识别的裂缝图像，通过IR7
‑
EC特征提取层，对裂缝图像在通道和空间层面进行特征提取，获得蕴含裂缝信息的特征提取图；将特征提取图输入区域生成网络RPN中，在特征提取图上生成候选框，并确定候选框内包含的裂缝和背景；将RPN生成的候选框投影到IR7
‑
EC输出的特征图上获得相应的特征矩阵；将每个特征矩阵通过ROI Head，输出混凝土裂缝在特征图中的位置和类型；通过后处理层将混凝土裂缝在特征图中的位置和类型投影回实际裂缝图像，获得实际混凝土裂缝位置和类型。2.根据权利要求1所述的一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法，其特征在于，还包括：对所述Faster
‑
rIR7
‑
EC网络模型进行训练，包括以下步骤：采集裂缝图像，建立裂缝类型识别图像数据集，其中，裂缝图像数据集包括裂缝识别图像训练集和验证集；对裂缝图像数据集进行归一化处理：遍历所有裂缝图像，找到高度与宽度最大的图像，以最大宽高为模板，其他所有图像左上角与模板对齐，右侧与下侧大小不足的位置补0直至与模板等大，使得输入图像分辨率统一与模板一致；将归一化处理后的图像数据集输入到Faster
‑
rIR7
‑
EC网络模型中获得识别结果；将识别结果与训练集的真实结果对比，将损失带入优化函数，更新网络参数，直到网络拟合；其中，损失包括RPN损失和ROI Head损失。3.根据权利要求1所述的一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法，其特征在于，所述IR7
‑
EC特征提取层的搭建，具体包括以下步骤：建立依次连接的10层网络框架；第1层包括卷积核3
×
3大小的卷积层、Batch normalization归一化层和Hardswish激活函数，步长2，输入通道3，输出通道数16；第2层到第8层为Inverted Residual
‑
ECA结构，包括三部分：第一部分包括卷积核1
×
1大小的卷积层、Batch normalization归一化层和ReLU6激活函数，第二部分包括卷积核3
×
3大小的卷积层、Batch normalization归一化层和ReLU6激活函数，第三部分为ECA注意力机制，结构包括平均池化层、卷积核1
×
1大小卷积层和Sigmoid函数，第四部分结构包括卷积核1
×
1大小的卷积层、Batch normalization归一化层和线性激活函数；第9层包括卷积核3
×
3大小的卷积层、Batch normalization归一化层和Hardswish激活函数，步长1，输入通道96，输出通道数96；第10层为CBAM注意力机制，包括两部分：第一部分为通道注意力机制，包括平均池化层、最大池化层、全连接层1、ReLU6激活函
数、全连接层2和Sigmoid函数，第二部分为空间注意力机制，包括平均池化层、最大池化层、卷积核7
×
7大小的卷积层和Sigmoid函数。4.根据权利要求3所述的一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法，其特征在于，所述IR7
‑
EC特征提取层的特征提取过程，包括以下步骤：对归一化处理后的图像样本数据输入第1层，先后通过卷积层、Batch normalization归一化层和Hardswish激活函数，对图像样本数据进行初步提取特征、数据归一化和非线性变换；将通过第1层初步提取的特征输入到第2层到第8层，依次通过7个Inverted Residual
‑
ECA结构，输入数据通过Inverted Residual
‑
ECA结构中第一部分处理后使得输入数据通道维数扩增，将通道维数扩增后的数据输入第二部分用于深层特征提取，将深层特征提取后的数据输入第三部分，通过ECA注意力机制对网络通道加权突出对网络准确率提升较高的部分通道，得到增强的混凝土裂缝特征提取图，将增强的混凝土裂缝特征提取图输入第四部分用于降低数据通道维数，按照相似的操作依次将数据通过所有Inverted Residual
‑
ECA结构；将通过第2层到第8层后所得到的数据输入第9层进行特征提取；将通过第9层特征提取后的数据输入第10层CBAM注意力机制，对数据进行通道和空间层面的进行更进一步的特征提取，得到蕴含裂缝信息更多的特征图。5.根据权利要求4所述的一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法，其特征在于，所述Batch normalization归一化层的归一化处理，如下式所示：normalization归一化层的归一化处理，如下式所示：normalization归一化层的归一化处理，如下式所示：normalization归一化层的归一化处理，如下式所示：式中，x
i
为输入Batch normalization的特征图，y
i
为输出Batch normalization后的特征图，m为当前训练批次中输入该层的特征图数量，γ和β为随网络梯度更新而变动的变量；搭建IR7
‑
EC特征提取层时，利用下式对各层中通过ReLU6激活函数的数据进行非线性处理：f(x
i
)＝min(max(x
i
,0),6)式中，x
i
为输入ReLU6激活函数前的特征图，f(x
i
)为输出ReLU6激活函数的特征图；搭建IR7
‑
EC特征提取层时，利用下式各层中通过Hardswish激活函数的数据进行非线性处理：
式中，x为输入Hardswish激活函数前的特征图，f(x)为输出Hardswish激活函数的特征图；搭建IR7
‑
EC特征提取层时，利用下式各层中通过ECA注意力机制的数据进行跨通道交互，得到增强的混凝土裂缝特征提取图：E
s
(F)＝σ(f
k*k
[AvgPool(F)])式中，|t|
odd
表示最近的奇数t；C代表输入ECA注意力机制的数据的通道数量，γ与b为两个超参数；E
s
(F)为ECA注意力机制，σ为sigmoid操作，f
k*k
[
·
]表示进行k*k的卷积操作，F为输入的特征图，AvgPool()为平均池化；搭建IR7
‑
EC特征提取层时，利用下式平均池化和最大池化来聚合特征映射的空间信息，压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图：M
c
(F)＝σ(MLP[AvgPool(F)])+MLP(MaxPool(F)))式中，M
c
表示通道注意力，MLP()由全连接层1+ReLU6激活函数+全连接层2组成，σ为sigmoid操作，F为输入的特征图，AvgPool()为平均池化，MaxPool()为最大池化，M
s
表示空间注意力机制，σ为sigmoid操作；搭建IR7
‑
EC特征提取层时，利用下式采用平均池化和最大池化方法在空间注意力模块对输如特征图进行压缩处理，得到蕴含裂缝信息更多的特征提取图：M
s
(F)＝σ(f
7*7
[AvgPool(F),MaxPool(F)])式中，M
s
表示空间注意力机制，σ为sigmoid操作，f
7*7
[
·
]表示进行7*7的卷积操作，F为输入的特征图，AvgPool()为平均池化，MaxPool()为最大池化。6.根据权利要求1所述的一种基于Faster
‑
rIR7
‑
EC的混凝土裂缝快速识别方法，其特征在于，所述RPN包括Anchor generator和RPNhead...

【专利技术属性】
技术研发人员：曹茂森，付荣华，王捷，苏玛拉，
申请(专利权)人：江苏东交智控科技集团股份有限公司，
类型：发明
国别省市：