一种基于特征金字塔网络的隧道表面缺陷检测方法技术

本发明专利技术公开了一种基于特征金字塔网络的隧道表面缺陷检测方法，采集带有表面缺陷的隧道图像，构建数据集，将数据集中的图像分为训练集和测试集；隧道表面图像预处理；隧道表面缺陷标记，采用标注工具对图像中的裂缝、空洞区域进行标注；构建用于缺陷检测的显著性检测网络；构建训练损失函数，用构件的检测网络检测隧道表面缺陷。本发明专利技术具有较强的鲁棒性和显著性检测的有效性，能很好地定位出正确的隧道表面缺陷。

【技术实现步骤摘要】
一种基于特征金字塔网络的隧道表面缺陷检测方法
本专利技术涉及一种隧道表面缺陷检测方法，特别是一种基于特征金字塔网络的隧道表面缺陷检测方法，属于计算机视觉、图像处理领域。
技术介绍
近年来，随着各大城市的地面道路交通逐渐趋于饱和，高峰堵车情况越来越严重，地铁因其方便、快捷等优势逐渐成为城市主要的公共交通工具。地铁的发展前景一片大好，各大城市也在加紧扩宽地铁网络，增加地铁线路。在地铁建设过程中的可能会由于种种原因导致隧道质量不合格，在地铁隧道使用过程中也可能因为隧道周边建设或者自然灾害导致隧道出现裂缝等质量问题，进而导致隧道坍塌等重大事故。因此，在地铁建设过程中和使用过程中进行缺陷检测将能有效避免和预防重大交通安全事故的发生。传统的缺陷检测法主要是靠人眼进行检测，需要消耗大量的时间、人力和财力，不适用于现代社会对故障检测效率的要求，因此开发一种高精度、高效率的隧道表面缺陷检测方法对现代隧道交通的发展起着重要作用。目前，除人工识别以外的隧道表面缺陷检测方法主要是基于传统数字图像处理技术的方法，包括：(1)基于阈值处理的检测方法；(2)基于边缘检测和形态学操作的检测方法。基于阈值处理的检测方法主要通过灰度搜索感兴趣区域实现，但是在复杂背景中的检测效果较差，且在待检测目标与噪声灰度值接近时很容易出现误检。基于边缘检测和形态学操作的处理方法主要是通过边缘检测算子获取缺陷边缘，然后通过形态学操作确定缺陷区域，这种方法的前提是图像具有强烈的边缘信息，然而实际场景中大部分的缺陷信息具有一定的模糊性，导致这种检测方法的检测精度不高。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于特征金字塔网络的隧道表面缺陷检测方法，提高隧道表面缺陷检测的效率和精度。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于特征金字塔网路的隧道表面缺陷检测方法，其特征在于包含以下步骤：步骤一：采集带有表面缺陷的隧道图像，构建数据集，将数据集中的图像分为训练集和测试集；步骤二：隧道表面图像预处理；步骤三：隧道表面缺陷标记，采用标注工具对图像中的裂缝、空洞区域进行标注；步骤四：构建用于缺陷检测的显著性检测网络；步骤五：构建训练损失函数，用构建的检测网络检测隧道表面缺陷。进一步地，所述步骤一具体为采集带有表面缺陷的隧道图像，对图像进行关键信息裁剪，构建图像库，对图像库中的图像进行缩放、翻转和镜像扩充图像库，将扩充后的图像库中的图像以4:1的比例分为训练样本集和测试样本集。进一步地，所述步骤二具体为对隧道表面图像进行预处理，用引导滤波去除图像噪声，具体过程为：将图像作为一个二维函数，假设该函数的输出与输入在一个二维窗口内满足线性关系：其中q是输出像素的值，I是输入图像，i和k是像素索引，ωk是窗口，ak和bk是当窗口位于k时该线性函数的系数；对上式两边取梯度：拟合函数输出值与真实值之间的差距为：其中，p是真实值，∈代表一个极小值；通过最小二乘法得到图像函数的系数：其中，|ω|是窗口ωk中像素的数量，μk是I在窗口ωk中的平均值，是I在窗口ωk中的方差，是待滤波图像p在窗口ωk中的均值；在计算每个窗口的线性系数时，由于每个像素都由多个线性函数所描述，因此具体求某一点输出值时将所有包含该点的线性函数平均：上式中Ii是像素i的强度，ωk是所有包含像素i的窗口，k是其中心位置,代表线性回归斜率参数，代表线性回归截距参数。进一步地，所述步骤四具体为构建显著性检测网络，以VGG16网络为基础构建特征金字塔网络。VGG16网络的两个低级块Conv1-2、Conv2-2用于提取图像的低级特征，由于低级特征中存在干扰显著图生成的背景区域，故采用空间注意机制根据高层特征过滤出一些背景细节，以便更多地关注前景区域；将VGG16网络的三个高级块Conv3-3、Conv4-5、Conv5-3产生的特征作为初步高级特征，为了使最终提取的高层特征包含尺度和形状不变性，采用膨胀率分别为3、5、7空洞卷积，获取多感受野的上下文信息；然后采用信道注意机制为对显著目标有高响应的信道分配较大的权值；将采用不同膨胀率的空洞卷积层的特征映射与1×1维的降维特征跨信道级联，得到三个不同尺度的特征和上下文感知信息，将两个较小的尺度特征通过上采样提升到最大特征尺度相同的尺度；最后通过跨信道级联将高级特征与低级特征组合起来作为上下文感知金字塔特征网络的输出。进一步地，在上下文感知金字塔特征提取之后加入信道注意机制，对加权多尺度、多感受野特征进行提取：CA＝F(vh,W)＝σ1(fc2(δ(fc1(vh,W1)),W2))(7)其中CA代表信道注意,vh表示信道特征向量，W指各通道注意块中的参数，σ1指sigmoid运算，fc指全连接层，δ指激活函数ReLU；信道注意模块的最终输出定义为特征金字塔的高层特征fh的加权值:低层特征的显著图中包含了大量的细节信息，为了得到显著目标和背景之间的详细边界，采用空间注意方法将注意力更多地集中在前景区域；为增加感受野获得全局信息而不增加参数，采用两个核分别为1×k和k×1的卷积层用于高层特征捕捉空间关注点：其中C1、C2表示两种不同次序的卷积运算的中间结果，conv1、conv2表示卷积运算，表示空间注意模块中的参数，为信道注意模块的输出；然后，利用sigmoid运算对映射到[0,1]的编码的空间特征图进行归一化处理：其中，SA表示空间注意,W表示空间注意模块中的参数，σ2表示sigmoid运算；空间注意模块最终输出为低层特征fl的加权值：进一步地，所述步骤五具体为在显著性目标检测中通常使用最终显著性检测结果图与理论结果之间的交叉熵定义损失函数：其中，Y表示理论结果，P表示网络输出的显著性，αs表示正样本和负样本的平衡参数；上述损失函数只提供了生成显著图的一般指导，为了突出显著对象边界细节的生成，采用拉普拉斯算子得到显著目标理论边界和网络输出的显著图中的显著目标的边界：其中，f表示特征，x,y是xy平面的笛卡尔坐标，拉普拉斯算法使用图像的梯度，直接在内部调用卷积运算conv()来执行，tanh()是激活函数,Klaplace是拉普拉斯算子，abs()表示绝对值运算；然后通过交叉熵损失来监督显著目标边界的生成：最后将总损失函数定义为显著目标检测损失和显著目标边界检测损失的加权和：L＝αLS+(1-α)LB(17)其中L为损失函数，LS为显著目标检测损失,LB为显著目标边界检测损失，α是权重。进一步地，所述式(13)中αs＝0.528。进一步地，在模型训练过程中，首先将α设置为1.0，初始学习率为0.01训练生成粗糙的显著图，然后调整α细化显著图边界，α的本文档来自技高网...

【技术保护点】
1.一种基于特征金字塔网路的隧道表面缺陷检测方法，其特征在于包含以下步骤：/n步骤一：采集带有表面缺陷的隧道图像，构建数据集，将数据集中的图像分为训练集和测试集；/n步骤二：隧道表面图像预处理；/n步骤三：隧道表面缺陷标记，采用标注工具对图像中的裂缝、空洞区域进行标注；/n步骤四：构建用于缺陷检测的显著性检测网络；/n步骤五：构建训练损失函数，用构建的检测网络检测隧道表面缺陷。/n

【技术特征摘要】
1.一种基于特征金字塔网路的隧道表面缺陷检测方法，其特征在于包含以下步骤：
步骤一：采集带有表面缺陷的隧道图像，构建数据集，将数据集中的图像分为训练集和测试集；
步骤二：隧道表面图像预处理；
步骤三：隧道表面缺陷标记，采用标注工具对图像中的裂缝、空洞区域进行标注；
步骤四：构建用于缺陷检测的显著性检测网络；
步骤五：构建训练损失函数，用构建的检测网络检测隧道表面缺陷。


2.按照权利要求1所述的一种基于特征金字塔网路的隧道表面缺陷检测方法，其特征在于：所述步骤一具体为采集带有表面缺陷的隧道图像，对图像进行关键信息裁剪，构建图像库，对图像库中的图像进行缩放、翻转和镜像扩充图像库，将扩充后的图像库中的图像以4∶1的比例分为训练样本集和测试样本集。


3.按照权利要求1所述的一种基于特征金字塔网路的隧道表面缺陷检测方法，其特征在于：所述步骤二具体为对隧道表面图像进行预处理，用引导滤波去除图像噪声，具体过程为：
将图像作为一个二维函数，假设该函数的输出与输入在一个二维窗口内满足线性关系：



其中q是输出像素的值，I是输入图像，i和k是像素索引，ωk是窗口，ak和bk是当窗口位于k时该线性函数的系数；对上式两边取梯度：



拟合函数输出值与真实值之间的差距为：



其中，p是真实值，∈代表一个极小值；
通过最小二乘法得到图像函数的系数：






其中，|ω|是窗口ωk中像素的数量，μk是I在窗口ωk中的平均值，是I在窗口ωk中的方差，是待滤波图像p在窗口ωk中的均值；
在计算每个窗口的线性系数时，由于每个像素都由多个线性函数所描述，因此具体求某一点输出值时将所有包含该点的线性函数平均：



上式中Ii是像素i的强度，ωk是所有包含像素i的窗口，k是其中心位置，代表线性回归斜率参数，代表线性回归截距参数。


4.按照权利要求1所述的一种基于特征金字塔网络的隧道表面缺陷检测方法，其特征在于：所述步骤四具体为构建显著性检测网络，以VGG16网络为基础构建特征金字塔网络。VGG16网络的两个低级块Conv1-2、Conv2-2用于提取图像的低级特征，由于低级特征中存在干扰显著图生成的背景区域，故采用空间注意机制根据高层特征过滤出一些背景细节，以便更多地关注前景区域；
将VGG16网络的三个高级块Conv3-3、Conv4-5、Conv5-3产生的特征作为初步高级特征，为了使最终提取的高层特征包含尺度和形状不变性，采用膨胀率分别为3、5、7空洞卷积，获取多感受野的上下文信息；然后采用信道注意机制为对显著目标有高响应的信道分配较大的权值；将采用不同膨胀率的空洞卷积层的特征映射与1×1维的降维特征跨信道级联，得到三个不同尺度的特征和上下文感知信息，将两个较小的尺度特征通过上采样提升到最大特征尺度相同的尺度；最后通过跨信道级联将高级特征与低级特征组合起...

【专利技术属性】
技术研发人员：汪俊，隆昆，李大伟，李虎，刘树亚，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32