基于特征金字塔和神经网络的轨道钢表面缺陷分割方法技术

本发明专利技术公开了一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，该方法首先构建一个5层的图像金字塔；然后对金字塔每一层的图像提取5个特征图并将特征图放大到原来的尺寸；再将所有特征图输入到一个轻量级的卷积神经网络进行训练以及预测。该卷积神经网络只包含12个卷积块，参数量相比于现有常见的网络显著减少，同时训练时间和测试时间都比现有常见的网络要缩短；该卷积神经网络采用二值交叉熵函数和IOU函数作为损失函数，二值交叉熵函数能够提升单个像素的分类能力，通过设计较高的正样本权重，能够解决正负像素数量不均衡的问题；而IOU函数能够提高预测缺陷形状的精确度。精确度。精确度。

【技术实现步骤摘要】
基于特征金字塔和神经网络的轨道钢表面缺陷分割方法


[0001]本专利技术涉及机器视觉和深度学习
，具体涉及一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法。

技术介绍

[0002]轨道交通的发展正面临着提高速度和负荷的挑战，这极大地增加了轨道交通的压力。长期运行会使钢轨表面发热、磨损。钢轨磨损等缺陷是安全隐患，亟待解决。过去，钢轨上的缺陷都是由有经验的检验员来检测的。人工检测不仅需要大量的人力资源，而且还存在耗时、精度低等缺点。因此，自动无损检测系统具有巨大的市场需求。
[0003]在过去的十年中，基于视觉的缺陷检测方法已应用于各种工业产品，如钢铁、织物、太阳能电池、锂离子电池电极、薄膜晶体管液晶。总体而言可以将缺陷检测方法分成两大类，一是传统的视觉方法，二是基于深度学习的方法。传统的视觉方法有针对性，人为地提取特征来识别缺陷，可以快速地完成一些简单的缺陷分割任务。但对于稍微复杂的场景，如何组合不同的特征以及自适应的得到各种参数非常的困难，无法获得足够满意的结果。而基于深度学习的方法，基于梯度下降的优化算法，能够自适应地获得局部最优的参数。但是深度学习需要良好地硬件条件来支持，大型的网络训练和测试的时间都非常长，无法用于实时检测。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法。本专利技术通过传统视觉方法来提取多尺度特征，作为卷积神经网络的输入，本专利技术中所提出的卷积神经网络是一种轻量级的神经网络，使得训练时间和测试时间能满足在线检测需求，并且可以提升轨道钢表面缺陷的分割精度。
[0005]本专利技术的目的可以通过采取如下技术方案达到：
[0006]一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，所述分割方法包括以下步骤：
[0007]S1、以轨道钢表面图像作为输入图像I0，通过对输入图像I0依次进行多次尺寸缩放得到不同尺寸的图像，构建图像金字塔；
[0008]S2、对不同尺寸的图像依次提取多尺度特征图；
[0009]S3、搭建卷积神经网络；
[0010]S4、训练所述卷积神经网络；
[0011]S5、使用经过训练的卷积神经网络对轨道钢进行表面缺陷检测，输出缺陷分割结果。
[0012]进一步地，所述步骤S1中构建图像金字塔的过程如下：
[0013]S1.1、以轨道钢表面图像作为输入图像I0，将输入图像I0的尺寸缩放到1024
×
160，得到图像I1。神经网络需要统一的图像尺寸，同时图像的尺寸每次减半之后还是偶数，保证
图像的尺寸都是整数；
[0014]S1.2、将图像I1的长和宽通过图像缩放算法依次缩小一半，重复4次，分别得到图像I2、I3、I4、I5，对应的尺寸分别为512
×
80、256
×
40、128
×
20、64
×
10，其中，所述图像缩放算法为双线性插值法。不同的尺寸的图像包含着不同尺度的信息，这些信息有助于缺陷分割；
[0015]进一步地，所述步骤S2中提取多尺度特征图的过程如下：
[0016]S2.1、将图像I1的灰度范围从0～255归一化到0～1，归一化公式如下：I1(i,j)＝I1(i,j)
÷
255，其中i,j表示图像I1的索引，I1(i,j)表示图像I1的第i行第j列的像素灰度值，i∈[1,H]，j∈[1,W]，H、W分别表示图像I1的长和宽；
[0017]S2.2、将图像I1灰度翻转，得到特征图f1，公式如下：f1(i,j)＝1
‑
I1(i,j)，其中f1(i,j)表示二维图像特征图f1的第i行第j列的像素灰度值。将图像反转后能增强灰度较小的暗缺陷。
[0018]S2.3、计算特征图f2过程如下：
[0019]先计算图像I1每一列像素的灰度平均值I
avg
(j)和最小值I
min
(j)，计算公式如下：
[0020]其中min(*)表示最小值函数，I
avg
是一个一维向量，I
avg
(j)表示向量的第j个值，I
min
是一个一维向量，I
min
(j)表示向量的第j个值；
[0021]计算一个单边阈值I
th
(j)，并计算其均值m
th
，计算公式如下：I
th
(j)＝(I
avg
(j)+I
min
(j))/2，其中I
th
(j)表示一维向量I
th
的第j个值。缺陷的灰度在平均值和最小值之间，使用阈值I
th
(j)可以分割缺陷的背景；
[0022]然后将I
th
(j)中大于m
th
的部分置为m
th
：
[0023]计算I1(i,j)与I
th
(j)的正距离D
c
(i,j)：D
c
(i,j)＝Relu(I
th
(j)
‑
I1(i,j))，其中D
c
(i,j)表示二维矩阵D
c
的第i行第j列的值，函数Relu的表达式为：其中x表示Relu函数的自变量。通过Relu函数将小于0的结果置为0，从而忽略这些像素，因为它们被判断为背景像素；
[0024]最后计算特征图f2：f2(i,j)＝D
c
(i,j)*(I
avg
(j)
‑
I1(i,j))，其中f2(i,j)表示二维矩阵f2的第i行第j列的值。D
c
(i,j)大于0的点表示缺陷像素，使用灰度值到平均值的差值，即(I
avg
(j)
‑
I1(i,j))，作为缺陷的显著度。值越大则说明该点作为缺陷的可信度越高；
[0025]S2.4、计算图像I1的梯度图I
g
，然后计算I
g
每一列的均值m
g
(j)，再与I
g
相减得到特征图f3，计算公式如下：f3(i,j)＝I
g
(i,j)
‑
m
g
(j)，其中I
g
(i,j)表示二维矩阵I
g
的第i行第j列的值，m
g
(j)表示一维向量m
g
的第j个值，f3(i,j)表示二维矩阵f3的第i行第j列的值。缺陷的边缘有着比较强的梯度强度且至少强于平均梯度，因此f3(i,j)能增强梯度强度大的点；
[0026]S2.5、使用卷积核k1与图像I1进行卷积，卷积结果记为I
k1
，再与I1相减得到特征图f4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述分割方法包括以下步骤：S1、以轨道钢表面图像作为输入图像I0，通过对输入图像I0依次进行多次尺寸缩放得到不同尺寸的图像，构建图像金字塔；S2、对不同尺寸的图像依次提取多尺度特征图；S3、搭建卷积神经网络；S4、训练所述卷积神经网络；S5、使用经过训练的卷积神经网络对轨道钢进行表面缺陷检测，输出缺陷分割结果。2.根据权利要求1所述的基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述步骤S1中构建图像金字塔的过程如下：S1.1、以轨道钢表面图像作为输入图像I0，将输入图像I0的尺寸缩放到1024
×
160，得到图像I1；S1.2、将图像I1的长和宽通过图像缩放算法依次缩小一半，重复4次，分别得到图像I2、I3、I4、I5，对应的尺寸分别为512
×
80、256
×
40、128
×
20、64
×
10，其中，所述图像缩放算法为双线性插值法。3.根据权利要求2所述的基于特征金字塔和卷积神经网络的轨道钢表面缺陷分割方法，其特征在于，所述步骤S2中提取多尺度特征图的过程如下：S2.1、将图像I1的灰度范围从0～255归一化到0～1，归一化公式如下：I1(i,j)＝I1(i,j)
÷
255，其中i,j表示图像I1的索引，I1(i,j)表示图像I1的第i行第j列的像素灰度值，i∈[1,H]，j∈[1,W]，H、W分别表示图像I1的长和宽；S2.2、将图像I1灰度翻转，得到特征图f1，公式如下：f1(i,j)＝1
‑
I1(i,j)，其中f1(i,j)表示二维图像特征图f1的第i行第j列的像素灰度值；S2.3、计算特征图f2过程如下：先计算图像I1每一列像素的灰度平均值I
avg
(j)和最小值I
min
(j)，计算公式如下：其中min(*)表示最小值函数，I
avg
是一个一维向量，I
avg
(j)表示向量的第j个值，I
min
是一个一维向量，I
min
(j)表示向量的第j个值；计算一个单边阈值I
th
(j)，并计算其均值m
th
，计算公式如下：I
th
(j)＝(I
avg
(j)+I
min
(j))/2，其中I
th
(j)表示一维向量I
th
的第j个值；然后将I
th
(j)中大于m
th
的部分置为m
th
：计算I1(i,j)与I
th
(j)的正距离D
c
(i,j)：D
c
(i,j)＝Relu(I
th
(j)
‑
I1(i,j))，其中D
c
(i,j)表示二维矩阵D
c
的第i行第j列的值，函数Relu的表达式为：其中x表示Relu函数的自变量；
最后计算特征图f2：f2(i,j)＝D
c
(i,j)*(I
avg
(j)
‑
I1(i,j))，其中f2(i,j)表示二维矩阵f2的第i行第j列的值；S2.4、计算图像I1的梯度图I
g
，然后计算I
g
每一列的均值m
g
(j)，再与I
g
相减得到特征图f3，计算公式如下：f3(i,j)＝I
g
(i,j)
‑
m
g
(j)，其中I
g
(i,j)表示二维矩阵I
g
的第i行第j列的值，m
g
(j)表示一维向量m
g
的第j个值，f3(i,j)表示二维矩阵f3的第i行第j列的值；S2.5、使用卷积核k1与图像I1进行卷积，卷积结果记为I
k1
，再与I1相减得到特征图f4，计算公式如下：其中表示卷积操作，f4＝Relu(I1‑
I
k1
)；S2.6、使用卷积核k2与图像I1进行卷积，卷积结果记为I
k2
，再与I1相减得到特征图f5，计算公式如下：f5＝Relu(I1‑
I
k2
)，其中k2＝k
1T
...

【专利技术属性】
技术研发人员：刘屿，萧华希，兰炜圣，陈子维，
申请(专利权)人：广州现代产业技术研究院，
类型：发明
国别省市：