一种基于深度学习的钢轨表面缺陷检测方法技术

本发明专利技术公开了一种基于深度学习的钢轨表面缺陷检测方法，本发明专利技术克服了传统非智能化的钢轨表面缺陷检测方法，结合深度学习的研究成果，提出运用基于语义分割的钢轨表面缺陷检测，可用于无损、无接触检测。描述采集的钢轨表面图像被制作成钢轨数据集送入到设计的神经网络中，运用基于语义分割的自定义网络训练学习，最终得到训练完成的网络，用于钢轨表面缺陷图像检测并标记缺陷区域，结合后端的图像处理技术获取缺陷轮廓，可进行智能识别，达到高精度检测、减少人工干预的目的。

【技术实现步骤摘要】
一种基于深度学习的钢轨表面缺陷检测方法
本专利技术利用图像处理领域，尤其涉及一种基于深度学习的钢轨表面缺陷检测方法。
技术介绍
目前，关于我国钢轨表面缺陷检测普遍使用方法有人工检测法、涡流线圈检测和超声波检测等。但是这些方法存在弊端，检测工作耗费大量的人力物力，最终的检测结果需要人工处理作出判断。考虑到超声波检测与涡流线圈检测会与钢轨表面缺陷产生接触可能发生物理与化学的变化，进一步扩大了缺陷的区域。因此需要对其进行改进。名词解释：1.RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。2.CRF算法即条件随机场算法。
技术实现思路
本专利技术公开了一种基于深度学习的钢轨表面缺陷检测方法，本专利技术克服了传统非智能化的钢轨表面缺陷检测方法，结合深度学习的研究成果，提出运用基于语义分割的钢轨表面缺陷检测，可用于无损、无接触检测。描述采集的钢轨表面图像被制作成钢轨数据集送入到设计的神经网络中，运用基于语义分割的自定义网络训练学习，最终得到训练完成的网络，用于钢轨表面缺陷图像检测并标记缺陷区域，结合后端的图像处理技术获取缺陷轮廓，可进行智能识别，达到高精度检测、减少人工干预的目的。一种基于深度学习的钢轨表面缺陷检测方法，包括如下步骤：步骤一、制作数据集：采集钢轨表面图像；定义钢轨缺陷的标准，并使用图像编辑软件将缺陷的区域用一种颜色表示，非缺陷区域用另一种颜色表示；在卷积神经网络中训练使用的标签数据集里定义RGB值来赋予其物理意义；钢轨缺陷标准，如下：1.裂缝状的缺陷：分布特性是垂直或者水平出现在钢轨表面，呈现距离长，宽度小的特性，与反光的阴影带有明显的区别，颜色与钢轨本体表面存在色差；2.规则圆的缺陷：分布特性随机，呈现偏圆形的内凹状，如同一个个小洞口，颜色与钢轨本体表面存在色差；3.不规则状：分布特性是随机的，呈现不规则状，既有小的缺陷也有大的缺陷；小的缺陷与大的缺陷是交错设置；4.模糊状缺陷：随机分布，形状也是随机，偏向内凹；步骤二、设计训练网络：采用SegNet网络结构设计构建训练用的卷积神经网络结构；步骤三：设定训练参数：采用随机梯度下降算法和反向传播算法计算训练网络各节点的权重值，离线训练深度神经网络模型；步骤四、构建数据集及训练设置：对获得的钢轨表面图像，随机从所有图像中挑选一部分为训练集，一部分为测试集，进行训练；在训练时，将训练集数据进行训练数据集增强处理：将图片像素在水平方向移动10个像素点，以及在垂直方向上同样移动10个像素点以增强训练数据的泛化能力，同时满足小样本数据训练能够获得最大的训练效果；得到训练网络模型；步骤五、测试图片的后端处理：当训练完成后，将待检测的钢轨表面缺陷图像加入训练网络模型检测，得到钢轨表面缺陷的粗糙分割区域；接着使用CRF算法对粗分割的钢轨表面图像进行细分割：CRF算法符合吉布斯分布，如式(1)所示。式(1)中，E(x|I)是能量函数，由式(2)的两部分组成分别是一元势函数与二元势函数；x表示输出的标记序列，I表示输入的观测序列；Z()表示规范化因子；P()表示条件随机场；E(x)＝∑iψu(xi)+∑i＜jψp(xi，xj)(2)其中，ψu(xi)表示像素i分割成xi的能量，i表示像素点i，j表示像素点j，u表示一元能量函数，p表示二元能量函数；xi表示像素i的标签，xj表示像素j的标签；ψp(xi，xj)表示像素点i，j同时分割成xi，xj的能量；一元势函数∑iψu(xi)是来自设计网络前端输出，E(x|I)的二元势函数构造如式(3)所示。m表示m阶矩阵，标记x的取值个数，w()表示权值；表示高斯权重项，用于衡量像素点i，j的特征向量相似度；fi表示i的特征向量；fj表示j的特征向量；u()表示两个标签之间的兼容性度量；其中二元势函数的定义与颜色值和真实空间距离相关，颜色值或真实空间距离的相似度高于设定阈值的像素赋予相同的标签，否则赋予不同的标签；得到钢轨表面缺陷结果。进一步的改进，还包括步骤六、测试模型性能评估：通过测试模型对钢轨表面缺陷图像正确分类的像素的数量与像素总数相比进行测试模型性能评估。进一步的改进，所述步骤二中卷积神经网络的构建步骤如下所示：整个卷积神经网络结构一共经过5次编码和5次译码。第一次编码：按照网络设计顺序图像的训练依次经过：输入层-卷积层批量归一化层-Relu层-卷积层-最大池化层；输入层的输入大小为1250×55×3；卷积层的滤波器大小设定3×3，滤波器数目设定64，填充设定为1；最大池化层的池化大小设定为2×2，步长设为2；其中将最大池化层的池化系数和池化维度储存；其中池化系数记录着执行最大池化的图像像素区域位置，池化维度即记录着输入池化前的图像的维度；然后进入第二次编码；第二次编码，按照网络设计顺序图像的训练依次经过卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-最大池化层；卷积层的滤波器大小设定3×3，滤波器数目设定128，填充设定为1；最大池化层的池化大小设定为2×2，步长设为2；将最大池化层的池化系数和池化维度储存；然后进入第三次编码。第三次编码，按照网络设计顺序图像的训练依次经过卷积层(滤波器大小设定3×3，滤波器数目设定256，填充设定为1)-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-最大池化层；卷积层的滤波器大小设定3×3，滤波器数目设定256，填充设定为1；最大池化层的池化大小设定为2×2，步长设为2；将最大池化层的池化系数和池化维度储存；然后进入第四次编码；第四次编码，按照网络设计顺序图像的训练依次经过卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-最大池化层；其中卷积层的滤波器大小设定3×3，滤波器数目设定512，填充设定为1；最大池化层的池化大小设定为2×2，步长设为2；将最大池化层的池化系数和池化维度储存；接着进入第五次编码。第五次编码，按照网络设计顺序图像的训练依次经过卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-最大池化层；卷积层的滤波器大小设定3×3，滤波器数目设定512，填充设定为1；最大池化层的池化大小设定为2×2，步长设为2；将最大池化层的池化系数和池化维度储存；五次编码后，接着进入五次译码。第一次译码，将第五次编码储存的池化系数和池化维度信息分享到最大反池化层并按照网络设计顺序图像训练依次经过最大反池化层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层；卷积层额滤波器数目设为：512，滤波器大小为：3×3，填充设定为1；第二次译码，将第四次编码储存的池化系数和池化维度信息分享到最大反池化层，按照网络设计顺序图像训练依次经过最大反池化层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层-卷积层-批量归一化层-Relu层；卷积层的滤波器数目设为：512，滤波器大小为：3×3，填充设定为1；第三次译码，将第三次编码储存的池化系数和池化本文档来自技高网...

【技术保护点】
1.一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，包括如下步骤：步骤一、制作数据集：采集钢轨表面图像；定义钢轨缺陷的标准，并使用图像编辑软件将缺陷的区域用一种颜色表示，非缺陷区域用另一种颜色表示；在卷积神经网络中训练使用的标签数据集里定义RGB值来赋予其物理意义；钢轨缺陷标准，如下：1.裂缝状的缺陷：分布特性是垂直或者水平出现在钢轨表面，呈现距离长，宽度小的特性，与反光的阴影带有明显的区别，颜色与钢轨本体表面存在色差；2.规则圆的缺陷：分布特性随机，呈现偏圆形的内凹状，如同一个个小洞口，颜色与钢轨本体表面存在色差；3.不规则状：分布特性是随机的，呈现不规则状，既有小的缺陷也有大的缺陷；小的缺陷与大的缺陷是交错设置；4.模糊状缺陷：随机分布，形状也是随机，偏向内凹；步骤二、设计训练网络：采用SegNet网络结构设计构建训练用的卷积神经网络结构；步骤三：设定训练参数：采用随机梯度下降算法和反向传播算法计算训练网络各节点的权重值，离线训练深度神经网络模型；步骤四、构建数据集及训练设置：对获得的钢轨表面图像，随机从所有图像中挑选一部分为训练集，一部分为测试集，进行训练；在训练时，将训练集数据进行训练数据集增强处理：将图片像素在水平方向移动10个像素点，以及在垂直方向上同样移动10个像素点以增强训练数据的泛化能力，同时满足小样本数据训练能够获得最大的训练效果；得到训练网络模型；步骤五、测试图片的后端处理：当训练完成后，将待检测的钢轨表面缺陷图像加入训练网络模型检测，得到钢轨表面缺陷的粗糙分割区域；接着使用CRF算法对粗分割的钢轨表面图像进行细分割：CRF算法符合吉布斯分布，如式(1)所示。...

【技术特征摘要】
1.一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，包括如下步骤：步骤一、制作数据集：采集钢轨表面图像；定义钢轨缺陷的标准，并使用图像编辑软件将缺陷的区域用一种颜色表示，非缺陷区域用另一种颜色表示；在卷积神经网络中训练使用的标签数据集里定义RGB值来赋予其物理意义；钢轨缺陷标准，如下：1.裂缝状的缺陷：分布特性是垂直或者水平出现在钢轨表面，呈现距离长，宽度小的特性，与反光的阴影带有明显的区别，颜色与钢轨本体表面存在色差；2.规则圆的缺陷：分布特性随机，呈现偏圆形的内凹状，如同一个个小洞口，颜色与钢轨本体表面存在色差；3.不规则状：分布特性是随机的，呈现不规则状，既有小的缺陷也有大的缺陷；小的缺陷与大的缺陷是交错设置；4.模糊状缺陷：随机分布，形状也是随机，偏向内凹；步骤二、设计训练网络：采用SegNet网络结构设计构建训练用的卷积神经网络结构；步骤三：设定训练参数：采用随机梯度下降算法和反向传播算法计算训练网络各节点的权重值，离线训练深度神经网络模型；步骤四、构建数据集及训练设置：对获得的钢轨表面图像，随机从所有图像中挑选一部分为训练集，一部分为测试集，进行训练；在训练时，将训练集数据进行训练数据集增强处理：将图片像素在水平方向移动10个像素点，以及在垂直方向上同样移动10个像素点以增强训练数据的泛化能力，同时满足小样本数据训练能够获得最大的训练效果；得到训练网络模型；步骤五、测试图片的后端处理：当训练完成后，将待检测的钢轨表面缺陷图像加入训练网络模型检测，得到钢轨表面缺陷的粗糙分割区域；接着使用CRF算法对粗分割的钢轨表面图像进行细分割：CRF算法符合吉布斯分布，如式(1)所示。式(1)中，E(x|I)是能量函数，由式(2)的两部分组成分别是一元势函数与二元势函数；x表示输出的标记序列，I表示输入的观测序列；Z()表示规范化因子；P()表示条件随机场；E(x)＝∑iψu(xi)+∑i＜jψp(xi，xj)(2)其中，ψu(xi)表示像素i分割成xi的能量，i表示像素点i，j表示像素点j，u表示一元能量函数，p表示二元能量函数；xi表示像素i的标签，xj表示像素j的标签；ψp(xi，xj)表示像素点i，j同时分割成xi，xj的能量；一元势函数∑iΨu(xi)是来自设计网络前端输出，E(x|I)的二元势函数构造如式(3)所示。m表示m阶矩阵，标记x的取值个数，w()表示权值；表示高斯权重项，用于衡量像素点i，j的特征向量相似度；fi表示i的特征向量；fj表示j的特征向量；u()表示两个标签之间的兼容性度量；其中二元势函数的定义与颜色值和真实空间距离相关，颜色值或真实空间距离的相似度高于设定阈值的像素赋予相同的标签，否则赋予不同的标签；得到钢轨表面缺陷结果。2.如权利要求1所述的基于深度学习的钢轨表面缺陷检测方法，其特征在于，还包括步骤六、测试模型性能评估：通过测试模型对钢轨表面缺陷图像正确分类的像素的数量与像素总数相比进行测试模型性能评估。3.权利要求1所述的基于深度学习的钢轨表面缺陷检测方法，其特征在于，所述步骤二中卷积神经网络的构建步骤如下所示：整个卷积神经网络结构一共经过5次编码和5次译码。第一次编码：按照网络设计顺序图像的训练依次经过：输入层-卷积层批量归一化层-Relu层-卷积层-最大池化层；输入层的输入大小为1250×55×3；卷积层的滤波器大小设定3×3，滤波器数目设定64，填充设定为1；最大池化层的池化大小设定为2×2，步长设为2；其中将最大池化层的池化系数和池化维度储存；其中池化系数记录着执行最大池化的图像像素区域位置，池化维度即记录着输入池化前的图像的维度；然后进入第二次编...

【专利技术属性】
技术研发人员：张辉，宋雅男，刘理，钟杭，梁志聪，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南,43