一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统技术方案

本发明专利技术公开了一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统，属于机械零部件损伤监测与诊断领域，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤；本发明专利技术提出了在钢丝绳表面图像采集前进行污垢自动清除，以减少对缺陷识别的影响；本发明专利技术克服了钢丝绳位姿不正和图像背景信息的影响，可提高算法的工作环境适应性和鲁棒性；所提出的WR‑CNN算法能够达到99％的诊断精度，且只消耗8ms/样本，可满足实时性的要求；可一定程度上实时发现钢丝绳断丝、磨损损伤，并可在此基础上扩展缺陷类型，以检测更多类型缺陷，克服了人工巡检的效率低、检测周期长和无法及时发现的问题。

A method and system of in-service steel wire rope surface defect detection based on deep learning

【技术实现步骤摘要】
一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
本专利技术属于机械零部件损伤监测与诊断领域，尤其涉及一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统。
技术介绍
钢丝绳作为矿井提升机、工程起重机、索道、电梯等复杂机械系统的重要承载部件，其健康状况直接关系到使用者的生命和财产安全。所以对钢丝绳的健康状况进行实时的监测和诊断显得十分重要。通过视觉方法检测钢丝绳表面状况是一种直观、有效的方法。目前采用的机器视觉方法主要存在以下问题：1)现有的研究多默认为获取的钢丝绳图像数据规范，即钢丝绳位姿正常，而实际中由于工作环境和监测对象的影响，所获取的钢丝绳图像不一定位于图像正中间且不一定处于水平或垂直状态；所获取的图像含有大量背景信息，从而造成不必要的计算，同时诊断结果受到背景信息的影响。2)现有诊断方法需人工选择和提取特征，机器学习从原始数据中不能生成有辨别能力的特征；同时，缺陷样本的数量不足以训练一个健壮的分类器。随着人工智能的快速发展，结合适当的图像预处理，深度学习可作为一种解决上述问题的高效方法。深度学习作为一种先进的端对端方法，可自适应的从原始信号中学习特征的深层次表达，可避免复杂的人工特征提取过程。自从2006年深度学习的提出，深度学习已被广泛应用于文字识别、语音识别、图像识别等领域。在机械损伤检测与诊断领域，一些深度学习算法也已经被逐渐利用，取得了较传统算法更好的结果。鉴于传统方法的局限性以及深度学习的优势，本专利技术将深度学习方法引入到钢丝绳表面缺陷的监测当中，对保障钢丝绳的可靠性和安全性意义重大。
技术实现思路
本专利技术针对上述不足提供了一种基于图像处理和深度学习的钢丝绳表面缺陷智能检测方法与系统，融合机器视觉技术、图像处理方法和深度学习算法，以高效地检测和识别钢丝绳表面缺陷。本专利技术采用如下技术方案：一种基于深度学习的在役钢丝绳表面缺陷检测方法，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤，具体步骤如下：步骤1，图像采集：对运行中的钢丝绳图像进行周向采集，记录下每张图像中钢丝绳在全绳中的位置；步骤2，原始图像数据规范化预处理；具体如下，步骤2.1，位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，利用霍夫变换实现边界识别，计算其边界斜率，将图像进行旋转；步骤2.2，ROI提取：对图像进行垂直灰度投影，得到垂直灰度分布图；根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集；步骤3，建立分类器：对传统的CNN即LeNet-5进行改进，包括其结构和参数，命名为WR-CNN，然后设置分类器WR-CNN的结构和参数；步骤4，在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。作为本专利技术一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2.1中，位姿调整为不规范钢丝绳位姿调整过程，其具体过程如下：步骤A.同态高斯滤波：建立同态滤波器Hhf(u,v)＝(γH-γL)[cH(u,v)]+γL，其中H(u,v)＝exp[-(D(u,v)/D0)2n]，设置公式中的参数γH,γL,c,n,D0，其中，H(u,v)为传递函数，D0为截至频率，u和v分别为图像中像素点坐标x和y进行傅里叶变换后对应的量，n为阶数，常数c用于控制坡度的锐利度，它在γH和γL之间过渡，其中γL<1且γH>1；对图像I进行滤波，得到滤波后的图像I1；步骤B.纹理检测：设置Sobel的阈值g，根据公式计算梯度图像G(x,y)，与阈值进行比较，忽略小于阈值的边缘，得到二值纹理图像I2；其中，式中，f(x+i,y+j)为偏离点(x,y)的点(x+i,y+j)的灰度值，ax(i,j)和ay(i,j)分别是x方向和y方向上的Sobel边缘算子；步骤C.边界确认：设置结构元素B1，进行膨胀运算，得到膨胀图像I3；进行孔洞填充运算，得到填充图像I4；设置结构元素B2，连续两次腐蚀运算，得到腐蚀图像I5；步骤D.姿态旋转：进行霍夫变换，寻找峰值，提取直线段，直线段为设置线段合并阈值和检测的直线断的最小长度，找到钢丝绳边界直线，得到钢丝绳边界图像I6；接着计算边界的斜率，根据斜率对滤波图像I1进行旋转；完成旋转后，得到旋转图像J。作为本专利技术一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤A至步骤D中，将参数设置为：γH＝2.2,γL＝0.25,c＝2,n＝1,D0＝50；g＝0.5·g′g′为自适应阈值；膨胀运算中，对于线性结构元素B1，元素长度为3，角度为0度和90度；腐蚀运算中，对于菱形结构元素B2，结构元素原点到顶点距离为1；寻找的峰值数目设为4，在Hough矩阵中寻找前4个大于Hough矩阵中最大值0.3倍的峰值；线段合并阈值设为50，检测直线段的最小长度设为70；图像旋转时，根据斜率值反向旋转。作为本专利技术一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2.2中，ROI提取为不规范钢丝绳ROI提取过程；具体过程如下：步骤2.11，对钢丝绳位姿进行调整后，从调整完位姿的图J(x,y)中提取有价值的钢丝绳区域图片R(x,y)，即ROI区域；步骤2.12，设图像J(x,y)的长为W，宽为H，(x,y)为坐标，输入图像J(x,y)第x列的平均灰度值计算为则图像J在垂直方向的投影为G＝[g(1),g(2),...g(W)]；步骤2.13，设钢丝绳的宽度为Wr，则沿x轴的投影曲线中每个宽度的灰度积分S(b)为步骤2.14，当b使S(b)满足argminS(b)时，b即为钢丝绳在x轴方向上的起点位置，b+Wr则为终点位置，则位于x轴方向的区间[b,b+Wr]中的图为ROI区域R(x,y)；步骤2.15，将R(x,y)剪切出来后，再分割为等长度的子图，即可建立其用于训练和测试数据集。作为本专利技术一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2中，通过对实际和实验室中钢丝绳图像的采集和数据增强，建立2000张不同的健康钢丝绳、2000张不同的断丝钢丝绳和2000张不同的磨损钢丝绳的图像数据集；对图像进行灰度化，以减少光照的影响，通过插值运算将图像缩放到32×32或64×64大小，以作为网络模型的输入。作为本专利技术一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤3中，建立深度卷积神经网络结构，输入的二维数据的尺寸为64×64；在第一个隐含层中，卷积层包含32个过滤器，卷积核尺寸为5×5，池化层的池化尺寸为2×2；第二至第四隐含层采用了不同个数的过滤器，采用了相同的卷积核大小和池化核大小；全连接层的神经元个数分别为2560和768；输出层的节点为3，等于样本类型的数量。作本文档来自技高网...

【技术保护点】
1.一种基于深度学习的在役钢丝绳表面缺陷检测方法，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤，具体步骤如下：/n步骤1，图像采集：对运行中的钢丝绳图像进行周向采集，记录下每张图像中钢丝绳在全绳中的位置；/n步骤2，原始图像数据规范化预处理；具体如下，/n步骤2.1，位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，利用霍夫变换实现边界识别，计算其边界斜率，将图像进行旋转；/n步骤2.2，ROI提取：对图像进行垂直灰度投影，得到垂直灰度分布图；根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集；/n步骤3，建立分类器：对传统的CNN即LeNet-5进行改进，包括其结构和参数，命名为WR-CNN，然后设置分类器WR-CNN的结构和参数；/n步骤4，在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。/n

【技术特征摘要】
1.一种基于深度学习的在役钢丝绳表面缺陷检测方法，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤，具体步骤如下：
步骤1，图像采集：对运行中的钢丝绳图像进行周向采集，记录下每张图像中钢丝绳在全绳中的位置；
步骤2，原始图像数据规范化预处理；具体如下，
步骤2.1，位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，利用霍夫变换实现边界识别，计算其边界斜率，将图像进行旋转；
步骤2.2，ROI提取：对图像进行垂直灰度投影，得到垂直灰度分布图；根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集；
步骤3，建立分类器：对传统的CNN即LeNet-5进行改进，包括其结构和参数，命名为WR-CNN，然后设置分类器WR-CNN的结构和参数；
步骤4，在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。


2.根据权利要求1所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤2.1中，位姿调整为不规范钢丝绳位姿调整过程，其具体过程如下：
步骤A.同态高斯滤波：建立同态滤波器Hhf(u,v)＝(γH-γL)[cH(u,v)]+γL，其中Hl(u,v)＝exp[-(D(u,v)/D0)2n]，设置公式中的参数γH,γL,c,n,D0，其中，H(u,v)为传递函数，D0为截至频率，u和v分别为图像中像素点坐标x和y进行傅里叶变换后对应的量，n为阶数，常数c用于控制坡度的锐利度，它在γH和γL之间过渡，其中γL<1且γH>1；对图像I进行滤波，得到滤波后的图像I1；
步骤B.纹理检测：设置Sobel的阈值g，根据公式计算梯度图像G(x,y)，与阈值进行比较，忽略小于阈值的边缘，得到二值纹理图像I2；其中，






式中，f(x+i,y+j)为偏离点(x,y)的点(x+i,y+j)的灰度值，ax(i,j)和ay(i,j)分别是x方向和y方向上的Sobel边缘算子；
步骤C.边界确认：设置结构元素B1，进行膨胀运算，得到膨胀图像I3；进行孔洞填充运算，得到填充图像I4；设置结构元素B2，连续两次腐蚀运算，得到腐蚀图像I5；
步骤D.姿态旋转：进行霍夫变换，寻找峰值，提取直线段，直线段为设置线段合并阈值和检测的直线断的最小长度，找到钢丝绳边界直线，得到钢丝绳边界图像I6；接着计算边界的斜率，根据斜率对滤波图像I1进行旋转；完成旋转后，得到旋转图像J。


3.根据权利要求2所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤A至步骤D中，将参数设置为：γH＝2.2,γL＝0.25,c＝2,n＝1,D0＝50；g＝0.5·g′g′为自适应阈值；膨胀运算中，对于线性结构元素B1，元素长度为3，角度为0度和90度；腐蚀运算中，对于菱形结构元素B2，结构元素原点到顶点距离为1；寻找的峰值数目设为4，在Hough矩阵中寻找前4个大于Hough矩阵中最大值0.3倍的峰值；线段合并阈值设为50，检测直线段的最...

【专利技术属性】
技术研发人员：周坪，周公博，朱真才，李英明，何贞志，唐超权，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32