一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法技术

本发明专利技术公开了一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，包括收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；建立机器学习分类器，将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；将待缺陷检测的钢丝绳表面图像输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。本发明专利技术机器视觉钢丝绳表面缺陷检测方法能够高效准确地识别钢丝绳表面的健康状态。绳表面的健康状态。绳表面的健康状态。

【技术实现步骤摘要】
一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法


[0001]本专利技术涉及机械零部件缺陷检测
，具体地，涉及一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法。

技术介绍

[0002]钢丝绳在机械、建筑、运输等领域广泛使用，具有高强度、高耐久、抗拉、抗磨损等优点，然而，由于长期使用和外界环境的影响，钢丝绳容易出现各种缺陷，如断丝、磨损等，这些缺陷会导致钢丝绳失去原有的力学性能和安全性能，甚至可能引发严重事故。因此，钢丝绳缺陷检测技术显得非常重要。
[0003]传统的钢丝绳缺陷检测方法主要依靠人工目测，存在着效率低、准确性差、易出错等缺点。随着计算机视觉技术的发展，基于机器视觉的钢丝绳缺陷检测方法逐渐成为研究热点，然而，目前的基于机器视觉的钢丝绳缺陷检测方法仍然存在一些问题：
[0004]1、获取的钢丝绳图像包含大量背景噪声，且钢丝绳在工作时的位姿实时变化，导致难以获取规范化图像；
[0005]2、无论是基于深度学习的诊断方法还是基于机器学习的诊断方法都难以充分提取钢丝绳表面的有效特征。

技术实现思路

[0006]针对现有技术中存在的问题，本专利技术提供了一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，通过多特征融合技术提取并融合钢丝绳表面图像特征，以高效的规范化处理钢丝绳表面图像信息并检测其表面健康状态，提高了缺陷检测准确性和效率。
[0007]为实现上述目的，本专利技术采用如下技术方案：一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，具体包括以下步骤：
[0008]步骤S1、收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；
[0009]步骤S2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；所述纹理特征包括改进的LBP纹理特征和灰度共生矩阵GLCM纹理特征；
[0010]步骤S3、建立机器学习分类器，再次将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；
[0011]步骤S4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。
[0012]进一步地，步骤S1包括如下子步骤：
[0013]步骤S1.1、将每一张钢丝绳表面的BGR图像转化为灰度图，对灰度图进行高斯滤波
处理，得到滤波图像，使用Sobel算子计算滤波图像的梯度幅值和方向：
[0014][0015][0016]其中，G
x
(x,y)和G
y
(x,y)分别为滤波图像在x和y方向上的梯度值，G(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；
[0017]步骤S1.2、使用非极大值抑制算法处理步骤S1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值Tmax＝150、低阈值Tmin＝50，得到二值化图像；
[0018]步骤S1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；
[0019]步骤S1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x
′
,y
′
)：
[0020]x
′
＝xcos(b)
‑
ysin(b)
[0021]y
′
＝xsin(b)+ycos(b)
[0022]步骤S1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；
[0023]步骤S1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤S1.5，直至旋转角度达到180
°
，将面积最小的矩形边界对应的四个顶点坐标映射到BGR图像中；
[0024]步骤S1.7、根据映射到BGR图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：
[0025]u＝(h1x+h2y+h3)/(h7x+h8y+h9)
[0026]v＝(h4x+h5y+h6)/(h7x+h8y+h9)
[0027]其中，(x,y)为映射到BGR图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h1‑
h9为由透视变换矩阵计算出来的九个参数；
[0028]步骤S1.8、将透视图像的两端分别截掉长度得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，(x1,y1)表示最小矩形的四个顶点中x
i
+y
i
值的最小点，(x2,y2)表示最小矩形的四个顶点中y
i
‑
x
i
值的最小点；
[0029]步骤S1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。
[0030]进一步地，步骤S2中深度学习特征的提取过程为：将图像数据集输入训练好的ResNet18端对端特征提取网络中，提取出深度学习特征。
[0031]进一步地，所述ResNet18端对端特征提取网络的训练过程为：采用迁移学习的方式初始化ResNet18端对端特征提取网络的参数，并修改ResNet18端对端特征提取网络中全连接层最后一层的神经元数量为10，将带有标签的钢丝绳表面图像作为ResNet18端对端特征提取网络的输入，通过交叉熵损失函数训练ResNet18端对端特征提取网络；
[0032]所述交叉熵损失函数具体为：
[0033][0034]其中，N为钢丝绳表面缺陷的类别数，n为N的索引，p
n
钢丝绳表面图像对应的第n个类别的真实概率，q
n
为钢丝绳表面图像对应的第n个类别的预测概率。
[0035]进一步地，步骤S2中改进的LBP纹理特征SD
‑
LBP的提取过程为：
[0036]A、对图像数据集中的每一张规范化的钢丝绳表面图像采取区域分割的思想将原始的LBP窗口由3
×
3的变为9
×
9，再依次将9
×
9窗口划分为9个3
×
3的子窗口，获取邻域窗口的平均灰度值和不同条件下中心窗口值i
t
，
[0037]所述中心窗口值i
t
的获取过程为：
[0038][0039]其中，M是3
×
3子窗口中9个像素的中位数，f为经实验得到的最佳阈值，σ为9个3
×
3子窗口的平均灰度值标准差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，具体包括以下步骤：步骤S1、收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；步骤S2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；所述纹理特征包括改进的LBP纹理特征和灰度共生矩阵GLCM纹理特征；步骤S3、建立机器学习分类器，将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；步骤S4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，再次将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。2.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤S1包括如下子步骤：步骤S1.1、将每一张钢丝绳表面的BGR图像转化为灰度图，对灰度图进行高斯滤波处理，得到滤波图像，使用Sobel算子计算滤波图像的梯度幅值和方向：理，得到滤波图像，使用Sobel算子计算滤波图像的梯度幅值和方向：其中，G
x
(x,y)和G
y
(x,y)分别为滤波图像在x和y方向上的梯度值，G(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；步骤S1.2、使用非极大值抑制算法处理步骤S1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值Tmax＝150、低阈值Tmin＝50，得到二值化图像；步骤S1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；步骤S1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x
′
,y
′
)：x
′
＝xcos(b)
‑
ysin(b)y
′
＝xsin(b)+ycos(b)步骤S1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；步骤S1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤S1.5，直至旋转角度达到180
°
，将面积最小的矩形边界对应的四个顶点坐标映射到BGR图像中；步骤S1.7、根据映射到BGR图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：u＝(h1x+h2y+h3)/(h7x+h8y+h9)v＝(h4x+h5y+h6)/(h7x+h8y+h9)
其中，(x,y)为映射到BGR图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h1‑
h9为由透视变换矩阵计算出来的九个参数；步骤S1.8、将透视图像的两端分别截掉长度得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，(x1,y1)表示最小矩形的四个顶点中x
i
+y
i
值的最小点，(x2,y2)表示最小矩形的四个顶点中y
i
‑
x
i
值的最小点；步骤S1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。3.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面...

【专利技术属性】
技术研发人员：佘中健，戴毅斌，张传平，曹小华，李招云，毛永宁，刘国方，杨恺，柳尧，李其全，梁世亮，张池耿，
申请(专利权)人：江苏苏港智能装备产业创新中心有限公司，
类型：发明
国别省市：