基于图像分割的线束剥头测量与缺陷检测方法及系统技术方案

本发明专利技术提供了一种基于图像分割进行线束剥头测量和缺陷检测的方法及系统，主要技术使用改进后的YOLOX算法对新能源汽车上的线束剥头进行框取，接着使用改进后的Sobel边缘检测算子和改进后的U

【技术实现步骤摘要】
基于图像分割的线束剥头测量与缺陷检测方法及系统


[0001]本专利技术属于深度学习和图像处理
，具体涉及的是一种基于图像分割的线束剥头测量与缺陷检测方法及系统。

技术介绍

[0002]线束检测是新能源汽车电子行业生产流程中不可或缺的一部分，其目的是检测线束剥头的质量，减少缺陷率，提高生产效率和产品质量。线束剥头缺陷检测是线束生产中的一个重要环节。近年来，随着计算机视觉技术的发展，越来越多的研究关注如何使用计算机视觉技术来自动化新能源汽车上的线束剥头缺陷检测。新能源汽车线束剥头检测是指对新能源汽车电气线束中的剥头进行检测，以确保其质量和可靠性。线束剥头是连接线束和设备的关键部件，如果存在缺陷或不良，则会导致电气设备工作异常或损坏，严重时甚至可能引发事故。因此，对线束剥头进行检测具有重要意义。
[0003]当前线束检测研究的主要方向包括以下几个方面：基于图像处理和机器学习的线束检测方法。该方法主要利用图像处理技术，如边缘检测、形态学操作等，提取线束的特征，并使用机器学习算法进行分类和检测。这种方法简单易行，但对于复杂的线束结构和缺陷类型效果可能不佳。基于深度学习的线束检测方法。该方法主要利用深度神经网络对新能源汽车上的线束剥头图像进行处理和分析，能够学习到更复杂的特征表达。其中，基于卷积神经网络(CNN)的方法是目前主流的线束检测方法之一，可以通过端到端的训练过程实现自动化检测。同时，也有一些研究利用生成对抗网络(GAN)等方法增强数据集，提高检测性能。基于实例分割的线束检测方法。该方法可以通过对线束中的不同部分进行定位和分类，进一步提高检测准确率。其中，基于Mask R
‑
CNN的实例分割方法应用较为广泛。基于图像处理和机器学习的新能源汽车线束剥头缺陷检测方法已经成为主流。该方法主要是利用图像处理技术，如边缘检测、形态学操作等，提取线束剥头的特征，并使用机器学习算法，如支持向量机(SVM)、人工神经网络(ANN)等，进行分类和缺陷检测。近年来，深度学习技术在线束剥头缺陷检测中的应用越来越广泛。尤其是基于实例分割的方法，可以有效地定位和分类线束剥头的不同部分，并检测其中的缺陷。另外，一些新兴的技术，如3D扫描和点云处理等，也在线束剥头缺陷检测中得到了应用。
[0004]总的来说，当前新能源汽车线束剥头检测研究中，基于深度学习和实例分割的方法是研究热点，已经在实际生产中得到广泛应用。未来的研究方向可能会更加关注多模态数据的融合和算法可解释性的提高，以便更好地适应实际生产环境的需求。
[0005]目前来看，上述技术仍然有一些不足之处。由于缺少新能源汽车线束剥头缺陷数据集，目前的数据集是有限的，无法涵盖所有缺陷类型和线束结构。这会对模型的训练和检测性能造成影响。目前大多数线束缺陷检测方法需要进行图像处理和特征提取等多个步骤，导致处理速度较慢。在新能源汽车的实际生产中，需要快速而准确地检测线束剥头的缺陷。目前的线束缺陷检测方法通常是针对特定线束结构和缺陷类型进行设计的，缺乏通用性。此外，目前的线束缺陷检测方法仍然需要人工标注和纠错，这会增加成本和时间，并且
容易出现人为错误。由于深度学习等方法往往是黑盒模型，难以解释模型的决策过程和错误原因，这会限制模型在实际生产中的应用。

技术实现思路

[0006]针对现有的新能源汽车线束剥头检测技术存在的缺陷和问题，本专利技术提供一种基于图像分割的线束剥头测量与缺陷检测方法及系统，以解决传统线束缺陷检测方法存在的数据集缺乏、处理速度慢、通用性不足、人工干预多、模型解释性差等问题。
[0007]本专利技术解决其技术问题所采用的方案是：一种基于图像分割的线束剥头测量与缺陷检测方法，使用改进后的YOLOX目标检测网络对剥头进行检测，改进Sobel边缘检测算子和U
‑
Net图像分割网络，对线束剥头的长度测量和缺陷检测，步骤如下。
[0008]第一步：对采集的图像进行预处理，包括将RGB图像进行灰度处理、图像去噪、增强和灰度化处理，以提高线束剥头结构和缺陷的辨识度，提高边缘检测和分割的准确性。
[0009]第二步：使用改进后的YOLOX小目标检测模型对剥头进行目标检测。在训练过程中，对模型迭代优化以提高检测准确率和速度。使用测试集对训练好的模型进行评估，检查检测精度和速度，并对模型进行优化，如调整超参数、增加数据集、改进算法等。将训练后的具有权重文件YOLOX小目标检测模型应用于实际线束剥头检测中，并进行实时检测和反馈。同时，对模型进行维护和更新，以保持其稳定性和准确性。
[0010]第三步：使用改经后的Sobel边缘检测算子对线束剥头图像进行边缘检测，得到线束剥头的边缘轮廓，改经后的Sobel边缘检测包括如下步骤。
[0011](1)对灰度图像进行高斯滤波，采用高斯滤波器对图像进行平滑滤波可以减少噪声，使得边缘检测结果更加准确，高斯函数的公式为：
[0012][0013]式(1)中，x、y分别为当前点与目标点之间的水平和垂直距离，σ为标准差。
[0014]对式(1)高斯滤波器与原线束剥头图像进行卷积，公式为：
[0015]G(x，y)＝f(x，y)*H(x，y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0016]式(2)中，f(x,y)为原剥头图像，G(x,y)为卷积后的剥头图像。
[0017](2)对滤波后的图像应用Sobel算子，分别对图像进行水平和垂直方向的差分，Sobel算子用于检测图像中的边缘：
[0018][0019][0020]式(3)中，I表示输入灰度图像；第一个矩阵是水平方向上的Sobel算子，第二个矩阵是垂直方向上的Sobel算子，两个矩阵分别与输入线束剥头的灰度图像进行卷积，得到水平和垂直方向上的差分结果，然后，这两个结果可以通过平方和开方的方式获得边缘强度，公式如下：
[0021]E＝sqrt(Gx2+Gy2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0022]式(4)中，E表示边缘强度，Gx和Gy分别是水平和垂直方向上的差分结果。
[0023](3)非极大值抑制，即在局部邻域内比较像素的梯度幅值，保留梯度最大的像素作为边缘像素，将其他像素的幅值置为零。
[0024](4)用双阈值算法进行边缘检测；将梯度幅值分成两个阈值，将大于高阈值的像素点标记为强边缘，小于低阈值的像素点标记为非边缘，介于两个阈值之间的像素点标记为弱边缘，然后将弱边缘与强边缘相连的部分标记为边缘，对于标记为弱边缘的像素点，如果其周围的8个像素中存在任意一个被标记为强边缘，则将该像素点标记为边缘，否则将其标记为非边缘。
[0025]第四步：图像分割，即将边缘检测得到的线束剥头边缘轮廓输入到U
‑
Net图像分割网络中，进行线束的分割，得到线束区域的掩膜。
[0026]第五步：线束长度测量，即通过分割得到的线束掩膜计算线束的长度。
[0027]第六步：缺陷检测，即将线束掩膜与原始图像进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，使用改进后的YOLOX对新能源汽车上的剥头进行框取，以实现对剥头散开、导体刮出、绝缘体未拉脱等缺陷的检测，接着使用改进后的Sobel边缘检测算子和U
‑
Net图像分割网络，对线束剥头的长度测量和缺陷检测，步骤如下：第一步：对采集的图像进行预处理，包括将RGB图像进行灰度处理、图像去噪、增强和灰度化处理，以提高线束剥头结构和缺陷的辨识度，提高目标检测的精准度，提高边缘检测和分割的准确性；第二步：对剥头进行目标检测，使用改进后的YOLOX小目标检测模型进行训练，在训练过程中，指定数据集路径、批处理大小和学习率等参数，并进行迭代优化以提高检测准确率和速度，使用测试集对训练好的模型进行评估，检查检测精度和速度，并对模型进行优化，调整模型超参数、增加数据集和改进算法等，将训练后的具有权重文件YOLOX小目标检测模型应用于实际线束剥头检测中，并进行实时检测和反馈，同时，对模型进行维护和更新，以保持其稳定性和准确性；第三步：使用改进后的Sobel边缘检测算子对线束剥头图像进行边缘检测，得到线束剥头的边缘轮廓，改进后的Sobel边缘检测包括如下步骤：(1)对灰度图像进行高斯滤波，采用高斯滤波器对图像进行平滑滤波可以减少噪声，使得边缘检测结果更加准确，高斯函数的公式为：式(1)中，x、y分别为当前点与目标点之间的水平和垂直距离，σ为标准差；对式(1)高斯滤波器与原线束剥头图像进行卷积，公式为：G(x，y)＝f(x，y)*H(x，y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式(2)中，f(x,y)为原剥头图像，G(x,y)为卷积后的剥头图像；(2)对滤波后的图像应用Sobel算子，分别对图像进行水平和垂直方向的差分，Sobel算子用于检测图像中的边缘：子用于检测图像中的边缘：式(3)中，I表示输入灰度图像；第一个矩阵是水平方向上的Sobel算子，第二个矩阵是垂直方向上的Sobel算子，两个矩阵分别与输入线束剥头的灰度图像进行卷积，得到水平和垂直方向上的差分结果，然后，这两个结果可以通过平方和开方的方式获得边缘强度，公式如下：E＝sqrt(Gx2+Gy2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)式(4)中，E表示边缘强度，Gx和Gy分别是水平和垂直方向上的差分结果；(3)非极大值抑制，即在局部邻域内比较像素的梯度幅值，保留梯度最大的像素作为边缘像素，将其他像素的幅值置为零；
(4)用双阈值算法进行边缘检测；将梯度幅值分成两个阈值，将大于高阈值的像素点标记为强边缘，小于低阈值的像素点标记为非边缘，介于两个阈值之间的像素点标记为弱边缘，然后将弱边缘与强边缘相连的部分标记为边缘，对于标记为弱边缘的像素点，如果其周围的8个像素中存在任意一个被标记为强边缘，则将该像素点标记为边缘，否则将其标记为非边缘；第四步：图像分割，即将边缘检测得到的线束剥头边缘轮廓输入到U
‑
Net图像分割网络中，进行线束的分割，得到线束区域的掩膜；第五步：线束剥头长度测量，即通过分割得到的线束掩膜计算线束的长度；第六步：剥头缺陷检测，即将线束掩膜与原始图像进行相减，得到缺陷区域的掩膜；使用特征提取算法中的图像滤波对缺陷区域进行进一步处理，提取出具体的缺陷信息。2.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，所述的YOLOX目标检测算法是改进后的目标检测算法，其通过修改网络结构，增加了网络的深度和宽度，增加感受野的大小，改善了模型对剥头之类的小目标的检测能力。对YOLOX算法进行改进的具体方法如下：(1)添加高效通道注意力模块ECA
‑
NET，该模块在全局平均池化层之后使用1x1卷积层，去除了全连接层。避免了维度缩减，并有效捕获了跨通道交互；(2)在block层添加注意力模块来减少参数量的计算，提高运行效率；(3)在经过SE的全局均值池化后，ECA
‑
Net会考虑每个通道及其k个近邻，通过一维卷积快速完成通道权重的计算。K就代表了在一个通道权重的计算过程中参与的近邻数目，k的数目很明显会影响ECA计算的效率和有效性。ECA
‑
NET的自适应函数为：(4)ECA
‑
Net将输入特征图经过全局平均池化，特征图从[h,w,c]的矩阵变成[1,1,c]的向量，再计算得到自适应的一维卷积核大小kernelsize，然后将kernelsize用于一维卷积中，得到对于特征图的每个通道的权重，最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图；(5)在YOLOX中使用多个不同大小的anchorbox并且使用FPN多尺度特征融合方法；(6)使用后处理方法来进一步提高小目标的检测能力；(7)使用非极大值抑制(NMS)的不同阈值、引入低阈值过滤器等方法来过滤掉一些误检的目标。并且对于线束剥头的检测，根据具体场景进行调整和优化，设置不同的anchorbox大小、调整训练时的学习率和batchsize。3.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，所述的U
‑
Net图像分割为改进后的U
‑
Net图像分割，在对线束剥头进行图像分割时，将边缘检测得到的线束剥头边缘轮廓输入到U
‑
Net图像分割网络中进行线束分割，步骤如下：(1)准备数据集：准备带有线束剥头的图像以及相应的掩膜，掩膜中线束剥头区域为1，其余区域为0；(2)数据预处理：将上一步边缘检测得到的线束剥头边缘轮廓转换为二值掩膜，其中线束剥头边缘的区域为1，其余区域为0；同时，需要对输入图像和掩膜进行统一的尺寸处理，以便于输入到U
‑
Net网络中；
(3)定义U
‑
Net网络：利用编码器提取图像的特征，利用解码器将特征映射回原始图像的尺寸，同时通过skipconnection将编码器和解码器的特征图结合起来，包括根据具体的线束剥头的检测需求进行网络结构的调整和优化；(4)训练U
‑

【专利技术属性】
技术研发人员：王西超，蔡猛，李保江，陈国初，王海燕，赵淑阳，
申请(专利权)人：上海电机学院，
类型：发明
国别省市：