一种基于深度学习的汽车白车身焊缝质量检测方法、装置制造方法及图纸

本发明专利技术涉及一种基于深度学习的汽车白车身焊缝质量检测方法及装置，其方法包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。本发明专利技术通过对汽车白车身焊缝的三维点云构建并训练基于深度学习的焊缝分类识别模型，并利用其检测汽车白车身焊缝质量，从而提高了检测的效率、准确率和鲁棒性。准确率和鲁棒性。准确率和鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的汽车白车身焊缝质量检测方法、装置


[0001]本专利技术属于汽车检测与深度学习
，具体涉及一种基于深度学习的汽车白车身焊缝质量检测方法、装置。

技术介绍

[0002]白车身通常指已经装焊好但尚未喷漆的白皮车身(Body in white)，包括翼子板、发动机盖、车门、行李箱盖或背门等装配件。目前传统整车厂商的车身焊接车间内，其进行焊缝质量检测的方法基本是人工目测法，该方法具有直观灵活的优点，但其效率较低，检测结果受人为因素与周围环境因素影响较大。在部分智能工厂内，已装配有基于机器视觉技术的工业机器人，主要进行产品加工前定位、车型识别和装配定位等工作。基于机器视觉的焊缝质量检测技术具有重要意义，已有诸多国内外学者对此进行了研究。
[0003]现有的基于工业传感技术焊缝质量检测技术：
[0004]1.基于超声波的焊缝质量检测
[0005]超声波检测方式是根据超声波在不同的材质或不同的晶体结构回波的波形会发生不同的变化，使用回波接收仪器可以接收到波形所发生的变化。若被测焊件表面或内部存在缺陷，缺陷部位对超声波的反射能力以及穿透时间与无缺陷位置相比有显著不同，通过分析处理反射波信号即可探测出焊件内表面缺陷。缺点是工业生产条件下环境较为复杂，噪声和温度会对测量产生一定的影响，导致测量的准确率不足，且需要得焊接过程中有效进行能量调节来保障恒功率，稳定性不高。
[0006]2.基于红外照相的焊缝质量检测
[0007]红外照相检测是通过大功率光源对待测焊缝进行加热，焊缝受热产生热量，其中均匀部位受热均匀，非均匀部位产生热量大，通过红外照相对产生热量的焊缝形成热成像图像，通过对图像中的温度梯度进行处理，可以检测焊缝内部的凹槽、穿孔等熔透情况。缺点是此方法需要高质量的可变锁相频率的热激励装置，且检测设备较为复杂，需要高性能红外摄像机捕捉轻微的温度变化，并用计算机进行相位处理。此方法的检测过程较为繁琐，检测速度受到了限制。且受到检测条件、成本、场地的限制较多，因而不适合应用在车身焊接的在线检测。
[0008]3.基于机器视觉的焊缝质量检测
[0009]现在通过机器视觉进行焊缝测量的方法主要采用高分辨率摄影相机对焊缝进行图像采集并平滑处理减少噪点、失真，随后利用滤波算法去除图像中的高斯噪声和椒盐噪声，去除噪声后采用边缘检测算法针对焊缝瑕疵特征对边缘进行提取，再经过霍夫变换查找图像中的直线，根据处理后的图像进行分析检测。现有的焊缝视觉检测多采用面阵相机进行图像采集，再通过图像处理配合深度学习网络算法进行处理后进行焊缝瑕疵检测。
[0010]4.基于X射线的焊缝质量检测
[0011]X射线实时成像的原理是实时的将射线通过被测物体，并投影在探测器的阵列上，通过计算机技术进行数据采集，使被测物体的结构进行重现的一项技术。使用X射线进行焊
缝质量检测是将X射线投射到焊缝上，若在某个位置处焊缝存在缺陷(气孔或者未融合等)时，此处透过的X射线强度高于无缺陷位置的射线强度，根据射线强度差别导致投射到数字底片上的图像特征有所不同，因此可以通过图像处理对焊缝内部缺陷进行提取和识别。缺点是采用X射线数字成像缺陷检测系统只能对焊缝内部缺陷进行识别，而对于焊缝的外观缺陷如咬边、凹陷及焊缝不均匀等则无法识别。
[0012]现有技术存在以下缺点：
[0013](1)传统的焊接质量检测技术对车身进行破坏，整车需报废，耗费较大人力，效率低；焊点熔核的气孔等无法鉴别。
[0014](2)采用基于图像检测的卷积神经网络的方法虽然准确率相比与传统方法得到了显著提高，但是只能在部分缺陷上识别率较高，整体的识别准确率不高，且需要较多的样本量才能达到一定的准确率。
[0015](3)采用了深度学习网络方法，构建了相应的深度学习网络，但是其网络结构没有采用特定的残差网络结构，对于卷积层数较深的情况下，其卷积效果将会很不理想，降低其识别的准确率。

技术实现思路

[0016]为解决
技术介绍
中提出的现有车身焊接质量检测技术效率低、准确率不高的问题，在本专利技术的第一方面提供了一种基于深度学习的汽车白车身焊缝质量检测方法，包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
[0017]在本专利技术的一些实施例中，所述利用随机抽样一致性方法去除每个三维点云中的次要平面包括：随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；对所述焊接平面进行直通滤波，去除其中的噪声。
[0018]进一步的，所述变换矩阵H通过如下方法确定：
[0019][0020]其中(x，y，z)表示目标点云角点位置，(x1，y1，z1)为点云角点位置，s为尺度参数，h
11
－h
44
表示变换矩阵H的元素。
[0021]在本专利技术的一些实施例中，所述焊缝分类识别模型包括多个T－net网络、多个卷积神经网络和多个多层感知机网络，每个T－net网络，用于对三维点云或高维特征空间进行姿态矫正；每个卷积神经网络，用于提取三维点云中的相邻点对的特征或高维特征空间中的特征；每个多层感知机网络，用于从多个相邻点对的特征中提取局部特征或根据全局特征进行焊缝缺陷分类。
[0022]进一步的，所述焊缝分类识别模型还包括一个或多个最大池化层，所述最大池化
层用于将经过多次姿态矫正和局部特征提取得到的全局特征进行池化。
[0023]在上述的实施例中，所述获取多个汽车白车身焊缝的三维点云包括：采集多个焊缝的三维点云；对采集到的多个焊缝三维点云按照预设距离进行截取分割。
[0024]本专利技术的第二方面，提供了一种基于深度学习的汽车白车身焊缝质量检测装置，包括：获取模块，用于获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；训练模块，用于基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；识别模块，用于利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
[0025]进一步的，所述获取模块包括：抽取单元，用于随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；确定单元，用于根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；滤波单元，用于对所述焊接平面进行直通滤波，去除其中的噪声。
[0026]本专利技术的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。2.根据权利要求1所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，所述利用随机抽样一致性方法去除每个三维点云中的次要平面包括：随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；对所述焊接平面进行直通滤波，去除其中的噪声。3.根据权利要求2所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，所述变换矩阵H通过如下方法确定：其中(x，y，z)表示目标点云角点位置，(x1，y1，z1)为点云角点位置，s为尺度参数，h
11
－h
44
表示变换矩阵H的元素。4.根据权利要求1所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，所述焊缝分类识别模型包括多个T－net网络、多个卷积神经网络和多个多层感知机网络，每个T－net网络，用于对三维点云或高维特征空间进行姿态矫正；每个卷积神经网络，用于提取三维点云中的相邻点对的特征或高维特征空间中的特征；每个多层感知机网络，用于从多个相邻点对的特征中提取局部特征或根据全局特征进行焊缝缺陷分类。5.根据权利要求4所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，...

【专利技术属性】
技术研发人员：郑银环，宋宣科，卢杰，徐劲力，丁刚强，袁智军，易福华，詹强民，黄辑，常俊桃，莫军昌，黄善彬，
申请(专利权)人：广西汽车集团有限公司，
类型：发明
国别省市：