基于数据融合和深度学习的轮胎缺陷检测系统及方法技术方案

本公开提供了基于数据融合和深度学习的轮胎缺陷检测系统及方法，涉及轮胎缺陷检测技术领域，方法包括获取轮胎翻转前以及翻转后采集的

【技术实现步骤摘要】
基于数据融合和深度学习的轮胎缺陷检测系统及方法


[0001]本公开涉及轮胎缺陷检测
，具体涉及基于数据融合和深度学习的轮胎缺陷检测系统及方法
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术
。
[0003]轮胎是汽车
、
摩托车等交通工具上的重要部件，它直接影响着车辆的行驶安全和性能
。
然而，轮胎在使用的过程中会面临各种各样的问题，其中最常见的是轮胎缺陷
、
如裂纹
、
磨损
、
气压异常等，如果轮胎缺陷未及时发现和修复，就会给驾驶员和乘客带来巨大的安全隐患，甚至可能导致交通事故
。
[0004]近年来，随着计算机视觉
、
机器学习等技术的发展，基于
3D
点云技术和深度学习的自动化轮胎缺陷检测方法得到了广泛应用，能够提高检测效率和准确性，减少人力成本，具有很大的应用前景
。
普通轮胎检测设备需要对轮胎上胎侧，下胎侧
、
胎冠和轮胎内侧图像分别进行缺陷检测，故至少需要采集四种图像，分别输入三类缺陷检测模型，严重影响检测速率，无法匹配轮胎工厂节拍，且对服务器存储空间和计算速率要求极高
。

技术实现思路

[0005]本公开为了解决上述问题，提出了基于数据融合和深度学习的轮胎缺陷检测系统及方法，利用
3D
点云结合多传感器数据融合，更加准确地描述轮胎的三维结构和缺陷情况，从而提高检测精度
。
[0006]根据一些实施例，本公开采用如下技术方案：
[0007]基于数据融合和深度学习的轮胎缺陷检测方法，包括：
[0008]获取轮胎翻转前以及翻转后采集的
3D
点云数据以及图像数据，并进行预处理；
[0009]将轮胎翻转前采集的
3D
点云预处理后的图像与翻转后采集的
3D
点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；
[0010]其中，基于三向
Han
‑
GAN
网络的图像转化融合方法，对图像之间的多源异构数据进行转换，转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，利用基于
SSD
网络的轮胎缺陷全局检测和基于
YOLOv3
网络的轮胎缺陷局部检测模型，对图像进行检测，输出缺陷位置以及类别信息
。
[0011]根据一些实施例，本公开采用如下技术方案：
[0012]基于数据融合和深度学习的轮胎缺陷检测系统，其特征在于，包括数据采集模块
、
轮胎输送模块
、
轮胎抓取模块
、
控制服务器和用户终端；所述数据采集模块
、
轮胎输送模块
、
轮胎抓取模块
、
用户终端均与控制服务器连接，轮胎输送模块与轮胎抓取模块连接；
[0013]所述数据采集模块用于采集获取轮胎翻转前以及翻转后采集的
3D
点云数据以及图像数据；
[0014]所述轮胎输送模块用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂以及用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取；
[0015]所述轮胎抓取模块用于将待测轮胎从轮胎输送模块的传送带抓取到轮胎检测区进行轮胎缺陷检测；
[0016]所述控制服务器用于将轮胎翻转前采集的
3D
点云预处理后的图像与翻转后采集的
3D
点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；并进行轮胎缺陷检测
。
[0017]与现有技术相比，本公开的有益效果为：
[0018]本公开在检测结构方面：针对轮胎检测三种图像特点，设计采用三种图像采集设备分别采集上下胎侧
、
胎冠和轮胎内侧图像；采用本公开提出的三向
Han
‑
GAN
网络对三种图像进行数据融合，轮胎全景图像拼接获得待测轮胎
3D
模型，此模型只需要将此待测轮胎
3D
模型输入一个缺陷检测模型，大大提高检测效率，减少服务器工作负担
。
附图说明
[0019]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定
。
[0020]图1为本公开实施例的系统结构连接示意图；
[0021]图2为本公开实施例的系统的模块设备分布图；
[0022]图3为本公开实施例的轮胎抓取模块外观图；
[0023]图4为本公开实施例的图像处理流程图；
[0024]图5为本公开的实施例的整体方法流程图；
[0025]图6为本公开实施例的图像转换原理图
。
[0026]其中，图2以及图3中，
1、
待测轮胎传送带；
2、
正常轮胎传送带；
3、
缺陷轮胎传送带；
4、
红外测距传感器；
5、
轮胎抓取模块；
6、
检测台；
7、
可见光相机；
8、
激光轮廓仪；
9、
结构光相机；
[0027]10、
基座；
11、
机械臂；
12、
加持末端执行器；
13、
圆盘；
14、
导轨；
15、
夹持杆
。
具体实施方式
：
[0028]下面结合附图与实施例对本公开作进一步说明
。
[0029]应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明
。
除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义
。
[0030]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式
。
如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和
/
或“包括”时，其指明存在特征
、
步骤
、
操作
、
器件
、
组件和
/
或它们的组合
。
[0031]实施例1[0032]本公开的一种实施例中提供了一种基于数据融合和深度学习的轮胎缺陷检测方
法，包括：
[0033]步骤一：获取轮胎翻转前以及翻转后采集的
3D
点云数据以及图像数据，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于数据融合和深度学习的轮胎缺陷检测方法，包括：获取轮胎翻转前以及翻转后采集的
3D
点云数据以及图像数据，并进行预处理；将轮胎翻转前采集的
3D
点云预处理后的图像与翻转后采集的
3D
点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；其中，基于三向
Han
‑
GAN
网络的图像转化融合方法，对图像之间的多源异构数据进行转换，转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，利用基于
SSD
网络的轮胎缺陷全局检测和基于
YOLOv3
网络的轮胎缺陷局部检测模型，对图像进行检测，输出缺陷位置以及类别信息
。2.
如权利要求1所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，所述预处理的过程包括：读取轮胎
3D
点云数据，并显示为二维灰度图像，并对二维灰度图像进行灰度化
、
二值化处理和均值滤波，将点云数据信息进行点云滤波
、
点云配准和点云分割，将
3D
点云数据转换为
3D
彩色矩形图像，将
3D
彩色矩形图像转换为圆形轮胎图像
。3.
如权利要求2所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，将
3D
彩色矩形图像二维矩阵定义为
A
，现在将矩阵
A
的每一列由直线转换为圆形
C
，计算圆形
C
曲线上的每个点的
xyz
坐标，转换为圆形，将矩阵
A
所有列均转换为圆形以后，即可得到
3D
圆形轮胎图像
。4.
如权利要求1所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，三向
Han
‑
GAN
网络多源异构数据转换过程为：针对三种不同相机采集的图像，分别构建三个生成器和三个鉴别器，构建三个鉴别器判别转换后的图像是否与真实图像相似，三向
Han
‑
GAN
网络输入为三种图像；输出为三种图像转化后的图像，且三种图像互相转换的结果具有一致性和连续性
。5.
如权利要求2所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，所述点云滤波的实现步骤为：首先确定滤波半径，对于每个点，确定一个滤波半径，该半径内的所有点将被用于计算滤波结果，其次对于每个点，根据其周围滤波半径内的点，利用中值函数计算滤波结果；最后根据计算得到的滤波结果，判断每个点是否为噪点，并将其去除
。6.
如权利要求5所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，所述滤波半径基于点云密度...

【专利技术属性】
技术研发人员：郭宇晗，郑飞，陈珊珊，何为凯，许芝光，王云明，陈振学，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：