一种基于多模型融合的轮胎X光病疵检测方法技术

本发明专利技术公开了一种基于多模型融合的轮胎X光病疵检测方法，该方法基于YOLOv3模型和改进的Faster R‑CNN模型，利用两种模型各自优点，将其结合到一起，实现了计算机来代替人眼判别当前X光图像是否有瑕疵，以及是何种瑕疵，与此同时还能标出病疵在图像中的位置。可在主要解决漏判的情况下一定程度地解决误判问题，大大提高轮胎的安全性，并且能减轻质检人员的压力。

A tire X-ray defect detection method based on multi model fusion

【技术实现步骤摘要】
一种基于多模型融合的轮胎X光病疵检测方法
本专利技术应用计算机视觉和工业检测
，具体来说，是通过融合YOLOv3模型和改进的FasterR-CNN模型，使得可以通过计算机使用目标检测算法来检测轮胎X光图像中的病疵。
技术介绍
轮胎拍摄X光属于轮胎制造过程的最后一个质量监控阶段，现在各大生产商一般都是采取三班轮换制来控制这个阶段的质量。具体的流程是，轮胎送到X光机通道，X光机给轮胎拍摄X光图像，质量监测人员在显示器前就看到X光图像，然后质检人员就会根据X光判断是否有病疵，如果有病疵则当前这条轮胎会送入到专门的通道进行处理，否则轮胎进入下一个流程。目前国内轮胎生产商的质检方式主要存在以下问题：首先，效率比较低下，一个轮胎的X光图像一般都比较大，熟练的质检人员要完全判别一个轮胎是否有病疵都需要消耗数十秒的时间；其次，判别准确度不高，误判、漏判多，长期看显示屏屏幕人容易疲劳，在这种情况下，有可能出现将有病疵的图像判别为无病疵，造成漏判或者病疵类别判断错误，造成误判。误判和漏判这两种情况中最关键的是要解决漏判问题，这也是工业界最关心的一个问题，病疵类别判断错了，由于没有卖给商家，所以不会造成安全问题，但是漏判了，一旦到了商家手里就可能有安全隐患；最后，长期进行人工判别，对质检人员健康损伤较大。长期对着显示屏会对眼睛造成伤害，导致质检人员出现头晕目眩的情况。根据近三年的统计，人员检测X光图片的漏判率大约为2.3％，所谓的漏判率即将有病疵的图片判别为无病疵。近几年，目标检测(ObjectDetection)算法由于深度学习的崛起得到飞速发展，提出了很多基于卷积神经网络的目标检测算法。一方面，有两阶段目标检测算法如FasterR-CNN。另一方面，又有一阶段的目标检测算法例如YOLO。这些算法的出现使得目标检测的准确率和效率得到大大的提高，让目标检测算法能够在工业上进行应用。但原始的FasterR-CNN检测X光存在如下问题，一是将病疵图片判别为正常图片的频率比较高，二是各个病疵的查全率和查准率达不到工业检测要求。而YOLOv3这种一阶段目标检测算法虽然速度比二阶段目标检测算法快很多，但是在精度方面不如二阶段目标检测算法。
技术实现思路
针对现有质检方式存在的上述问题，本专利技术提供了一种基于YOLOv3模型和改进的FasterR-CNN模型融合的轮胎X光病疵检测方法，实现了计算机来代替人眼判别当前X光图像是否有瑕疵，以及是何种瑕疵，与此同时还能标出病疵在图像中的位置。本专利技术采用的技术方案如下：一种基于多模型融合的轮胎X光病疵检测方法，包括如下步骤：(1)图像预处理；将用于训练和检测的轮胎X光图片转化为可输入模型的格式和大小；(2)训练改进的FasterR-CNN模型；(3)训练YOLOv3模型；(4)将待检测的轮胎X光图像输入到两个训练好的模型中，合并得到的结果：如果都判断为正常图片，那么结果是正常图片；如果YOLOv3判别有病疵，但是改进的FasterR-CNN判别为无病疵，那么当前图片的分类和病疵位置都按照YOLOv3预测的结果给定，如果改进的FasterR-CNN判别为有病疵，YOLOv3判别为无病疵，此时查看改进的FasterR-CNN判别病疵的置信度，大于0.7就判别为有病疵，否则无病疵；如果两者都判别为有病疵，则按照改进的FasterR-CNN的预测结果为准。上述技术方案中，所述的改进的FasterR-CNN模型是：首先将原始图像经过卷积神经网络之后得到一系列的特征图；再将特征图输入到区域候选网络(即RPN)，在区域候选网络中经卷积层处理送入两个平行网络，一个为分类网络，用于判断前景或背景，另一个为回归网络，用于修正边框位置，获得候选区域，与特征图一并输入感兴趣区域池化层统一尺寸后，最后输入分类层，输出具体的病疵类别和位置；将区域候选网络中使用的分类损失函数改为焦点损失函数，因为轮胎X光图像中，每张图像的病疵数量都是很少的，绝大多数为背景，导致了训练RPN的阶段，负样本(即背景)的数量远远大于正样本(即病疵)的数量。焦点损失函数的目的是减少背景样本的权重，从而使得模型在训练时更关注于病疵样本。焦点损失函数的定义如下所示：FL(pt)＝-(1-pt)γlog(pt)其中：pt是预测类别为t的概率，γ为平衡因子。如果都判断为正常图片，那么结果都是正常图片；如果YOLOv3判别有病疵，但是改进的FasterR-CNN判别为无病疵，那么当前图片的分类和病疵位置都按照YOLOv3预测的结果给定，如果改进的FasterR-CNN判别为有病疵，YOLOv3判别为无病疵，此时查看改进的FasterR-CNN判别病疵的置信度，大于0.7就判别为有病疵，否则无病疵；如果两者都判别为有病疵，不管病疵类型是否一致，出于改进的FasterR-CNN对病疵的判别上查准率和查全率普遍比YOLOv3好，一切按照改进的FasterR-CNN的预测结果为准。本专利技术的有益技术效果在于：基于目标检测的的轮胎X光病疵检测可避免因为人的因素造成的效率低下，在主要解决漏判的情况下一定程度地解决误判问题，从而大大提高轮胎的安全性，并且能减轻质检人员的压力。而选取的模型为YOLOv3和改进的FasterR-CNN的优势有三：(1)改进的FasterR-CNN在具体病疵类型判别问题上效果比较好，即使是“胎侧气泡”和“胎冠气泡”这两种比较难判别的病疵，该算法也能很准确地找出这两种病疵；(2)假设将病疵检测问题看做一个二分类问题，即如果模型判别为病疵实际也是病疵图片的话，不管是何种病疵，也不管模型判断的具体类型准不准，就认为是判别对的。如果是这种评判标准，从查全率上看，YOLOv3算法判断是否是病疵的效果比改进的FasterR-CNN好2.83％；(3)从YOLOv3和改进的FasterR-CNN在各个病疵的查准率和查全率看，两个模型之间存在一定的多样性。可以利用模型之间的多样性得到更好的结果。附图说明图1为基于多模型融合的轮胎X光病疵检测方法流程图；图2为改进的FasterR-CNN模型流程图；图3为IoU示意图。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施例子对本专利技术进行详细说明。本实例旨在按本专利技术实现对轮胎X光图像的瑕疵检测。该方法流程包括图像预处理、模型训练、将待测图片输入模型、合并结果等步骤，如图1所示，具体实现过程如下：(1)图像预处理。本例的原始图片大小是20000*1900的大小，在标注病疵的时候是直接在原始图上标注的。由于算法计算力的限制，将其分为11张1900*1900的小图，小图之间会有一定的重叠(下一张与上一张图片大约重叠82个像素)，因此需要将相应的坐标位置进行从变换，改写记录病疵类型以及坐标的xml文件。由于图片的病疵非常稀疏，切图几乎不会造成病疵的遗漏。(2)训练改进的FasterR-CNN模型。改进的FasterR-CNN使用的是VOC文件格式，VOC文件主要包含三个文件夹。第一个文件夹是Annotations，这个文件夹里面主要存放的是描述图片中病疵类型和位置的xml文件；第二个文件夹是JPGImages，该文件夹主要存放是所有的图片文件；第三个文件夹是ImageSets，该文件夹下存放的是四个txt本文档来自技高网...

【技术保护点】
1.一种基于多模型融合的轮胎X光病疵检测方法，其特征在于，包括如下步骤：(1)图像预处理；将用于训练和检测的轮胎X光图片转化为可输入模型的格式和大小；(2)训练改进的Faster R‑CNN模型；(3)训练YOLOv3模型；(4)将待检测的轮胎X光图像输入到两个训练好的模型中，合并得到的结果：如果都判断为正常图片，那么结果是正常图片；如果YOLOv3判别有病疵，但是改进的Faster R‑CNN判别为无病疵，那么当前图片的分类和病疵位置都按照YOLOv3预测的结果给定，如果改进的Faster R‑CNN判别为有病疵，YOLOv3判别为无病疵，此时查看改进的Faster R‑CNN判别病疵的置信度，大于0.7就判别为有病疵，否则无病疵；如果两者都判别为有病疵，则按照改进的Faster R‑CNN的预测结果为准。

【技术特征摘要】
1.一种基于多模型融合的轮胎X光病疵检测方法，其特征在于，包括如下步骤：(1)图像预处理；将用于训练和检测的轮胎X光图片转化为可输入模型的格式和大小；(2)训练改进的FasterR-CNN模型；(3)训练YOLOv3模型；(4)将待检测的轮胎X光图像输入到两个训练好的模型中，合并得到的结果：如果都判断为正常图片，那么结果是正常图片；如果YOLOv3判别有病疵，但是改进的FasterR-CNN判别为无病疵，那么当前图片的分类和病疵位置都按照YOLOv3预测的结果给定，如果改进的FasterR-CNN判别为有病疵，YOLOv3判别为无病疵，此时查看改进的FasterR-CNN判别病疵的置信度，大于0.7就判别为有病疵，否则无病疵；如果两者都判别...

【专利技术属性】
技术研发人员：陈金水，丁启元，范彬彬，李莹，杨颖，
申请(专利权)人：杭州数据点金科技有限公司，
类型：发明
国别省市：浙江,33