一种基于深度学习的橡胶管缺陷检测方法和系统技术方案

本发明专利技术提供一种基于深度学习的橡胶管缺陷检测方法和系统，包括：基于二元高斯热力图和模型输出的图像特征计算误差；基于所述误差更新所述模型；采用更新后的模型计算验证图像特征与其相应热力图的相关系数；重复上述过程，直至达到最大循环数；根据所述相关系数，获得最优模型；使用所述最优模型检测待测橡胶管图像，输出待测橡胶管图像特征；对所述待测橡胶管图像特征进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化输出。本发明专利技术实施例中的基于深度学习的橡胶管缺陷检测方法和系统，实现了橡胶管表面缺陷的自动检测，准确率高，大大提高了车用橡胶管的质检效率。率。率。

【技术实现步骤摘要】
一种基于深度学习的橡胶管缺陷检测方法和系统


[0001]本专利技术涉及数字图像领域，具体地，涉及一种基于深度学习的橡胶管缺陷检测方法和系统。

技术介绍

[0002]橡胶管作为车辆工程的重要材料之一，在各重要组件的连接上起到关键性作用，因此保证车用橡胶管的质量合规显得尤为重要。作为一种工业产品，在生产过程当中，由于工艺原因、流程原因、工人操作不当等问题，不可避免的会导致橡胶管表面缺陷的出现。找到这些缺陷并剔除相应的产品、避免其进入车辆制造阶段，是车用橡胶管质检环节的重要任务之一。
[0003]橡胶管表面缺陷检测具有以下难点：尺寸大小不一，相对于胶管本身尺寸、有些缺陷清晰且大，很明显，有些则很微小，即使同一类的缺陷，也有尺寸相差很大的情况；橡胶管表面还有很多水渍、灰尘等，这些脏污与某些缺陷有相似的特征，但不能作为缺陷检出；不同类型的缺陷之间，也有相似的难以区分的特征，这就要求检测方法具备较强的分类能力。
[0004]目前使用的解决方案基本上可以概括为三个方向。一为人工检查，此方法检测精度高，但检测成本高、工作效率较低、对人体有一定害处，且员工培训成本高；二为基于传统数字图像处理技术的算法，此方法相对于人工检查，虽然效率提高、检测成本下降，但是精度则比人工检测降低很多，仅能做到部分缺陷的定位，不能进行类别判定，后期仍需要人工复查；三为基于深度学习网络的算法，相对于传统算法，精度得到大幅提升，且可判定缺陷类别，而相对于人工，在精度可接受的范围内，工作效率得到大幅提升，且大幅缩减培训成本。但是当前基于ImageNet数据集预训练的通用分类模型或基于COCO数据集训练的通用目标检测、分割模型，均不能很好的适应于当前场景，且目标检测及分割无法很好的检出微小瑕疵。
[0005]《胶管在线缺陷检测装置及方法》(CN107154039A)中提出了一种基于传统计算机数字图像处理技术的解决方案，通过图片中ROI区域内的灰度值的异常变化，定位可能的缺陷区域。但其算法仅局限于被检测物体表面灰度的异常变化，不仅逻辑过于简单，导致精度较低，且无法检出微小瑕疵，也无法对检出缺陷进行类别判定。不仅如此，该算法需要大量的经验参数设置，必然导致较差的泛化性。
[0006]《基于BP神经网络的汽车胶管芯轴质量评价方法》(CN108133261A)中则提出了一种基于BP神经网络的解决方案，其算法设计了一个很简单BP神经网络，对被检测物体上的缺陷进行类别判断。但其算法过于简单，无法给出缺陷定位信息，也无法检出微小瑕疵。
[0007]现有技术存在的缺陷总结如下：
[0008]1)《胶管在线缺陷检测装置及方法》(CN107154039A)受限于传统的计算机数字图像处理技术，检测精度较低，且无法检出微小瑕疵，也无法对检出的缺陷进行类别判定，使用时需要人工设置大量的经验参数，泛化性较差，且后期仍需要人工复检，限制了整体效率。
[0009]2)《基于BP神经网络的汽车胶管芯轴质量评价方法》(CN108133261A)设计了一个简单的BP神经网络对被检测物表面的缺陷进行类别判定，但并不能给出缺陷定位信息，且对微小瑕疵缺乏检出能力。

技术实现思路

[0010]针对现有技术中的缺陷，本专利技术的目的是提供一种基于深度学习的橡胶管缺陷检测方法和系统。
[0011]根据本专利技术的一个方面，提供一种基于深度学习的橡胶管缺陷检测方法，包括：
[0012]基于二元高斯热力图和模型输出的图像特征计算误差；
[0013]基于所述误差更新所述模型；
[0014]采用更新后的模型计算验证图像特征与其相应热力图的相关系数；
[0015]重复上述过程，直至达到最大循环数；
[0016]根据所述相关系数，获得最优模型；
[0017]使用所述最优模型检测待测橡胶管图像，输出待测橡胶管图像特征；
[0018]对所述待测橡胶管图像特征进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化输出。
[0019]优选地，所述基于二元高斯热力图和模型输出的图像特征计算误差，包括：
[0020]获取输入的训练图像和相关信息，所述相关信息包括图像上所有缺陷的位置、长和宽、缺陷种类；
[0021]对所述训练图像进行预处理；
[0022]根据所述训练图像及相关信息绘制橡胶管缺陷二元高斯热力图；
[0023]使用模型提取所述预处理后的训练图像的图像特征；
[0024]计算所述图像特征和所述二元高斯热力图之间的误差。
[0025]优选地，所述预处理，包括：
[0026]对输入图像进行数据增强处理；
[0027]将所述输入图像及相关信息处理为标准化数据格式；
[0028]优选地，所述误差获取过程，包括：
[0029]对于图像中实际存在的某类橡胶管缺陷，计算该类结果与其它类结果的类间相对误差，并使该误差最大化；
[0030]计算热力图与模型输出结果的Dice损失函数，并使该误差最小化；
[0031]计算热力图与模型输出结果的回归损失，求和，并按缺陷面积归一化，用于平衡大面积与小面积缺陷的损失权重；
[0032]计算热力图与模型输出结果的回归损失，求平均，并按照缺陷类别数归一化，用于提高大面积缺陷的损失权重；
[0033]把上述4个小步骤所计算的损失函数加权求和。
[0034]优选地，所述模型采用通用的卷积神经网络模型。
[0035]优选地，所述采用更新后的模型计算验证图像特征与其相应热力图的相关系数，包括：
[0036]计算每个训练图像的误差，N个训练图像获得N个误差；
[0037]把N张训练图像分为y组，每组x张图像，N＝x*y；
[0038]把一组内x张图像的误差求平均，用于更新模型；
[0039]更新y次后，再使用全部验证图像的结果，计算皮尔逊相关系数；
[0040]所述根据相关系数，获得最优模型，包括：
[0041]假设最大循环数为M，则有M个皮尔逊相关系数；
[0042]从所述M个皮尔逊相关系数选择选择皮尔逊相关系数最大的作为最优模型。
[0043]优选地，对所述检测结果进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化，包括：比较模型输出结果中各个类别的最高置信度与阈值，如果最高置信度大于预先设定的阈值，判定这段橡胶管有该类缺陷；
[0044]将判断存在的缺陷在原图上绘制成热力图，将缺陷可视化展示，作为最终结果。
[0045]根据本专利技术的第二个方面，提供一种基于深度学习的橡胶管缺陷检测系统，包括：
[0046]误差模块，该模块基于模型输出的训练图像特征和训练图像二元高斯热力图计算误差；
[0047]优化更新模块，该模块基于所述误差更新所述模型；
[0048]相关系数评估模块，该模块采用更新后的模型计算验证图像特征与其热力图的相关系数；
[0049]循环模块，该模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的橡胶管缺陷检测方法，其特征在于，包括：基于二元高斯热力图和模型输出的图像特征计算误差；基于所述误差更新所述模型；采用更新后的模型计算验证图像特征与其相应热力图的相关系数；重复上述过程，直至达到最大循环数；根据所述相关系数，获得最优模型；使用所述最优模型检测待测橡胶管图像，输出待测橡胶管图像特征；对所述待测橡胶管图像特征进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化输出。2.根据权利要求1所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述基于二元高斯热力图和模型输出的图像特征计算误差，包括：获取输入的训练图像和相关信息，所述相关信息包括图像上所有缺陷的位置、长和宽、缺陷种类；对所述训练图像进行预处理；根据所述训练图像及相关信息绘制橡胶管缺陷二元高斯热力图；使用模型提取所述预处理后的训练图像的图像特征；计算所述图像特征和所述二元高斯热力图之间的误差。3.根据权利要求2所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述预处理，包括：对输入图像进行数据增强处理；将所述输入图像及相关信息处理为标准化数据格式。4.根据权利要求2所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述误差获取过程，包括：对于图像中实际存在的某类橡胶管缺陷，计算该类结果与其它类结果的类间相对误差，并使该误差最大化；计算热力图与模型输出结果的Dice损失函数，并使该误差最小化；计算热力图与模型输出结果的回归损失，求和，并按缺陷面积归一化，用于平衡大面积与小面积缺陷的损失权重；计算热力图与模型输出结果的回归损失，求平均，并按照缺陷类别数归一化，用于提高大面积缺陷的损失权重；把上述4个小步骤所计算的损失函数加权求和。5.根据权利要求1所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述模型采用通用的卷积神经网络模型。6.根据权利要求1所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述采用更新后的模型计算验证图像特征与其相应热力图的相...

【专利技术属性】
技术研发人员：姚童，王晨浩，王劦，江志坚，
申请(专利权)人：上海媒智科技有限公司，
类型：发明
国别省市：