基于区域划分和yolo5的日用陶瓷表面缺陷检测方法技术

本发明专利技术公开了一种基于区域划分和yolo5的日用陶瓷表面缺陷检测方法，将原始大尺寸的日用陶瓷表面图像通过重叠方式裁剪成若干子图像，使用训练好的Yolov5目标检测模型对子图像进行缺陷检测，并将检测出的检测框画在各自子图像中；最后剔除不同子图像上重复的检测框。使用重叠式方法将原始样本图像重叠裁剪成若干子图像，既增加了缺陷像素面积占比，还在一定程度上扩充了缺陷数据集，以提高日用陶瓷表面微小缺陷的准确率。通过实验分析和验证，使用本发明专利技术提出的图像裁剪方法，日用陶瓷几种常见缺陷的检测准确率达到91％以上，通过图像的拆分与合并，最终完整实现了原始图像的微小缺陷的检测，为深度学习应用于日用陶瓷表面缺陷检测提供参考。检测提供参考。检测提供参考。

【技术实现步骤摘要】
基于区域划分和yolo5的日用陶瓷表面缺陷检测方法


[0001]本专利技术涉及图像处理
，尤其涉及基于区域划分和yolo5的日用陶瓷表面缺陷检测方法。

技术介绍

[0002]日用陶瓷表面缺陷不仅会影响产品的美观，而且还作为产品等级分类的重要依据，更是直接影响着产品的价值和公司的利润。因此，深入研究日用陶瓷表面缺陷识别和定位的自动化检测技术，对于产品质量检测和等级分类都有十分重要的意义。近年来，随着计算机、图像处理等多学科的共同发展和深入研究，基于机器视觉的表面缺陷检测技术在工业界也得到广泛应用。机器视觉中现在主要分为两种方式，第一种是依靠人工设计提取表征缺陷特征，实现表面缺陷检测；第二种是深度学习的特征自提取方法通过迭代优化学习到需要的图像特征表征，实现表面缺陷检测。
[0003]在传统人工设计特征应用于日用瓷表面缺陷检测方面，王俊祥提出来了基于数字图像处理方法和Matalab仿真软件对陶瓷碗口缺陷进行检测。郭萌提出来了一种基于机器视觉的陶瓷碗表面缺陷检测方法，该方法主要通过Kirsch算子和Canny算子的结合来实现表面缺陷的边缘检测。冯浩等人提出来了一种结合落渣特征的立体匹配算法原理，设计出一种以视差图作为分割基础的陶瓷盘落渣缺陷检测方法。以上算法虽然能解决一部分特定的陶瓷表面检测问题，但是人工设计特征提取较为繁琐，需要针对特定的问题重新定义新方法，对样本图像样本质量有着较高的要求，通用性和鲁棒性相对较差。
[0004]在深度学习应用于日用瓷表面缺陷检测方面，目前几乎没有文献研究此问题，虽然深度学习中具有自身的学习能力的卷积层代替人工设计特征提取，更好的学习到缺陷特征的表征，进一步提高了表面缺陷识别的精度和速度。然而，深度学习模型对样本数据的需求量大，目前没有成熟的缺陷样本数据集提供支持，并且日用陶瓷绝大部分缺陷都属于小目标检测问题，深度学习在小目标检测上也存在一些困难。

技术实现思路

[0005]针对上述存在的问题，本专利技术旨在提供一种基于区域划分和yolo5的日用陶瓷表面缺陷检测方法，以解决上述所述的现有技术中存在的问题。
[0006]为了实现上述目的，本专利技术所采用的技术方案如下：
[0007]基于区域划分和yolo5的日用陶瓷表面缺陷检测方法，其特征在于，包括以下步骤，
[0008]S1：将原始大尺寸的日用陶瓷表面图像通过重叠方式裁剪成若干子图像；
[0009]S2：使用训练好的Yolov5目标检测模型对子图像进行缺陷检测，并将检测出的检测框画在各自子图像中；
[0010]S3：剔除不同子图像上重复的检测框。
[0011]进一步的，步骤S1中子图像的尺寸为320
×
320。
[0012]进一步的，将原始大尺寸图像通过重叠方式裁剪成若干子图像的裁剪规则为：
[0013][0014]式中，i和j分别表示原始图像中长和宽方向上裁剪子图像的对应序号；i*j表示原始图像裁剪后子图像的个数；w和h分别表示原始图像的长和宽；表示第i*j个子图像在原始图像上需要裁剪对应的坐标位置，分别为矩形框左上角坐标和右下角坐标，和分别表示原始图像长和宽除以160后向下取整。
[0015]进一步的，步骤S2中Yolov5目标检测模型的训练包括以下步骤，
[0016]S201：经实验数据集的原始样本图像经过重叠方式裁剪，得到若干子图像；
[0017]S202：将包含表面缺陷的子图像挑选出来，并将表面缺陷作为目标进行标注，定义相应的缺陷类别；
[0018]S203：将标注好的子图像随机分成训练集、验证集和测试集；
[0019]S204：使用Yolov5迁移模型，对训练集子图像的各类表面缺陷进行训练测试；
[0020]S205：分别使用验证集和测试集的子图像对步骤S204中训练得到的Yolov5迁移模型进行验证和测试，最终得到训练好的Yolov5目标检测模型。
[0021]进一步的，步骤S202中所述的表面缺陷包括斑点、裂纹、落渣、破损和高光。
[0022]进一步的，步骤S205中使用mAP作为训练模型检测结果评价指标。
[0023]进一步的，步骤S3的具体操作包括以下步骤，
[0024]S301：将同一张日用陶瓷表面图像对应的子图像表面缺陷检测结果按照步骤S1中重叠方式裁剪规则反向推算，得到各子图像上的表面缺陷在原始的日用陶瓷表面图像上的真实位置；
[0025]S302：把同种表面缺陷类型且相邻的检测框挑选出来，依次计算它们两两之间的相交区域的占比，
[0026][0027]式中，和分别为不同子图像上检测框1和检测框2还原到原始图像下的左上角和右下角坐标；A1和A2分别为不同子图像上检测框1和检测框2的面积；A
in
和A
min
分别为A1、A2相交的面积和面积较小者；Rate表示相邻两个检测框相交区域的占比；
[0028]S303：根据步骤S302的计算结果，Rate≥0.5时，对两个检测框进行合并处理，Rate≤0.5时，保留两个检测框。
[0029]本专利技术的有益效果是：
[0030]本专利技术针对日用陶瓷表面缺陷绝大部分属于小目标，检测准确率偏低的问题，基于区域划分的思想，从小目标检测问题的源头入手，采用重叠裁剪方式将原图像裁剪成子图像，标注大量的子图像样本，不仅增大了缺陷区域面积占比，还能扩充缺陷数据集，分别从缺陷像素面积占比和数据集两个方面着手，一定程度上解决了日用陶瓷表面微小缺陷的目标检测问题；此外，本专利技术首次将深度学习应用于日用陶瓷表面缺陷检测上，实现日用陶瓷表面五种常见缺陷(斑点、裂纹、落渣、破损和高光)检测准确率达到91％以上，分别在测试集中的小尺寸缺陷和中型尺寸缺陷检测模型上分别达到89％和94％的检测识别率，最后利用约束条件剔除子图像上的重复检测框，实现原始大尺寸图像的缺陷检测目的，为日用陶瓷表面缺陷检测研究提供参考，也为日用陶瓷表面缺陷检测实现工业化迈出重要一步。
附图说明
[0031]图1为本专利技术实施例一中重叠式裁剪方法的示意图；
[0032]图2为本专利技术实施例一中日用陶瓷图像重叠式裁剪成子图像部分实例图；
[0033]图3为本专利技术实施例一中日用陶瓷缺陷标注示意图；
[0034]图4为本专利技术实施例一中Precision和Recall以及AP的关系图；
[0035]图5为本专利技术实施例一中迁移训练得到各种指标的曲线图；
[0036]图6为本专利技术实施例一中训练模型在子图像测试集上的检测效果；
[0037]图7为本专利技术实施例二中原始测试图像；
[0038]图8为本专利技术实施例二中原始图像重叠裁剪后的子图像；
[0039]图9为本专利技术实施例二中检测模型对同一张图像上的子图像缺陷区域的检测结果；
[0040]图10为本专利技术实施例二中使用重复性检测筛选算法后的处理结果。
具体实施方式
[0041]为了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于区域划分和yolo5的日用陶瓷表面缺陷检测方法，其特征在于，包括以下步骤，S1：将原始大尺寸的日用陶瓷表面图像通过重叠方式裁剪成若干子图像；S2：使用训练好的Yolov5目标检测模型对子图像进行缺陷检测，并将检测出的检测框画在各自子图像中；S3：剔除不同子图像上重复的检测框。2.根据权利要求1所述的基于区域划分和yolo5的日用陶瓷表面缺陷检测方法，其特征在于：步骤S1中子图像的尺寸为320
×
320。3.根据权利要求2所述的基于区域划分和yolo5的日用陶瓷表面缺陷检测方法，其特征在于，将原始大尺寸图像通过重叠方式裁剪成若干子图像的裁剪规则为：式中，i和j分别表示原始图像中长和宽方向上裁剪子图像的对应序号；i*j表示原始图像裁剪后子图像的个数；w和h分别表示原始图像的长和宽；表示第i*j个子图像在原始图像上需要裁剪对应的坐标位置，分别为矩形框左上角坐标和右下角坐标，和分别表示原始图像长和宽除以160后向下取整。4.根据权利要求3所述的基于区域划分和yolo5的日用陶瓷表面缺陷检测方法，其特征在于，步骤S2中Yolov5目标检测模型的训练包括以下步骤，S201：经实验数据集的原始样本图像经过重叠方式裁剪，得到若干子图像；S202：将包含表面缺陷的子图像挑选出来，并将表面缺陷作为目标进行标注，定义相应的缺陷类别；S203：将标注好的子图像随机分成训练集、验证集和测试集；S204：使用Yolov5迁移模型，对训练集子图像的...

【专利技术属性】
技术研发人员：林刚，魏欣，刘春生，陈东林，余志坚，吕哲，
申请(专利权)人：江西服装学院，
类型：发明
国别省市：