一种基于卷积神经网络的冰柜表面缺陷检测制造技术

本发明专利技术提供一种基于卷积神经网络的冰柜表面缺陷检测，目的是通过构建合适的目标检测模型对冰柜表面的缺陷进行检测，对存在缺陷的图片用Bounding Box标注缺陷位置以及标注分类标签NG，对不存在缺陷的图片只需要标注分类标签OK。本发明专利技术主要包括四个步骤，首先根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；然后构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；进而根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；最后将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。本发明专利技术适用于基于卷积神经网络的冰柜表面缺陷检测。

Detection of surface defects of freezer based on convolution neural network

【技术实现步骤摘要】
一种基于卷积神经网络的冰柜表面缺陷检测
本专利技术涉及图像分类和目标检测的计算机视觉领域，尤其涉及一种基于卷积神经网络的冰柜表面缺陷检测。
技术介绍
随着人工智能领域的飞速发展，计算机视觉技术逐渐融入到人们的生活中并且正在改变着人们的生活、经营、生产方式，为各行各业的发展提供了更有力的支撑。然而，对于大型制造企业而言，在大数据时代的背景下，如何处理和利用好在生产活动中收集到的海量数据，对制造业降低成本、提高效率起到至关重要的作用。从实际生产中可以发现，当前的制造冰柜的企业在对冰柜表面进行缺陷检测时，仍然通过人工方式一个个查看。这种方式消耗的人力大，检测的结果往往依赖于肉眼，可能会出现遗漏等。并且人工检测的效率非常低，只能对产品抽样检测，无法做到大规模快速检测。因此，为了提高检测效率、减少人工成本和干预，考虑采用计算机视觉技术解决对冰柜表面缺陷的检测。这种方法以冰柜表面的图像作为数据输入到检测模型，然后自动识别出图像中是否存在缺陷，如果存在则标注出缺陷的具体位置并输出标注好后的图像，如果不存在则直接输出图像，方便检测人员进一步辨别与判定。计算机视觉技术的出现，大大提高了生产作业的效率，避免了因作业条件，主观判断等影响检测结果的准确性，实现能更好更精确地进行表面缺陷检测，更加快速的识别冰柜表面瑕疵缺陷。
技术实现思路
本专利技术的目的在于解决现有技术中存在的不足，提供一种基于卷积神经网络的冰柜表面缺陷检测，这一方法不依赖于人工检测，使用计算机视觉技术，训练一个目标检测模型，再对冰柜表面的缺陷进行自动识别和标注。该方法极大地提升了生产过程中对冰柜质量检测的效率。实现本专利技术目的的技术方案是：一种一种基于卷积神经网络的冰柜表面缺陷检测，包括如下步骤：步骤一：根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；步骤二：构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；步骤三：根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；步骤四：根将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。进一步的，所述步骤一的具体过程如下：(1.1)确认本次任务的目标是准确检测冰柜表面的缺陷，并标识出缺陷的位置并打上NG标签，如果不存在缺陷，则输出结果打上OK标签；(1.2)基于任务的精确度要求，选择CascadeR-CNN为本次检测任务的基础架构，其优点在能够更精确的标识出缺陷位置；(1.3)检测模型的backbone要求能够对物体的分类更加精确，对比ResNet50、Res101、ResNet152的分类精度和模型速度；(1.4)挑选ResNet50作为本次任务的backbone。进一步的，所述步骤二的具体过程如下：(2.1)构建ResNet50和CascadeR-CNN模型；(2.2)数据增强方法有很多，比如：Resize、RandomFlip、RandomCrop、RandomScale等，针对本次任务的数据集，选择Resize、RandomFlip、RandomCrop方法扩充数据；(2.3)训练参数设置如下，epoch为13、SGD作为优化器、初始learningrate设置为0.02，momentum设置为0.9，weight_delay设置为0.0001，batch_size为2；(2.4)实验环境设置，系统为Ubuntu16.0.4、GPU为GTX1080Ti、CPU为Corei7、内存为64G、深度学习框架为PyTorch；(2.5)使用CascadeR-CNN在COCO数据集上的训练参数作为预训练模型参数，然后在本次任务的752张缺陷训练集上进行fine-tuning；(2.6)使用验证数据集(包括300张存在缺陷的图片和300张没有缺陷的图片)在训练好的模型上验证，输出评价指数AP的值。进一步的，所述步骤三的具体过程如下：(3.1)根据本次任务的数据集中，标注缺陷位置的BoundingBox的尺寸过多情况，采用K-Means聚类方法，将尺寸按宽高比聚成5类，并作为模型中产生defaultAnchorbox的参数；(3.2)根据数据集中的缺陷形状变化较大的情况，采用普通的正方形卷积核无法有效获取缺陷形状，因此考虑使用DeformableConvolution(可变性卷积)；(3.3)ResNet50网络的最后几层适用于检测大物体，前几层适用于检测小物体，为了能够更准确的识别小物体，采用FeaturePyramidNetwork(特征金字塔网络)结构对不同特征进行融合；(3.4)由于训练过程中存在的正负样本不平衡的现象，因此考虑使用OHEM和FocalLoss进一步提升分类效果；(3.5)针对测试阶段最后去除冗余BoundingBox的问题，采用Soft-NMS进行筛选；(3.6)本次任务的训练数据集较少(存在缺陷的图片共计752张)，因此为防止出现过拟合，考虑使用迁移学习的思想，通过在类似任务的布匹缺陷检测数据集(包含8000张缺陷图片)上模型作为预训练模型，提升预测精度；(3.7)进一步fine-tuning本次任务的数据集，重新进行训练和验证。进一步的，所述步骤四的具体过程如下：将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果；具体过程为：通过步骤三中获取到的模型，对测试数据进行预测，并与实际结果作对比，符合实际结果的即为正确结果。由于模型训练中存在一些参数，因此存在以下问题：(3.1)需要设定合理的IOU(交并比)的阈值，否则可能降低结果准确率；(3.2)训练中的迭代次数和学习率需要作出动态调整，否则可能出现欠拟合或过拟合现象。本专利技术的有益效果为：本专利技术根据企业提供的冰柜表面缺陷的训练数据集，训练出一个目标检测模型，在验证集的基础上进行模型的进一步修正和训练策略的进一步优化，使模型在验证集上的效果达到预期，并通过测试集输出最后的检测结果，相较于依靠人工检测的方法，该方法大大提供了生产中对冰柜表面进行缺陷检测的效率，且避免了检测工人的主观臆断等因素，实现了更加精确、快速地对缺陷进行识别。附图说明为了使本专利技术的内容更容易被清楚地理解，下面根据具体实施事例并结合附图，对本专利技术作进一步详细的说明：附图1为应用场景图；附图2为本专利技术的流程图；附图3位本专利技术的目标检测模型图；附图4、附图5、附图6、附图7、附图8、附图9、附图10为本专利技术中对模型的修改图。具体实施方式为更加了解本专利技术的
技术实现思路
，特举具体实施方式配合图例进行说明如下。结合图1、2，本专利技术提出一种基于卷积神经网络的冰柜表面缺陷检测，具体实施步骤如下：步骤一：根据任务需要，选择合适的目标检测基础架构，本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于，首先构建Cascade R-CNN目标检测模型，然后基于训练数据集进行模型训练，再使用验证数据集对其进行验证，并根据验证结果调整模型结构后进一步进行训练，最后将测试图片输入模型，输出测试结果，所述方法具体过程为：/n步骤一：根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；/n步骤二：构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；/n步骤三：根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；/n步骤四：将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。/n

【技术特征摘要】
1.一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于，首先构建CascadeR-CNN目标检测模型，然后基于训练数据集进行模型训练，再使用验证数据集对其进行验证，并根据验证结果调整模型结构后进一步进行训练，最后将测试图片输入模型，输出测试结果，所述方法具体过程为：
步骤一：根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；
步骤二：构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；
步骤三：根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；
步骤四：将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。


2.根据权利要求1所述一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于：所诉步骤一中根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；具体过程为：
1)确认本次任务的目标是准确检测冰柜表面的缺陷，并标识出缺陷的位置并打上NG标签，如果不存在缺陷，则输出结果打上OK标签；
2)基于任务的精确度要求，选择CascadeR-CNN为本次检测任务的基础架构，其优点在能够更精确的标识出缺陷位置；
3)检测模型的backbone要求能够对物体的分类更加精确，对比ResNet50、Res101、ResNet152的分类精度和模型速度；
4)挑选ResNet50作为本次任务的backbone。


3.根据权利要求1所述一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于：所诉步骤二中构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；具体过程为：
1)构建ResNet50和CascadeR-CNN模型；
2)数据增强方法有很多，比如：Resize、RandomFlip、RandomCrop、RandomScale等，针对本次任务的数据集，选择Resize、RandomFlip、RandomCrop方法扩充数据；
3)训练参数设置如下，epoch为13、SGD作为优化器、初始learningrate设置为0.02，momentum设置为0.9，weight_delay设置为0.0001，batch_size为2；4)实验环境设置，系统为Ubuntu16.0.4、GPU为GTX1080Ti、CPU为Cor...

【专利技术属性】
技术研发人员：赵蕴龙，孙毅，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32