一种基于云边协同和深度学习的小样本图像缺陷检测方法技术

本发明专利技术公开了一种基于云边协同和深度学习的小样本图像缺陷检测方法，涉及工业协同制造领域。包括以下步骤：数据采集与预处理，训练图像识别算法，云边协同。利用图像裁剪、数据增强、模型集成、迁移学习、两阶段训练等一系列方法的集合解决工业场景中缺陷样本数量过少的问题。将云边协同框架引入缺陷检测系统，系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行更新，使网络的准确率在运行过程中得到持续提升。通过云边协同体系将网络的训练和推理分离，在云端执行网络的训练，在边缘侧执行网络的推理，降低了对现场设备性能的要求。

【技术实现步骤摘要】
一种基于云边协同和深度学习的小样本图像缺陷检测方法
本专利技术涉及工业协同制造领域，尤其涉及一种基于云边协同和深度学习的小样本图像缺陷检测方法。
技术介绍
在工业产品的制造过程中，由于生产工艺的缺陷或人为因素，产品表面可能会产生划痕、裂纹、孔洞等缺陷，这些缺陷极大的降低了工业产品的质量，影响了产品的正常使用。对于这些有质量问题的工业产品，需要在出厂之前将其筛选出来。为了筛选出有问题的产品，目前大部分工厂会派质检员进行质量检查。但是人工检查的效率非常低下，检测精度也不高。在长时间工作后，工人疲劳的工作状态会使检测准确率进一步降低，增添了不稳定因素。近些年来随着机器视觉技术的快速发展，有很多研究者正在尝试将机器视觉技术应用到产品的质量检测中去。基本思路是在现场加装摄像头拍摄产品表面图像，然后利用图像处理技术自动进行产品表面的缺陷检测。主要可以分为以下两种方案：第一种是采用传统图像检测方法，通过观察缺陷图片的特点，设计相应的算法，提取图片中某种具体的缺陷。具体的操作流程是先对图像边界进行提取，去除不必要的背景信息；再对图像进行分割，提取出潜在的缺陷存在区域；然后利用合适的滤波器滤去噪声；最后使用边缘检测算法提取缺陷。这种方法的识别准确率较低，而且只能针对某种特定场景下的特定缺陷进行检测。目前除了较为简单的场景基本不会使用。第二种是使用基于深度学习的图像检测方法。深度学习是近年来人工智能领域中一个重要的研究热点，它的出现使计算机实现了一定程度上的智能化。深度学习的主要思想是通过人工给计算机搭建一个类似人脑神经结构的深度学习网络，使机器获得一定的学习能力。通过人工搭建的深度学习网络，计算机能自主学习样本数据的内在规律和表示层次，并获得对同类型样本数据的分析和判断能力。基于深度学习的图像检测方法首先需要选择合适的深度学习网络，其次需要大量标定好缺陷种类的图片对网络进行训练，使其获得学习的能力。训练完成之后，若给网络输入同样类型的照片，它就能自主判断这张图片内的缺陷种类。虽然基于深度学习网络的图像识别技术已经得到了充分的研究，但是当这项技术应用到表面缺陷检测这一场景中时，还是会遇到很多尚未解决的问题。第一、样本数量过少。工业产品产生缺陷是一个小概率事件，因此不会有太多的缺陷样本以供深度学习网络进行训练，能够采集到的大多数是没有缺陷的正样本。但是深度学习网络的精度又是和样本数据的数量和质量紧密联系的。训练深度学习网络需要大量的图片，这与极小的样本数量产生了矛盾。此外，不同缺陷的出现概率也不同，这就导致了不同种类缺陷样本的数量不均匀，同样也会对网络训练产生影响。第二、缺乏后续的更新。在缺陷检测这一场景中，缺陷样本会在使用过程中源源不断得产生，如果能利用这些在检测过程中得到的新样本对网络进行优化，将使网络的性能得到极大的提升。但是现有的方法一般是提前将网络训练好并直接部署在工业现场，而不考虑后续对网络的优化。第三、设备性能受限。随着目前深度学习网络的层数逐渐加深、参数逐渐增多，网络的训练将会耗费越来越多的算力，对计算设备的性能要求也会越来越高。但是由于成本的限制，一般情况下，厂家不会在工业现场部署大量性能较强的计算设备。所以现有的深度学习网络可能无法在现场直接运行。因此，本领域的技术人员致力于开发一种基于云边协同和深度学习的小样本图像缺陷检测方法。在只有少量缺陷样本的情况下依然能训练出高准确率的深度学习模型；在云边协同体系下，缺陷检测系统能在运行过程中利用新得到的缺陷样本对深度学习网络进行动态更新，持续提高网络的准确率；将网络的训练和推理过程分离，降低了对现场设备性能的要求。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是工业现场直接采集到的缺陷样本数量过少，不同种类的缺陷样本数量不均匀；现有缺陷检测算法缺少后续的更新，可扩展性低，没有合理利用后续得到的新缺陷样本；工业现场设备性能受限。为实现上述目的，本专利技术提供了一种基于云边协同和深度学习的小样本图像缺陷检测方法，包括以下步骤：步骤1、数据采集与预处理：利用数据增强扩大缺陷样本数量；步骤2、训练图像识别算法：在训练阶段使用迁移学习的方法，通过模型集成的方法将多个网络进行集成；步骤3、云边协同：系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行不断训练更新，网络的训练和推理分离。进一步地，所述步骤1包括以下步骤：步骤1.1、图像采集；步骤1.2、图像存储；步骤1.3、图像调整；步骤1.4、数据增强；步骤1.5、自动标注与数据集分割。进一步地，所述步骤2包括以下步骤：步骤2.1、选择网络；步骤2.2、网络优化；步骤2.3、模型集成；步骤2.4、迁移学习与微调。进一步地，所述步骤3包括以下步骤：步骤3.1、动态更新；步骤3.2、离线推理；步骤3.3、扩展优化。进一步地，所述步骤1.3图像调整包括以下步骤：步骤1.3.1、适当调整图片亮度、对比度、锐度；步骤1.3.2、裁剪图片；步骤1.3.3、将图片通过加框的方式调整为正方形；步骤1.3.4、缩放。进一步地，所述步骤1.4数据增强的方法包括随机上下平移、随机左右平移、随机角度晃动、随机角度旋转、随机亮度变化、加入随机分布的噪点。进一步地，所述步骤1.5标注图片使用的编码包括整数编码、one-hot编码。进一步地，所述步骤2.1选择网络，包括EfficientNet、ResNet、DenseNet、RCNN、YOLO。进一步地，所述步骤2.3模型集成，使用多个网络分别单独对图片进行分类，通过投票的方式得到最后的分类结果。进一步地，所述步骤2.4迁移学习与微调，利用成熟的数据集或者类似的缺陷数据集先对目标模型进行训练，使网络获得初始权重；再利用采集到的缺陷数据集对所述网络进行调整，获得最终的网络权重。在本专利技术的较佳实施方式中，利用图像裁剪、数据增强、模型集成、迁移学习、两阶段训练等一系列方法的集合解决工业场景中缺陷样本数量过少的问题。将云边协同框架引入缺陷检测系统，系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行更新，使网络的准确率在运行过程中得到持续提升。通过云边协同体系将网络的训练和推理分离，在云端执行网络的训练，在边缘侧执行网络的推理，降低了对现场设备性能的要求。本专利技术与现有技术相比较，具有如下显而易见的实质性特点和显著优点：1.相对于一般的深度学习方法，针对工业场景中常见的缺陷样本太少的问题对算法进行改进，在只有少量缺陷样本的情况下依然能训练出高准确率的深度学习模型。2.在云边协同体系下，缺陷检测系统能在运行过程中利用新得到的缺陷样本对深度学习网络进行动态更新，持续提高网络的准确率。3.引入了云边协同体系，将网络的训练和推理过程分离，降低了对现场设本文档来自技高网...

【技术保护点】
1.一种基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，包括以下步骤：/n步骤1、数据采集与预处理：利用数据增强扩大缺陷样本数量；/n步骤2、训练图像识别算法：在训练阶段使用迁移学习的方法，通过模型集成的方法将多个网络进行集成；/n步骤3、云边协同：系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行不断训练更新，网络的训练和推理分离。/n

【技术特征摘要】
1.一种基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，包括以下步骤：
步骤1、数据采集与预处理：利用数据增强扩大缺陷样本数量；
步骤2、训练图像识别算法：在训练阶段使用迁移学习的方法，通过模型集成的方法将多个网络进行集成；
步骤3、云边协同：系统运行过程中产生的缺陷图片缓存至云端，经过数据增强后结合原有数据集对网络进行不断训练更新，网络的训练和推理分离。


2.如权利要求1所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1、图像采集；
步骤1.2、图像存储；
步骤1.3、图像调整；
步骤1.4、数据增强；
步骤1.5、自动标注与数据集分割。


3.如权利要求1所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1、选择网络；
步骤2.2、网络优化；
步骤2.3、模型集成；
步骤2.4、迁移学习与微调。


4.如权利要求1所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1、动态更新；
步骤3.2、离线推理；
步骤3.3、扩展优化。


5.如权利要求2所述的基于云边协同和深度学习的小样本图像缺陷检测方法，其特征在于，所述步骤1.3图像调整...

【专利技术属性】
技术研发人员：贺顺杰，杨博，陈彩莲，关新平，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31