一种混合深度学习模型的口红质检系统技术方案

本发明专利技术涉及产品智能质检技术领域，具体为一种混合深度学习模型的口红质检系统，包括图像采集模块、图像分割模块、不良品检测模块、表面缺陷分类模块、中转存储模块、中央存储模块、迁移优化模块，迁移优化模块包括新增数据标注单元和迁移训练单元；新增数据标注单元用于对新增的不良品进行人工标注；迁移训练单元将ResNet神经网络模型通过新增数据标注以及配套的标注数据，利用迁移学习的方法进行二次训练，用以对表面缺陷分类模块进行优化，提升模型的检测、分类性能。该系统利用传统数字图像处理方法与深度学习结合的方法，在保证生产效率和检测精度的前提下，极大的减小生产过程中人力的投入，便于使用。

【技术实现步骤摘要】
一种混合深度学习模型的口红质检系统
本专利技术涉及产品智能质检
，具体为一种混合深度学习模型的口红质检系统。
技术介绍
目前口红生产企业生产线还未达到全自动化的程度，许多环节需要人工全程在线的干预，其中质检部分是产能提升的瓶颈之一，人工质检的效率存在上限；人力无法长时间持续在线，不仅对质检工人身体有所伤害，质检准确度也会随时间推移而下降；人工质检即使在工人有完备精力的状况下，仍然存在漏检、误检的情况；对生产数据的统计也局限于人工记录。通过专利检索发现，专利申请号为CN201480071110.5的专利技术专利公开了“表面缺陷检测方法及表面缺陷检测装置”，该专利技术利用传统数字图像处理方法，提供一种能够高精度地辨别水锈、无害纹理和表面缺陷的表面缺陷检测方法及表面缺陷检测装置，但其利用纯数字图像出现的方式对于环境的依赖性较高且泛化性不足；专利申请号为201911293863.1的专利技术专利公开了“一种神经网络训练方法、工件表面缺陷分类与检测方法及装置”，该专利技术利用深度学习技术，解决缺陷检测只能检测缺陷的存在，而不能识别缺本文档来自技高网...

【技术保护点】
1.一种混合深度学习模型的口红质检系统，其特征在于，包括：/n图像采集模块，通过工业像机和摄像头在既定环境下，以频闪拍摄的形式，获取待检口红的多张图像；/n图像分割模块，对拍摄的图像依次进行无效区域的裁切、U-Net分割、灰度均衡化处理，并将处理后的图像按待检口红的编号进行分组，得到单支待检口红的图组；/n不良品检测模块，将单支待检口红的图组送入异常缺陷和表面异常并行检测算法中进行检测，用以挑拣出异常缺陷和表面异常的不良品，在检测到图组的异常缺陷和表面异常的同时，发送不良品分拣信号；/n表面缺陷分类模块，通过ResNet神经网络模型对表面缺陷的不良品分类为划痕、孔洞、刮膏等，并将分类结果进行储...

【技术特征摘要】
1.一种混合深度学习模型的口红质检系统，其特征在于，包括：
图像采集模块，通过工业像机和摄像头在既定环境下，以频闪拍摄的形式，获取待检口红的多张图像；
图像分割模块，对拍摄的图像依次进行无效区域的裁切、U-Net分割、灰度均衡化处理，并将处理后的图像按待检口红的编号进行分组，得到单支待检口红的图组；
不良品检测模块，将单支待检口红的图组送入异常缺陷和表面异常并行检测算法中进行检测，用以挑拣出异常缺陷和表面异常的不良品，在检测到图组的异常缺陷和表面异常的同时，发送不良品分拣信号；
表面缺陷分类模块，通过ResNet神经网络模型对表面缺陷的不良品分类为划痕、孔洞、刮膏等，并将分类结果进行储存；
中转存储模块，存储不良品检测模块的异常缺陷和表面异常不良品图组，以及表面缺陷分类模块的分类结果；
中央存储模块，所述中转存储模块定期将数据上传至中央云存储，上传的数据包括：异常缺陷和表面异常的不良品图组、产品参数、不良品出现时间、不良品出现批次等；
迁移优化模块，迁移优化模块包括新增数据标注单元和迁移训练单元；
所述新增数据标注单元用于对新增的不良品进行人工标注，标注内容包括原有缺陷种类、新增缺陷种类、缺陷位置、缺陷严重程度等；
所述迁移训练单元将所述ResNet神经网络模型通过新增数据标注以及配套的标注数据，利用迁移学习的方法进行二次训练，用以对表面缺陷分类模块进行优化，提升模型的检测、分类性能。


2.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述图像采集模块通过工业像机和摄像头可同时获取2支待检口红4个方向的6张500万像素的图像。


3.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述无效区域的裁切用于将图像的无效区域提前进行裁切，从而减小后续图像处理的计算量和计算时间；
所述U-Net分割，待检口红由膏体部分和底座部分组成，通过U-Net深度网络将待检口红图像的膏体和底座进行区分；
灰度均衡化，对待检口红的图像进行非线性拉伸，重新分配图像的像元值，使得一定灰度范围内的灰度值进行重新映射。


4.根据权利要求3所述的混合深度学习模型的口红质检系统，其特征在于：所述灰度均衡化是对待检口红的图像颜色、光照等因素造成的图像灰度变化进行平衡处理，从而保持图像灰度的均衡性；
其变换的公式为：
其中，i代表像素编号；r(0≤r≤1)代表图像中像素灰度级，r＝0表示黑，r＝1表示白；k代表灰度级数；n代表图像中像素点总数，ni(0≤i＜k)代表某一灰度级下的像素点总数。


5.根据权利要求1所述的混合深度学习模型的口红质检系统，其特征在于：所述不良品检测模块包括外形缺陷检测单元和表面缺陷检测单元和表面异常ROI合并单元；
所述外形缺陷检测单元，用于检测待检口红的异常缺陷，包括待检口红的缺角缺陷、子弹头高度异常缺陷等，并将检测为异常缺陷的不良品图组存储至所述中转存储模块；
所述表面缺陷检测单元，用于将不良品图组进行灰度化处理，利用高斯滤波消除图像噪声，达到平滑图像的效果，并计算图像...

【专利技术属性】
技术研发人员：黄鹏，侯国鑫，王海峰，
申请(专利权)人：黄鹏，
类型：发明
国别省市：江苏;32