一种基于深度学习的玻璃小球表面外观缺陷检测方法技术

本发明专利技术公开了一种基于深度学习的玻璃小球表面外观缺陷检测方法，该基于深度学习的玻璃小球表面外观缺陷检测方法具体步骤如下：步骤1、采用CMOS高清数字摄像机，步骤2、模型构建及训练，步骤3、模型测试。本发明专利技术利用高清相机拍摄采集具有瑕疵的小球表面图像，利用多种数据增强方法将小球表面瑕疵图像进行增强，同时用标注软件将图像中的不同瑕疵标注并导出标注数据，利用YOLOv5卷积神经网络训练模型；再将高清相机拍摄的小球表面图像输入训练好的卷积神经网络模型中，进行检测识别，实现机器自动检测小球表面存在的瑕疵和识别瑕疵种类。自动检测小球表面存在的瑕疵和识别瑕疵种类。自动检测小球表面存在的瑕疵和识别瑕疵种类。

【技术实现步骤摘要】
一种基于深度学习的玻璃小球表面外观缺陷检测方法


[0001]本专利技术涉及玻璃小球生产制造过程中的外观检测
，具体为一种基于深度学习的玻璃小球表面外观缺陷检测方法。

技术介绍

[0002]玻璃小球作为制造光学镜头的主要材料，其表面的瑕疵是影响产品良率的主要障碍。小球在转移、抛光、清洗等一系列制作过程中可能使小球表面产生瑕疵或附着脏污；为了防止存在瑕疵的小球流入后续工序，需借助光学检测设备识别小球表面瑕疵并分类、标记。
[0003]目前的小球检测主要通过人工目检检测小球表面的外观，人工目检的主要流程为工人用夹具将小球转移到显微镜下，从目镜筒观看放大的小球表面检查小球表面是否有瑕疵，并用夹具从不同方向翻动小球，以达到从不同角度观察小球表面，检查表面是否有瑕疵，同时根据表面外观的检查结果将小球分类。而以人工检的方式检查效率低，虽然人工检查有一定的标准，但检查工人为非专业人士，简单但培训后即上岗，工人在检查的过程中有较强的主观性，难以坚持统一的检测标准，不同的人可能出现不同的检查结果，容易导致产品的品控问题，检测效果不够理想；且人工检要求工人长时间通过显微镜观察小球，劳动强度高；此外，为了将小球表面瑕疵全面暴露出来，需要在显微镜下以强光照射向小球，长时间的强光照射会对工人的眼睛造成较大的负荷。因此，需要提出一种效率高、准确率高、稳定性高、人工强度低且应用范围广的检测小球外观的方法。

技术实现思路

[0004]本专利技术的目的在于提供一种基于深度学习的玻璃小球表面外观缺陷检测方法，该方法利用高清相机拍摄采集具有瑕疵的小球表面图像，利用多种数据增强方法将小球表面瑕疵图像进行增强，同时用标注软件将图像中的不同瑕疵标注并导出标注数据，利用YOLOv5卷积神经网络训练模型；再将高清相机拍摄的小球表面图像输入训练好的卷积神经网络模型中，进行检测识别，实现机器自动检测小球表面存在的瑕疵和识别瑕疵种类。根据瑕疵在小球表面的表现和影响，该方法将瑕疵类型概括为：Broken、Dirty、Pit、Sand、Scratch、Lotion。利用瑕疵检测模型判断小球上是否存在瑕疵，如存在，则判定为NG小球，并根据模型判断的瑕疵类型分类放置在相对应的物料盘，如不存在，则判定为OK小球。
[0005]一种基于深度学习的玻璃小球表面外观缺陷检测方法，该基于深度学习的玻璃小球表面外观缺陷检测方法具体步骤如下：
[0006]步骤1、采用CMOS高清数字摄像机，像素为500万，采集帧率为60fps，采集分辨率为1080P，用摄像机采集小球不同表面和不同角度的图像，裁剪去图像中的黑色部分，以减少图像中的冗余信息，使用精灵标注助手软件，按照瑕疵分类的标准给瑕疵小球图像中的瑕疵标注，按照图像名称生成.xml格式的标注文件，提取.xml中标注的瑕疵种类和瑕疵坐标信息，转换为YOLO数据集格式的.txt格式；
[0007]步骤2、模型构建及训练，基于pytorch框架进行搭建，采用YOLOv5基本结构，在conv1/3/5/7层后分别连接一个batch normalization层，保证传递特征信息的有效性，激活函数选用sigmoid，模型的head和backbone结构如下表所示，训练前对待测样本图像做随机旋转和随机裁剪，并将图像尺寸限制为960
×
960，基于objectness score,class probability score,和bounding box regression score进行损失计算，使用GIOU Loss作为bounding box的损失、二进制交叉熵和Logits损失函数计算类概率和目标得分的损失，使用自定义的优化器分组方式，分别对权重(使用权重衰减)、偏置、BN层(使用SGD)使用不同的优化方式，采用余弦退火学习率，通过余弦函数来降低学习率，样本batch_size＝4；
[0008]步骤3、模型测试，将拍摄的小球表面图像进行冗余信息裁切，输入训练好的模型中，置信度阈值采用0.2，IOU阈值采用0.2，利用模型的9个先验框进行检测识别。
[0009]与现有技术相比，本专利技术的有益效果是：本专利技术利用高清相机拍摄采集具有瑕疵的小球表面图像，利用多种数据增强方法将小球表面瑕疵图像进行增强，同时用标注软件将图像中的不同瑕疵标注并导出标注数据，利用YOLOv5卷积神经网络训练模型；再将高清相机拍摄的小球表面图像输入训练好的卷积神经网络模型中，进行检测识别，实现机器自动检测小球表面存在的瑕疵和识别瑕疵种类。
附图说明
[0010]图1为高清相机拍摄的小球表面图像；
[0011]图2为小球表面图像的瑕疵检测结果；
[0012]图3为本专利技术中训练网络中的CBS组件具体结构和Resnet unit组件具体结构；
[0013]图4为本专利技术中训练网络中的CPS1_X组件具体结构和CPS2_X组件具体结构；
[0014]图5为本专利技术中训练网络中的Focus组件具体结构和SPP组件具体结构；
[0015]图6为本专利技术中训练的YOLOv5网络结构图。
具体实施方式
[0016]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0017]实施例1
[0018]本专利技术的具体工作流程如下：
[0019]第一步训练集数据采集和标注，
[0020]采用CMOS高清数字摄像机，像素为500万，采集帧率为60fps，采集分辨率为1080P。用摄像机采集小球不同表面和不同角度的图像，裁剪去图像中的黑色部分，以减少图像中的冗余信息。使用精灵标注助手软件，按照瑕疵分类的标准给瑕疵小球图像中的瑕疵标注，按照图像名称生成.xml格式的标注文件。提取.xml中标注的瑕疵种类和瑕疵坐标信息，转换为YOLO数据集格式的.txt格式。
[0021]第二步模型构建及训练，
[0022]检测模型结构如图所示，基于pytorch框架进行搭建。采用YOLOv5基本结构，在conv1/3/5/7层后分别连接一个batch normalization层，保证传递特征信息的有效性，激
活函数选用sigmoid，模型的head和backbone结构如下表所示。训练前对待测样本图像做随机旋转和随机裁剪，并将图像尺寸限制为960
×
960，基于objectness score,class probability score,和bounding box regression score进行损失计算，使用GIOU Loss作为bounding box的损失、二进制交叉熵和Logits损失函数计算类概率和目标得分的损失。使用自定义的优化器分组方式，分别对权重(使用权重衰减)、偏置、BN层(使用SGD)使用不同的优化方式，采用余弦退火学习率，通过余弦函数来降低学习率，样本batch_size＝4。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的玻璃小球表面外观缺陷检测方法，其特征在于：该基于深度学习的玻璃小球表面外观缺陷检测方法具体步骤如下：步骤1、采用CMOS高清数字摄像机，像素为500万，采集帧率为60fps，采集分辨率为1080P，用摄像机采集小球不同表面和不同角度的图像，裁剪去图像中的黑色部分，以减少图像中的冗余信息，使用精灵标注助手软件，按照瑕疵分类的标准给瑕疵小球图像中的瑕疵标注，按照图像名称生成.xml格式的标注文件，提取.xml中标注的瑕疵种类和瑕疵坐标信息，转换为YOLO数据集格式的.txt格式；步骤2、模型构建及训练，基于pytorch框架进行搭建，采用YOLOv5基本结构，在conv1/3/5/7层后分别连接一个batch normalization层，保证传递特征信息的有效性，激活函数选用sigmoid，模型的hea...

【专利技术属性】
技术研发人员：周思江，洪弋，文永富，
申请(专利权)人：江西高瑞光电股份有限公司，
类型：发明
国别省市：