一种基于yolov4-tiny模型压缩工厂螺丝螺帽分类方法、设备及系统技术方案

本发明专利技术公开了一种基于yolov4

【技术实现步骤摘要】
一种基于yolov4
‑
tiny模型压缩工厂螺丝螺帽分类方法、设备及系统


[0001]本专利技术属于工厂螺丝螺帽分拣
，具体涉及一种基于yolov4
‑
tiny模型压缩工厂螺丝螺帽分类方法、设备及系统。

技术介绍

[0002]随着工业生产不断发展，对于零件的需求逐渐增大，大量的螺丝螺帽被生产，然而在生产过程中，会有一些的螺丝螺帽混合在一起，这导致需要进行分拣，工厂对于螺丝螺帽的分拣需求逐渐变大，在大量的零件中分拣出螺丝螺帽，成为了一种需求。传统的分拣办法主要是人工以及简单机械装置进行分拣。人力分拣需要大量的劳动力进行参与，效率较为低下，并且受人工作时候的状态影响，会出现很多失误。而简单的机械装置通过设置相对应的空间尺寸大小，可以进行相应的简单分类，优势主要是效率较高，可以进行大量的粗分类，不足主要是比较细致分类时候，一些小尺寸的螺丝螺帽分类装置的机械结构较为复杂，而且通过机械转动，不能精确分类出零件。
[0003]目前，普遍采用控制设备控制机械臂对一些小尺寸的螺丝螺帽进行分拣，但是该控制设备对螺丝螺帽的识别分类存在不足，导致机械臂不能精准地对小尺寸的螺丝螺帽进行分拣。

技术实现思路

[0004]针对上述现有技术的不足，本专利技术提供一种基于yolov4
‑
tiny模型压缩工厂螺丝螺帽分类方法、设备及系统，本专利技术利用深度学习进行螺丝螺帽分拣，主要利用的是运用深度学习的目标检测算法实现螺丝螺帽的识别，其主要流程是，深度相机拍摄螺丝螺帽照片，然后将螺丝螺帽照片送入螺丝螺帽算法中进行分类检测，最后得到分类检测结果，提高了对于螺丝螺帽分类检测以及分拣的速度以及减少对于硬件资源的占用。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]根据本说明书的第一方面，提供一种基于yolov4
‑
tiny模型压缩工厂螺丝螺帽分类方法，包括以下步骤：
[0007]S1，获取螺丝螺帽照片，对螺丝螺帽照片中螺丝螺帽的种类和位置进行数据标注，构建螺丝螺帽数据集；
[0008]S2，将螺丝螺帽数据集中每个标注好的螺丝螺帽照片生成文本文件，对文本文件所对应的螺丝螺帽照片的图像分辨率进行调整，并将调整后的螺丝螺帽照片生成新的文本文件，构建文本文件数据集；
[0009]S3，将文本文件数据集中的文本文件所对应的螺丝螺帽照片进行数据增强，得到增强文本文件，构建文本文件增强数据集；
[0010]S4，将文本文件增强数据集中增强文本文件以及所对应的螺丝螺帽照片进行划分，构建训练集、测试集和验证集；
[0011]S5，利用训练集训练改进的yolov4
‑
tiny算法网络模型，对经过训练的改进的yolov4
‑
tiny算法网络模型采用测试集进行准确度测试，并对经过准确度测试而选取出的最优改进的yolov4
‑
tiny算法网络模型，对最优改进的yolov4
‑
tiny算法网络模型采用验证集进行网络参数调整，其中，改进的yolov4
‑
tiny算法网络模型包括主干提取特征网络、加强特征提取网络和预测网络结构，得到螺丝螺帽分类模型；
[0012]S6，利用训练好的螺丝螺帽分类模型对螺丝螺帽照片进行分类。
[0013]进一步地，所述步骤S5中改进的yolov4
‑
tiny算法网络模型具体为：
[0014]S51，将轻量级的MobilenetV3网络中的bneck网络模块前半部分Relu改为Leaky Relu，得到优化的MobilenetV3网络，其中，优化的MobilenetV3网络作为改进的yolov4
‑
tiny算法网络模型中的主干提取特征网络；
[0015]S52，使用训练集，基于优化的MobilenetV3网络，进行一个卷积和激活处理，将训练集中的图像进行宽和高的压缩，得到压缩图像；
[0016]S53，使用优化的MobilenetV3网络中的第一类bneck网络模块和第二类bneck网络模块对压缩图像进行特征提取，得到第一个有效的特征层；
[0017]S54，使用优化的MobilenetV3网络中的第一类bneck网络模块和第二类bneck网络模块对第一有效的特征层进行特征提取，得到第二有效的特征层；
[0018]S55，先使用加强特征提取网络中的特征增强模块对第二有效的特征层进行特征增强，然后使用加强特征提取网络中的特征融合模块将第一有效的特征层和经过特征增强的第二有效的特征层进行特征融合，得到融合特征图像；
[0019]S56，使用改进的yolov4
‑
tiny算法网络模型中的预测网络结构对融合特征图像进行处理，得到融合特征图像中每个物体的检测结果，得到螺丝螺帽分类模型。
[0020]进一步地，步骤S3具体包括以下步骤：
[0021]将文本文件数据集中的文本文件所对应的螺丝螺帽照片进行旋转、翻转、镜像对称、仿射变化、高斯加噪、对比度变化、尺度变化和裁剪，得到增强文本文件，构建文本文件增强数据集。
[0022]进一步地，所述步骤S3具体还包括以下步骤：
[0023]随意取文本文件数据集中的四份文本文件所对应的螺丝螺帽照片进行拼接，得到一个拼接图像，生成增强文本文件，作为文本文件增强数据集中的一部分。
[0024]进一步地，所述步骤S3具体还包括以下步骤：
[0025]将文本文件数据集中的文本文件所对应的像素较低的螺丝螺帽照片进行填充处理，得到像素大小为416
×
416的螺丝螺帽照片，生成与像素大小为416
×
416的螺丝螺帽照片所对应的增强文本文件。
[0026]根据本说明书的第二方面，提供一种工业嵌入式设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现如第一方面所述的基于yolov4
‑
tiny模型压缩工厂螺丝螺帽分拣方法。
[0027]根据本说明书的第三方面，提供一种螺丝螺帽分拣系统，包括所述的工业嵌入式设备，还包括：
[0028]传送机构，与所述工业嵌入式设备电性连接，所述传送机构的启动和关闭由所述工业嵌入式设备控制；
[0029]用于装载螺丝螺帽的零件盒，设置在所述传送机构上，使得所述零件盒在所述传送机构上运输；
[0030]用于拍摄述所述零件盒中螺丝螺帽的深度相机，设置在所述传送机构上且与所述工业嵌入式设备电性连接；
[0031]机械臂，与所述工业嵌入式设备电性连接；
[0032]显示器，与所述工业嵌入式设备电性连接；
[0033]所述深度相机将拍摄的所述零件盒中螺丝螺帽照片发送至所述工业嵌入式设备，所述工业嵌入式设备将螺丝螺帽照片中每个螺丝螺帽深度视觉坐标系下空间位置转换为所述机械臂的坐标系下的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于yolov4
‑
tiny模型压缩工厂螺丝螺帽分类方法，其特征在于，包括以下步骤：S1，获取螺丝螺帽照片，对螺丝螺帽照片中螺丝螺帽的种类和位置进行数据标注，构建螺丝螺帽数据集；S2，将螺丝螺帽数据集中每个标注好的螺丝螺帽照片生成文本文件，对文本文件所对应的螺丝螺帽照片的图像分辨率进行调整，并将调整后的螺丝螺帽照片生成新的文本文件，构建文本文件数据集；S3，将文本文件数据集中的文本文件所对应的螺丝螺帽照片进行数据增强，得到增强文本文件，构建文本文件增强数据集；S4，将文本文件增强数据集中增强文本文件以及所对应的螺丝螺帽照片进行划分，构建训练集、测试集和验证集；S5，利用训练集训练改进的yolov4
‑
tiny算法网络模型，对经过训练的改进的yolov4
‑
tiny算法网络模型采用测试集进行准确度测试，并对经过准确度测试而选取出的最优改进的yolov4
‑
tiny算法网络模型，对最优改进的yolov4
‑
tiny算法网络模型采用验证集进行网络参数调整，其中，改进的yolov4
‑
tiny算法网络模型包括主干提取特征网络、加强特征提取网络和预测网络结构，得到螺丝螺帽分类模型；S6，利用训练好的螺丝螺帽分类模型对螺丝螺帽照片进行分类。2.根据权利要求1所述的基于yolov4
‑
tiny模型压缩工厂螺丝螺帽分类方法，其特征在于，所述步骤S5中改进的yolov4
‑
tiny算法网络模型具体为：S51，将轻量级的MobilenetV3网络中的bneck网络模块前半部分Relu改为Leaky Relu，得到优化的MobilenetV3网络，其中，优化的MobilenetV3网络作为改进的yolov4
‑
tiny算法网络模型中的主干提取特征网络；S52，使用训练集，基于优化的MobilenetV3网络，进行一个卷积和激活处理，将训练集中的图像进行宽和高的压缩，得到压缩图像；S53，使用优化的MobilenetV3网络中的第一类bneck网络模块和第二类bneck网络模块对压缩图像进行特征提取，得到第一个有效的特征层；S54，使用优化的MobilenetV3网络中的第一类bneck网络模块和第二类bneck网络模块对第一有效的特征层进行特征提取，得到第二有效的特征层；S55，先使用加强特征提取网络中的特征增强模块对第二有效的特征层进行特征增强，然后使用加强特征提取网络中的特征融合模块将第一有效的特征层和经...

【专利技术属性】
技术研发人员：史治国，吴淼，袁竞涛，潘骏，陈积明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：