图像识别方法、AGV物料分拣方法及系统技术方案

本发明专利技术属于AGV领域，具体涉及一种图像识别方法、AGV物料分拣方法及系统，包括：S1，对目标图像进行采集，形成自建数据集；S2，对图像进行分割，然后从中提取带有物料特征及托盘信息的数据集；S3，进行图像进行标注增强；S4，构建改进YOLO

【技术实现步骤摘要】
图像识别方法、AGV物料分拣方法及系统


[0001]本专利技术涉及AGV领域，具体涉及一种图像识别方法、AGV物料分拣方法及系统。

技术介绍

[0002]AGV是Automated Guided Vehicle的缩写，意即“自动导引运输车”，是指装备有电磁或光学等自动导引装置，它能够沿规定的导引路径行驶，具有安全保护以及各种移载功能的运输车，AGV属于轮式移动机器人(Wheeled Mobile Robot)的范畴。
[0003]AGV具备自动搬运和高效便捷的优点，能够有效解决企业在生产过程中产品的运输过程耗费大量的人力资源，因此在汽车工业、家电制造、烟草、物流、3C电子、医药、食品等行业得到了大量的应用。随着工厂生产流水线的高速运转，用户对于AGV系统的实时运行状况和安全性提出了更高要求，AGV管理监控调度系统能够对AGV进行实时状态监控和任务信息的下达与接收，是AGV系统重要核心技术之一。随着工业化4.0的到来，智慧工厂时代也将被逐渐拉开序幕，智能设备、信息技术的完美融合、高度制造柔性化的需求的也日益增强。
[0004]对于多AGV管理则需要采用AGV调度系统，其中包括任务路径规划、任务分配、交通管制、车辆管理及与客户生产企业ERP、PDM系统的接口控制等。现有的AGV中央调度系统虽然能够完成基本的任务调度、交通管制及车辆状态监控等工作，但是在对物品搬运的柔性化程度不高，对于固定路线的依赖程度过高，例如申请号为CN106856493的中国专利技术专利一种基于Web的AGV集群中央管理系统，其下发搬运指令时，仍需要指定搬运起始位置，以及各项参数，在一些场合下AGV不能做到自动搬运；在一些需要对物料进行分类搬运的特定情况下，普通的物品分类方法多依靠路径规划来进行固定划区分类，仍存在许多需要人为干涉的场景；传统的AGV仍旧存在着集群化管理的缺失，当AGV出现搬运故障时，AGV生产供应商及使用客户都无法实现现场的监控与在线的诊断功能，造成错误难以诊断。，

技术实现思路

[0005]为了克服现有技术中存在的缺点和不足，本专利技术提供一种图像识别方法、AGV物料分拣方法及系统。
[0006]本专利技术提供一种图像识别方法，包括：
[0007]S1，对目标图像进行采集，形成自建数据集；
[0008]S2，对图像进行分割，然后从中提取带有物料特征及托盘信息的数据集；
[0009]S3，进行图像进行标注增强，将数据集分为训练集、验证集和测试集；
[0010]S4，构建改进YOLO
‑
v5模型；
[0011]S5，训练改进YOLO
‑
v5模型，得到最佳的训练模型；
[0012]S6，将训练好的YOLO
‑
v5模型对物料进行分类识别，对托盘负载进行判断，输出物料的种类，以及托盘的负载情况。
[0013]进一步地，所述S3包括：
[0014]采用Labelimg软件，对图像中的物品类别和位置信息进行标注，保证标注信息与
标注图片相对应；
[0015]对标注后的图像进行数据增强，采用的方法为将图像分若干次顺时针旋转若干角度，然后随机调整每张图像的亮度和色度，增加高斯噪声，进行图片随机叠加，图像增强的同时生成对应的标注文件。
[0016]进一步地，所述S4包括：
[0017]S4
‑
1，采用改进的MobileNet
‑
v3网络结构作为改进YOLO
‑
v5模型中的Backbone部分，所述改进MobileNet
‑
v3网络结构，采用像素级和通道级注意力机制CANet替换MobileNet
‑
v3基础网络Bneck中的SE注意力机制；所述改进YOLO
‑
v5模型中的Backbone的网络结构由1个3x3卷积、14层bneck结构组成；输入的图像首先经过一个3x3卷积缩小特征尺寸，然后进入14层bneck结构进行特征提取；其中bneck结构采用倒残差结构的形式，先用1x1的逐点卷积进行升维操作，扩张特征图通道，丰富特征数量，然后在进行3x3的卷积操作选择性地加入CANet注意力机制，最后经过1x1卷积获得最后特征图；
[0018]S4
‑
2，沿用原YOLO
‑
v5模型中FPN+PAN的网络结构设计作为改进YOLO
‑
v5模型中的neck部分，经过S4
‑
1得到的特征图由FPN层由下到上传达特征信息，将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的底层特征自下到上进行融合，然后经过PAN自上向下进行加强定位信息；
[0019]S4
‑
3，采用Transformer检测头作为改进YOLO
‑
v5模型中的head部分，所述Transformer检测头为利用Transformer改进原有YOLO
‑
v5模型中的Head部分得到，将S4
‑
2得到的特征图传入Transformer检测头，利用Transformer获取的局部信息比CNN大的特点，来加强对于小物体的检测。
[0020]进一步地，所述S5包括：
[0021]利用训练集对于改进YOLO
‑
v5模型进行训练学习，更新权重参数，使用测试集对训练的最佳权重参数进行测试，保证其识别的准确率和实时性满足VGA小车识别标准，并最终得到最佳的训练模型。
[0022]本专利技术还提供一种AGV物料分拣方法，包括：
[0023]步骤1，通过web网页登录服务模块进入客户端，在客户端内开启当前工作模式，此时数字摄像头开始工作，将全局拍摄到的托盘负载情况通过无线AP产生的局域网，向后台服务器进行传输；
[0024]步骤2，后台服务器将视频帧转化为图像，将转化好的图像数据传入图像识别模块，图像识别模块包含如权利要求1
‑
4中任一所述的改进YOLO
‑
v5模型，图像识别模块进行识别判断，若识别到托盘有负载时，则通过任务管理模块向带有工业摄像头的AGV下发搬运任务；
[0025]步骤3，带有工业摄像头的AGV接受到搬运任务后，通过路径规划模块计算出当前AGV的位置到达搬运区域的路线，当AGV根据计算的路线行驶至搬运区域，工业摄像头采集物料图像，将扫描到的物料视频信息传入后台服务器；
[0026]步骤4，后台服务器将获取的实时视频信息流转化为图像信息，并传入图像识别模块，图像识别模块进行识别判断，输出物料类别，同时，再次调用路径规划模块，计算出当前物料类别所要存放的区域，给AGV规划路径，AGV根据规划路径完成搬运工作。
[0027]本专利技术还提供一种AGV物料分拣系统，用于实现如上所述的AGV物料分拣方法，包
括客户端、后台服务器、无线AP、数字摄像头和AGV，所述客户端、后台服务器和无线AP依次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：S1，对目标图像进行采集，形成自建数据集；S2，对图像进行分割，然后从中提取带有物料特征及托盘信息的数据集；S3，进行图像标注增强，将数据集分为训练集、验证集和测试集；S4，构建改进YOLO
‑
v5模型；S5，训练改进YOLO
‑
v5模型，得到最佳的训练模型；S6，将训练好的YOLO
‑
v5模型对物料进行分类识别，对托盘负载进行判断，输出物料的种类，以及托盘的负载情况。2.根据权利要求1所述的图像识别方法，其特征在于，所述S3包括：采用Labelimg软件，对图像中的物品类别和位置信息进行标注，保证标注信息与标注图片相对应；对标注后的图像进行数据增强，采用的方法为将图像分若干次顺时针旋转若干角度，然后随机调整每张图像的亮度和色度，增加高斯噪声，进行图片随机叠加，图像增强的同时生成对应的标注文件。3.根据权利要求1所述的图像识别方法，其特征在于，所述S4包括：S4
‑
1，采用改进的MobileNet
‑
v3网络结构作为改进YOLO
‑
v5模型中的Backbone部分，所述改进MobileNet
‑
v3网络结构，采用像素级和通道级注意力机制CANet替换MobileNet
‑
v3基础网络Bneck中的SE注意力机制；所述改进YOLO
‑
v5模型中的Backbone的网络结构由1个3x3卷积、14层bneck结构组成；输入的图像首先经过一个3x3卷积缩小特征尺寸，然后进入14层bneck结构进行特征提取；其中bneck结构采用倒残差结构的形式，先用1x1的逐点卷积进行升维操作，扩张特征图通道，丰富特征数量，然后在进行3x3的卷积操作选择性地加入CANet注意力机制，最后经过1x1卷积获得最后特征图；S4
‑
2，沿用原YOLO
‑
v5模型中FPN+PAN的网络结构设计作为改进YOLO
‑
v5模型中的neck部分，经过S4
‑
1得到的特征图由FPN层由下到上传达特征信息，将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的底层特征自下到上进行融合，然后经过PAN自上向下进行加强定位信息；S4
‑
3，采用Transformer检测头作为改进YOLO
‑
v5模型中的head部分，所述Transformer检测头为利用Transfo...

【专利技术属性】
技术研发人员：马菲飞，单晓杭，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：