基于ROS的AGV叉车库位托盘识别及辅助定位方法及系统技术方案

本发明专利技术公开了一种基于ROS的AGV叉车库位托盘识别及辅助定位方法及系统，包括对库位中托盘的检测识别步骤，使用深度学习训练好的模型预测图像中托盘支撑柱及其像素位置，利用深度相机计算出各根支撑柱中心在相机坐标系下的三维坐标；托盘位姿计算步骤，通过对深度相机坐标系、AGV叉车货叉坐标系、AGV叉车本体坐标系之间的坐标转化关系计算，求解托盘相对于AGV叉车本体的位姿；控制AGV叉车及货叉运动至可插取位置步骤，使得AGV叉车的货叉能够正对托盘的空洞。本发明专利技术检测速度更快，能够实时对库位中的托盘进行精确检测与定位，提升了工作效率，更好的辅助叉车插取托盘。更好的辅助叉车插取托盘。更好的辅助叉车插取托盘。

【技术实现步骤摘要】
基于ROS的AGV叉车库位托盘识别及辅助定位方法及系统


[0001]本专利技术涉及一种基于ROS的AGV叉车库位托盘识别及其插取辅助定位方法及系统。

技术介绍

[0002]随着人工智能技术的飞速发展，机器人的智能化也是必然趋势。同时随着机器人技术的成熟，机器人的应用范围也在不断的拓展，有适用于工业生产制造的工业机器人、服务人们日常生活的家庭服务机器人、辅助医生和病人的医疗机器人、用于国防部队的军事机器人等。
[0003]AGV(Automated Guided Vehicle)叉车是工业机器人的一种，具有移动、自动导航、多传感器控制、网络交互、装卸托运等功能。AGV叉车作为一种人工智能化工业装卸车，完成的任务主要有对托盘的货物进行装卸和用作短途交通运输的装卸车等。随着仓库周转率和订单量增加，为保证工作效率，越来越多的用户将传统人工叉车换成无人的AGV叉车，无人的AGV叉车有着更为广阔的应用前景。利用独有的视觉和人工智能技术，未来机器人为工厂和仓库的物流无人化升级提供柔性解决方案。计算机视觉的深层应用赋予了无人叉车更高的定位与感知精度，结合运动控制、深度学习等技术，AGV叉车更加聪明，可快速筛选并执行最优的任务完成策略。
[0004]在AGV叉车进行货物装卸搬运工作的工厂中，因库位中的托盘及其货物也会存在被人工插走的可能，所以AGV叉车在取货时，需要在进工位前使用视觉相机去实时检测识别对应的目标库位点有无托盘，进而告知系统该库位点货物已被搬运走，同时AGV叉车本身也不用继续去该库位点取货。另一方面，有时货物也会出现放错位置的情况，如将货物错放在其他种类货物的库位中。这时如果用不同类型的托盘放置不同种类的货物，利用视觉相机对不同托盘进行识别，就可以区分开不同货物，进而判断所插取的货物是否正确。传统机器视觉感知方法主要通过人工设计的特征，利用特征点进行匹配等来识别目标对象。这种算法在实际的应用中，由于目标物体的形态复杂、环境的光线变化常常表现的不尽人意。目前基于深度神经网络的检测技术已经成为主流方法，并且在开放目标检测数据集上的检测效果和性能都很出色。
[0005]在库位摆放托盘时，有时未能严格按照规定的要求摆放，托盘摆放不整齐，这就导致托盘的位置与原定设置的摆放位置存在倾斜偏差。如果AGV叉车继续按原定的规划路径和程序取执行插取任务，会出现货叉插不准的情况出现。此时利用搭载的传感器设备，在原定规划的路径基础上来辅助AGV叉车对托盘进行定位，可以使得叉车能够更加精准地对托盘进行插取装卸作业。
[0006]ROS:ROS(Robot Operating System,机器人操作系统)提供一系列程序库和工具以帮助软件开发者创建机器人应用软件。它提供了硬件抽象、设备驱动、函数库、可视化工具、消息传递和软件包管理等诸多功能。ROS执行若干种类型的通讯，包括基于服务的同步RPC(Remote Procedure Call，远程过程调用)通讯、基于Topic(话题)的异步数据流通讯，还有参数服务器上的数据存储。
[0007]YOLOv4:YOLO(You Only Look Once,你只要看一次)是一种深度学习的目标检测方法，该方法的特点是实现快速检测的同时还达到较高的准确率，YOLO采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测。YOLOv4为YOLO系列第四代目标检测方法，继承了YOLO系列的思想和理念，可以使用传统的GPU(Graphics Processing Unit,图像处理单元)进行训练和测试，并能够获得实时、高精度的检测结果。

技术实现思路

[0008]1、本专利技术的目的
[0009]专利技术的目的是辅助AGV叉车在进入库位插取托盘前检测托盘是否还在原位置，以及检测托盘种类是否正确，避免重复无用操作。同时由于托盘放置不严格导致的错位，插取辅助定位系统可以协助AGV叉车准确的对托盘进行定位，从而更好地完成AGV叉车插取拖运作业。
[0010]2、本专利技术所采用的技术方案
[0011]本专利技术公开了一种基于ROS的AGV叉车库位托盘识别及辅助定位方法，包括：
[0012]对库位中托盘的检测识别步骤，使用深度学习训练好的模型预测图像中托盘支撑柱及其像素位置，利用深度相机计算出各根支撑柱中心在相机坐标系下的三维坐标；
[0013]托盘位姿计算步骤，通过对深度相机坐标系、AGV叉车货叉坐标系、AGV叉车本体坐标系之间的坐标转化关系计算，求解托盘相对于AGV叉车本体的位姿；
[0014]控制AGV叉车及货叉运动至可插取位置步骤，使得AGV叉车的货叉能够正对托盘的空洞。
[0015]更进一步，检测识别步骤S1：
[0016]S11、对库位中的托盘样本数据进行拍摄采集；
[0017]S12、使用图像标注软件LabelImg对样本数据进行标注，框选出各图中的不同种类托盘的支撑柱，标记不同种类托盘的标签保存并输出标注文件，之后划分数据集；
[0018]S13、物体检测模型的训练，搭建基于深度学习YOLOv4
‑
CSP目标检测网络；YOLOv4的网络结构分为四部分，包括输入、主干、颈部、头部；YOLOv4在输入端采用丰富检测数据集的方法，包括马赛克数据增强、SAT策略；YOLOv4的BackBone以CSPDarknet53网络框架作为网络提取骨干用于特征提取；颈部部分主要采用了SPP模块、FPN和PAN的方式，用SPP模块来融合不同尺度大小的特征图，增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力；YOLOv4的头部部分训练的损失函数为L
CIOU
，L
CIOU
是在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比的损失函数；L
CIOU
具体的计算方法如下式：
[0019][0020]式中，Distance_2为预测框和真实框中心点的欧式距离，Distance_C为预测框和真实框最小外接矩形的对角线距离；IOU(Intersection over Union,交并比)是测量在特定数据集中检测相应物体准确度的一个标准，其计算公式为：
[0021][0022]其中∩表示两者的并集，∩表示两者的交集；式(1)中的v是用于衡量宽高比一致性的参数，计算公式为：
[0023][0024]式中，w
gt
、h
gt
分别为真实框的宽和高，w
p
、h
p
分别为预测框的宽和高，arctan是反正切函数；
[0025]YOLOv4
‑
CSP在Neck部分的FPN、PAN的上采样和下采样阶段和SPP模块中加入了跨阶段局部网络结构CSPNet，将基础层的特征图分割成两部分，然后通过跨阶段分层结构进行合并；
[0026]S14、在GPU计算机上通过训练得到效果好的托盘支撑柱检测识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ROS的AGV叉车库位托盘识别及辅助定位方法，其特征在于，包括：对库位中托盘的检测识别步骤，使用深度学习训练好的模型预测图像中托盘支撑柱及其像素位置，利用深度相机计算出各根支撑柱中心在相机坐标系下的三维坐标；托盘位姿计算步骤，通过对深度相机坐标系、AGV叉车货叉坐标系、AGV叉车本体坐标系之间的坐标转化关系计算，求解托盘相对于AGV叉车本体的位姿；控制AGV叉车及货叉运动至可插取位置步骤，使得AGV叉车的货叉能够正对托盘的空洞。2.根据权利要求1所述的基于ROS的AGV叉车库位托盘识别及辅助定位方法，其特征在于检测识别步骤S1：S11、对库位中的托盘样本数据进行拍摄采集；S12、使用图像标注软件LabelImg对样本数据进行标注，框选出各图中的不同种类托盘的支撑柱，标记不同种类托盘的标签保存并输出标注文件，之后划分数据集；S13、物体检测模型的训练，搭建基于深度学习YOLOv4
‑
CSP目标检测网络；YOLOv4的网络结构分为四部分，包括输入、主干、颈部、头部；YOLOv4在输入端采用丰富检测数据集的方法，包括马赛克数据增强、SAT策略；YOLOv4的BackBone以CSPDarknet53网络框架作为网络提取骨干用于特征提取；颈部部分主要采用了SPP模块、FPN和PAN的方式，用SPP模块来融合不同尺度大小的特征图，增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力；YOLOv4的头部部分训练的损失函数为L
CIOU
，L
CIOU
是在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比的损失函数；L
CIOU
具体的计算方法如下式：式中，Distance_2为预测框和真实框中心点的欧式距离，Distance_C为预测框和真实框最小外接矩形的对角线距离；IOU(Intersection over Union,交并比)是测量在特定数据集中检测相应物体准确度的一个标准，其计算公式为：其中∩表示两者的并集，∩表示两者的交集；式(1)中的v是用于衡量宽高比一致性的参数，计算公式为：式中，w
gt
、h
gt
分别为真实框的宽和高，w
p
、h
p
分别为预测框的宽和高，arctan是反正切函数；YOLOv4
‑
CSP在Neck部分的FPN、PAN的上采样和下采样阶段和SPP模块中加入了跨阶段局部网络结构CSPNet，将基础层的特征图分割成两部分，然后通过跨阶段分层结构进行合并；S14、在GPU计算机上通过训练得到效果好的托盘支撑柱检测识别模型。3.根据权利要求2所述的基于ROS的AGV叉车库位托盘识别及辅助定位方法，其特征在于，所述的托盘位姿计算步骤S2：
S21、打开叉车货叉上的深度相机，运行YOLOv4
‑
CSP检测模型，检测的数据会通过ROS发送bounging_boxes的话题，bounging_boxes包含检测框信息并通过ROS发送的话题消息；该话题中包含了每个被识别到的托盘支撑柱、托盘的种类、托盘支撑柱的置信度、检测框的左上和右下点的像素坐标；S22、在ROS下创建YoloObject和YoloObjects两个消息；YoloObject和YoloObjects是自定义的消息类型，用于存放转换后的坐标信息；YoloObject消息中包含着单个托盘支撑柱的标签信息和中心点的三维坐标，YoloObjects消息用于存放所有YoloObject消息；S23、通过ROS订阅bounging_boxes和相机的彩色图像、深度数据、内参话题消息，将支撑柱中心点的二维像素坐标(u,v)转化为三维坐标(x,y,z)，转化计算如下：z＝0.001*d (4)(4)其中，d为该像素点的深度数据，f
x
，f
y
为相机的焦距，c
x
，c
y
为相机主点；S24、将托盘支撑柱中心点的三维坐标(x,y,z)信息和托盘的种类信息存放在YoloObject中。4.根据权利要求2所述的基于ROS的AGV叉车库位托盘识别及辅助定位方法，其特征在于，所述的步骤S24，种类信息存放在Yo...

【专利技术属性】
技术研发人员：徐本连，李震，从金亮，鲁明丽，施健，吴迪，赵康，
申请(专利权)人：常熟理工学院，
类型：发明
国别省市：