【技术实现步骤摘要】
本专利技术涉及物体识别领域，特别是涉及一种基于多传感器融合的agv托盘识别方法及系统。
技术介绍
1、在自动化仓储和物流领域，自动导向车(agv，automated guided vehicle)已经广泛应用于货物搬运和仓库操作。为了实现精准高效的货物托盘筛选，目前通常在自动导向车上安装相机，利用相机采集货物托盘的图像，通过图像识别的方式从多个货物托盘中找出自动导向车需要搬运的货物托盘。
2、由于托盘在图像中的尺寸和结构形状会随着相机的拍摄角度变化以及拍摄距离变化而发生变化，会出现自动导向车识别到的托盘图像信息残缺或者自动导向车识别范围过大引入其他的噪声干扰等问题，最终导致自动导向车难以识别出需要搬运的托盘，无法完成搬运工作。
技术实现思路
1、本专利技术的目的是提供一种基于多传感器融合的agv托盘识别方法及系统，可以准确地从图像中识别出托盘，并从在多个托盘中筛选出正确的托盘，避免了拍摄角度和拍摄距离的影响，提高托盘识别的精度，保证搬运工作的完成。
2、为解决上述技术问题，本专利技术提供了一种基于多传感器融合的agv托盘识别方法，包括：
3、获取相机对预设区域拍摄得到的包含多个托盘的图像；
4、将所述图像输入到预先训练好的深度学习模型中，以便确定各个所述托盘在所述图像中表示的第一区域，所述深度学习模型预先由预设数量的所述图像训练得到的；
5、确定各个所述第一区域的第一点云模型；
6、确定预设目标点云模型与各个所
7、将所述相似度最大的n个所述第一点云模型作为疑似点云模型，其中，n为不大于所述第一点云模型的数量的正整数；
8、利用预设凹包算法确定各个所述托盘的进叉孔洞在对应的所述疑似点云模型中的孔洞参数；
9、将所述孔洞参数与预设目标孔洞参数一致的所述疑似点云模型作为自动导向车需要搬运的托盘的正确点云模型。
10、一方面，确定各个所述第一区域的第一点云模型，包括：
11、确定所述预设区域的第二点云模型；
12、根据多个所述托盘的所述第一区域在所述图像中的位置，确定多个所述托盘的所述第一区域在所述第二点云模型中对应的兴趣区域；
13、删除所述第二点云模型中的除所述兴趣区域以外的点云，得到各个所述第一区域的第一点云模型。
14、一方面，确定预设目标点云模型与各个所述第一点云模型之间的相似度，将相似度最大的n个所述第一点云模型作为疑似点云模型，包括：
15、确定各个所述第一点云模型中包含的点云数量；
16、对于任一个所述第一点云模型，判断所述第一点云模型的点云数量是否在所述预设目标点云模型对应的点云数量范围内；
17、若是，则判定所述第一点云模型为所述疑似点云模型；
18、若否，则判定所述第一点云模型不为所述疑似点云模型。
19、一方面，在判定所述第一点云模型为所述疑似点云模型之前，还包括：
20、构建所述第一点云模型对应的最小外接矩形；
21、确定所述最小外接矩形的长宽比例；
22、判断所述最小外接矩形的长宽比例是否在所述预设目标点云模型对应的长宽比例范围内；
23、若是，则进入判定所述第一点云模型为所述疑似点云模型的步骤；
24、若否，则进入判定所述第一点云模型不为所述疑似点云模型的步骤。
25、一方面，所述孔洞参数包括所述托盘中的进叉孔洞的尺寸、数量和形状。
26、一方面，获取相机对预设区域拍摄得到的包含多个托盘的图像，包括：
27、获取所述相机对所述预设区域拍摄得到的包含多个所述托盘的rgb图像和红外强度图像；
28、将所述rgb图像和所述红外强度图像均输入到预先训练好的深度学习模型中，以便确定各个所述托盘在所述图像中表示的第一区域；所述深度学习模型预先由预设数量的所述rgb图像和所述红外强度图像训练得到的。
29、一方面，在将所述孔洞参数与预设目标孔洞参数一致的所述疑似点云模型作为自动导向车需要搬运的托盘的正确点云模型之后，还包括：
30、分别确定所述自动导向车需要搬运的托盘上的各个进叉孔洞的中心点在所述正确点云模型中的坐标；
31、将各个所述进叉孔洞的中心点在所述正确点云模型中的坐标发送给所述自动导向车的车控系统，以便所述车控系统控制所述自动导向车搬运所述托盘。
32、一方面，分别确定所述自动导向车需要搬运的托盘上的各个进叉孔洞的中心点在所述正确点云模型中的坐标，包括：
33、对于任一个所述进叉孔洞，获取所述进叉孔洞自身在所述正确点云模型中对应的点云；
34、将所述进叉孔洞的点云的质心在所述正确点云模型中的坐标，作为所述进叉孔洞的中心点在所述正确点云模型中的坐标。
35、本申请还提供一种基于多传感器融合的agv托盘识别系统，包括：
36、存储器，用于存储计算机程序；
37、处理器，用于执行所述计算机程序时实现如上述的基于多传感器融合的agv托盘识别方法的步骤。
38、本申请的有益效果在于，提供了一种基于多传感器融合的agv托盘识别方法及系统，通过获取相机拍摄到的包含多个托盘的图像，将图像输入到深度学习模型中以确定各个托盘在图像中表示的第一区域，确定各个第一区域的点云模型，根据预设目标点云模型和各个点云模型之间的相似度确定多个疑似点云模型，利用预设凹包算法确定各个疑似点云模型中的进叉孔洞参数，将进叉孔洞参数与预设目标点云模型的进叉孔洞参数一致的疑似点云模型作为正确点云模型。通过深度学习的方式可以准确地从图像中识别出托盘，通过确定点云模型的方式可以准确地在多个托盘中筛选出正确的托盘，避免了拍摄角度和拍摄距离的影响，提高托盘识别的精度，保证搬运工作的完成。
本文档来自技高网...【技术保护点】
1.一种基于多传感器融合的AGV托盘识别方法，其特征在于，包括：
2.如权利要求1所述的基于多传感器融合的AGV托盘识别方法，其特征在于，确定各个所述第一区域的第一点云模型，包括：
3.如权利要求1所述的基于多传感器融合的AGV托盘识别方法，其特征在于，确定预设目标点云模型与各个所述第一点云模型之间的相似度，将相似度最大的N个所述第一点云模型作为疑似点云模型，包括：
4.如权利要求3所述的基于多传感器融合的AGV托盘识别方法，其特征在于，在判定所述第一点云模型为所述疑似点云模型之前，还包括：
5.如权利要求1所述的基于多传感器融合的AGV托盘识别方法，其特征在于，所述孔洞参数包括所述托盘中的进叉孔洞的尺寸、数量和形状。
6.如权利要求1所述的基于多传感器融合的AGV托盘识别方法，其特征在于，获取相机对预设区域拍摄得到的包含多个托盘的图像，包括：
7.如权利要求1至6任一项所述的基于多传感器融合的AGV托盘识别方法，其特征在于，在将所述孔洞参数与预设目标孔洞参数一致的所述疑似点云模型作为自动导向车需要搬运的托盘
8.如权利要求7所述的基于多传感器融合的AGV托盘识别方法，其特征在于，分别确定所述自动导向车需要搬运的托盘上的各个进叉孔洞的中心点在所述正确点云模型中的坐标，包括：
9.一种基于多传感器融合的AGV托盘识别系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于多传感器融合的agv托盘识别方法，其特征在于，包括：
2.如权利要求1所述的基于多传感器融合的agv托盘识别方法，其特征在于，确定各个所述第一区域的第一点云模型，包括：
3.如权利要求1所述的基于多传感器融合的agv托盘识别方法，其特征在于，确定预设目标点云模型与各个所述第一点云模型之间的相似度，将相似度最大的n个所述第一点云模型作为疑似点云模型，包括：
4.如权利要求3所述的基于多传感器融合的agv托盘识别方法，其特征在于，在判定所述第一点云模型为所述疑似点云模型之前，还包括：
5.如权利要求1所述的基于多传感器融合的agv托盘识别方法，其特征在于，所述孔洞参数包括所述托...
【专利技术属性】
技术研发人员：王瀚森，周焜，姚禹，马益超，徐责，耿帅，郑浙涛，陈俊杰，王金成，
申请(专利权)人：杭叉集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。