一种基于深度相机的托盘检测定位方法技术

本发明专利技术提出了一种基于深度相机的托盘检测定位方法，包括：将红外反光标记粘贴于货架；对深度相机获取的红外图像进行检测，判断托盘是否在货架上；对包含托盘的点云进行分割、平面检测并栅格化后实现对托盘的定位。本发明专利技术能适应地面上或货架上的托盘两种场景，能够快速准确地实现定位。

【技术实现步骤摘要】
一种基于深度相机的托盘检测定位方法
本专利技术涉及测量
，具体涉及一种基于深度相机的托盘检测定位方法。
技术介绍
随着现代物流的不断发展，仓储机器人在智能仓储系统中发挥着越来越重要的作用，而对托盘的检测是仓储机器人的核心技术之一。由于仓储环境具有背景复杂、光线不均匀、托盘位姿难以确定等特点，所以精确高效的托盘检测是目前亟待解决的问题。近年来，针对托盘的检测研究主要采用基于视觉、激光雷达以及两者结合的检测方法。其中，基于视觉的检测方法主要通过从图像背景中分割出托盘，利用特定的特征进行检测。CHENG等人(CuiGZ,LuLS,HeZD,etal.Arobustautonomousmobileforkliftpalletrecognition[C]//InformaticsinControl,AutomationandRobotics(CAR),20102ndInternationalAsiaConferenceon.IEEEPress,2010：286-290.)提出基于颜色和几何特征的视觉检测方法，通过颜色、边缘和角点等信息生成特本文档来自技高网...

【技术保护点】
1.一种基于深度相机的托盘检测定位方法，其特征在于，包括如下步骤：/n步骤1：根据托盘货架横梁和立柱的宽度，选取直径3-5厘米的圆形红外反光标记粘贴在横梁和立柱外表面；/n步骤2：使用深度相机获取包含目标托盘的点云和红外图像，记该点云为原始点云P

【技术特征摘要】
1.一种基于深度相机的托盘检测定位方法，其特征在于，包括如下步骤：
步骤1：根据托盘货架横梁和立柱的宽度，选取直径3-5厘米的圆形红外反光标记粘贴在横梁和立柱外表面；
步骤2：使用深度相机获取包含目标托盘的点云和红外图像，记该点云为原始点云P0，红外图像为I0，并对点云和红外图像进行预处理；
步骤3：采用直通滤波算法去除点云P0中的无效区域，同时剔除离群点；采用基于法向量约束的区域生长算法对点云进行分割，首先使用基于主成分分析的法线估计方法，设置方法中种子点的邻域半径为30毫米，设置区域生长点数下限为50，上限为2000，对点云中任意种子点进行法线估计，将点云聚类为n个点簇集合，其中第j个聚类点集Dj如式(5)所示，j＝1,2,…,n，点集Dj被视为一个平面；筛选出点云中待处理的托盘立柱平面点云并构成如式(6)所示的点云集合Pplane，该点云集合对应的平面记为α；
Dj＝{di||Ai|＜5°,i＝1,2,…,v}(5)



其中，di表示点云P0中第i个种子点，Ai表示种子点di与其邻域内点的法向量角度差；Ajk表示平面点集Dj与Dk的法向量角度差，表示平面点集Dj的法向量与深度相机z轴正方向向量的角度差，η(Dj)表示平面点集Dj整体的长宽比；
步骤4：将原始点云P0中满足x坐标大于xnp且小于xxp、y坐标大于ynp且小于yxp、z坐标大于znp且小于zxp的w个点构成点云Pseg，其中，xnp和xxp分别表示点云Pplane中x坐标的最小值和最大值，ynp和yxp分别表示点云Pplane中y坐标的最小值和最大值，znp和zxp分别表示点云Pplane中z坐标的最小值和最大值；获取Pseg中属于平面α的切面点云并投影形成如式(7)所示点云集合Ppro；根据式(8)得到Ppro旋转后的切面点云Ptran，该点云中的点的z坐标大小记为ztran；






其中，ds表示点云Pseg中任意点，表示点ds在平面α上的投影点，Dist(α,ds)表示点ds到平面α的距离，单位为毫米，Rproz为点云Ppro到相机z轴正方向的旋转矩阵，(xpro,ypro,zpro)表示点云Ppro中点的坐标，(xtran,ytran,ztran)表示将点(xpro,ypro,zpro)旋转到点云Ptran中对应点的坐标；
步骤5：测量出托盘实物的长为L0，宽为We，单位为毫米，然后将栅格图G的长设置为L0、宽设置为We，将平面点云Ptran转换为栅格图G，具体为：根据式(9)设置栅格图像素坐标的灰度值，然后采用闭运算算法将栅格图稀疏区域的灰度值设置为255，使栅格图中白色区域表示托盘，黑色区域表示背景或叉孔；



其中，(xG,yG)表示栅格图G的像素坐标，G(xG,yG)表示坐标(xG,yG)处的像素的灰度值，xmin、ymin分别为点云Ptran中点的x、y坐标的最小值，xtran、ytran分别表示点云Ptran中任意点的x、y坐标；
步骤6：使用轮廓检测算法，检测出栅格图G中t个无内部轮廓的轮廓并筛选得到如式(10)所示的候选轮廓集合H；获取栅格图G中托盘叉孔轮廓对应的两个外接矩形并得到如式(11)所示的集合Rf，记集合Rf中的两个外接矩形的八个角点的像素坐标为(xre,yre)，re＝1,2,…,8，角点对应点云Ptran上的坐标为(xmin+xre,ymin+yre,ztran)；
H＝{Ci|i＝1,2,…,t,1≤η(Ci...

【专利技术属性】
技术研发人员：高飞，邱琪，卢书芳，翁立波，张元鸣，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33