【技术实现步骤摘要】
基于二维-三维融合特征的对象识别与定位方法及装置
本专利技术涉及工业机器人
，具体而言，涉及一种基于二维-三维融合特征的对象识别与定位方法及装置。
技术介绍
随着新基建不断推进，仓储物流行业积极部署自动拣货机器人、输送带、堆垛机、机械手等设备，建立起自动化、柔性化、智能化的仓储体系。在上述仓储体系中，托盘常常作为堆放和运输物料的主要媒介。机器人准确地进行托盘识别和叉孔定位，可以迅速提高物流系统的搬运效率，降低人工成本。目前托盘识别与定位方法尚未成熟，现有技术方案可以分为：RFID技术、2D(2-dimension，二维)视觉特征识别识别、3D(3-dimension，三维)点云特征识别技术等。其中，RFID大量布设时成本高，且易受金属、液体等商品干扰；2D视觉传感器成本低，特征识别技术成熟，但待测目标的纹理特征简单会失效，且视觉技术的检测精度和抗干扰能力较差；3D立体传感器具有较强的环境适应能力，而且检测精度高，但运算量大且特征识别技术尚未成熟。因此，现有的托盘识别与定位方法，存在无法兼顾精度、检测速率
【技术保护点】
1.一种基于二维-三维融合特征的对象识别与定位方法，其特征在于，包括：/n获取包含对象的点云数据，及通过预设的滤波算法进行预处理；/n栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；所述二维图像坐标索引集合中元素为所述二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，所述三维相机坐标集合中元素为所述二维图像坐标索引集合中栅格像素对应的点云坐标；/n对所述二维鸟瞰图进行目标分割，得到目标对象图像；/n根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像；/n对所述二维目标图像进行形状检测及匹配，确定目标形状。/n
【技术特征摘要】
1.一种基于二维-三维融合特征的对象识别与定位方法，其特征在于，包括：
获取包含对象的点云数据，及通过预设的滤波算法进行预处理；
栅格化预处理后的点云数据，得到二维鸟瞰图、二维图像坐标索引集合及三维相机坐标集合；所述二维图像坐标索引集合中元素为所述二维鸟瞰图的栅格像素包含的点云集合在点云图中对应的像素坐标索引，所述三维相机坐标集合中元素为所述二维图像坐标索引集合中栅格像素对应的点云坐标；
对所述二维鸟瞰图进行目标分割，得到目标对象图像；
根据所述二维图像坐标索引集合，将所述目标对象图像转换为二维目标图像；
对所述二维目标图像进行形状检测及匹配，确定目标形状。
2.根据权利要求1所述的方法，其特征在于，所述对所述二维目标图像进行形状检测及匹配，确定目标形状，包括：
根据所述二维目标图像及所述三维相机坐标集合，对所述二维目标图像进行点云条件滤波，剔除叉孔内点云得到二维目标掩码图；
根据所述二维目标掩码图确定叉孔的外接矩形框；
根据所述外接矩形框确定目标叉孔对。
3.根据权利要求2所述的方法，其特征在于，所述根据所述二维目标掩码图确定叉孔的外接矩形框，包括：
将所述二维目标掩码图进行轮廓提取和外接矩形拟合，得到叉孔的初始矩形框；
根据所述初始矩形框及所述三维相机坐标集合，确定所述初始矩形框的三维尺寸信息；
根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选及修正，得到所述叉孔的外接矩形框。
4.根据权利要求3所述的方法，其特征在于，所述根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选及修正，得到所述叉孔的外接矩形框，包括：
根据预设的叉孔尺寸阈值对所述初始矩形框的三维尺寸信息进行筛选，得到候选矩形框；
对所述候选矩形框进行非极大值抑制操作，确定面积较大的候选矩形框；
根据所述叉孔尺寸阈值，对所述面积较大的候选矩形框的尺寸进行修正，得到所述叉孔的外接矩形框。
5.根据权利要求2所述的方法，其特征在于，所述根据所述外接矩形框确定目标叉孔对，包括：
计算一对叉孔外接矩形框的边缘中心点的行索引的差值；所述一对叉孔外接矩形框包括一个左侧叉孔外接矩形框及一个右侧叉孔外接矩形框；
若所述差值小于预设的行索引阈值，则确定所述一对叉孔外接矩形框处于同一直线；
计算所述一对叉孔外接矩形框的深度值的均值，及确定所述一对叉孔外接矩形框的中心点；
若所述均值与所述中心点的深度值的差值小于预设的深度阈值，则确定所述一对叉孔外接矩形框处于同一平面...
【专利技术属性】
技术研发人员：罗凤鸣，李勇基，杜晨光，
申请(专利权)人：洛伦兹北京科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。