一种散乱堆放物料拾取装置和方法制造方法及图纸

本发明专利技术公开了一种散乱堆放物料拾取装置和方法，包括机器人、上位机、光测量系统；所述光测量系统包括投影装置、分别位于投影装置左边和右边的左相机和右相机；所述投影装置顺次向物料拾取场景中投射Gray码图像；左相机和右相机分别采集物料拾取场景中的Gray码图像，并传输到上位机中；上位机根据左相机和右相机采集到的Gray码图像重建目标物体的点云，并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态，制定拾取策略，规划机器人的机械臂的拾取路径，并传输给机器人；机器人根据拾取路径执行拾取操作。本发明专利技术可有效解决散堆件位姿随意性导致机器人路径规划困难问题。

【技术实现步骤摘要】
一种散乱堆放物料拾取装置和方法
本专利技术属于机器人应用领域，具体涉及一种散乱堆放物料拾取装置和方法。
技术介绍
视觉引导机器人抓取技术在工业上的应用越来越广泛，应用场景也在日益丰富，随着技术的发展，机器人将逐渐替代人类来完成一些简单、重复、低智力要求的工作。目前，视觉引导机器人抓取应用主要集中在基于2D视觉检测的固定平面上的目标物体拾取上，2D视觉检测方法能提供的零件位置信息有限，通常只能将零件限定在一个固定的测量深度上进行检测，这显然会限制机器人的应用范围。随着深度图像采集设备的发展迭代，获取包含场景深度信息的数据已经不再是困难和昂贵的事情，同时三维物体识别算法的近几年的蓬勃发展，使得识别和定位点云数据或深度图像中的目标物体变得越来越稳定有效。通过三维物体识别算法可以获得目标物体六个维度的位置信息，将该技术和六自由度机器人结合起来，便可实现对散乱堆放的目标物体的拾取。但由于三维物体的处理对象是大量的点云数据，比二维图像多了一个维度的信息，处理效率上比二维图像要慢很多，且目前还没有出现较为高效的三维物体识别算法。另外由于散乱堆放的物料随意性强，规划机器人的拾取路径时难度大。由于上述原因，工业上用机器人拾取散乱堆放的物料的应用极少。如果能找到提高三维识别的效率的方法和有效的机器人路径规划方法，便可将机器人应用到散堆件的拾取和分拣工作中。
技术实现思路
针对上述问题，本专利技术提出一种散乱堆放物料拾取装置和方法，可以有效提高零件查找的速度和机器人拾取路径自主规划能力，实现机器人对散乱堆放的物料的有效拾取。实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：一种散乱堆放物料拾取装置，包括机器人、上位机、光测量系统；所述光测量系统包括投影装置、分别位于投影装置左边和右边的左相机和右相机；所述投影装置向物料拾取场景中投射Gray码图像；左相机和右相机分别采集物料拾取场景中的Gray码图像，并传输到上位机中；上位机根据左相机和右相机采集到的Gray码图像重建目标物体的点云，并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态，制定拾取策略，规划机器人的机械臂的拾取路径，并传输给机器人；机器人根据拾取路径执行拾取操作。进一步地，所述的一种散乱堆放物料拾取装置，还包括标定装置，所述标定装置是一种由圆形特征按照设定的分布关系组合而成的图形板，用于上位机根据图形识别算法由图形组合特征从场景中获取标定装置的位姿，继而根据手眼标定法标定光测量系统坐标系与机器人上的基座的坐标系的位姿关系；或者标定装置采用相机标定中通用的圆特征标定板或棋盘格标定板；所述机器人为六自由度或者六自由度以上的机械臂。一种散乱堆放物料拾取方法，包括以下步骤：步骤一、利用投影装置顺次向物料拾取场景中投射若干张疏密程度不一的Gray码图像；分别通过位于投影装置左边的左相机和位于投影装置右边的右相机采集Gray码图像，得到对应的左Gray码匹配图像和右Gray码匹配图像，并传输到上位机中，顺次排放形成Gray码匹配图像序列，用于重建场景点云；步骤二、上位机通过视差相似相减的方法将场景中非目标物体的背景滤除，只重建目标物体的点云；步骤三、上位机对场景中的目标物体进行识别和定位，获取目标物体的三维堆放位置和三维姿态；步骤四、上位机根据识别和定位到的目标物体的三维堆放位置和三维姿态，制定拾取策略，规划机械臂的拾取路径，并输出控制信号给机器人；步骤五、机器人根据接收到的控制信号，控制其机械臂执行拾取操作。进一步地，所述步骤二具体包括以下步骤：201：先对未放置目标物体的场景投射Gray码图片，计算出此时场景的视差，并将视差数据保存下来；202：向场景中放入目标物体，计算有目标物体的场景视差，将该视差数据与步骤201中保存的视差数据逐像素相比较；203：滤除相似视差的部分，只留下目标物体的视差图像；204：根据目标物体的视差图像进行重建，获得只有目标物体的点云数据，从而完成重建目标物体的点云。进一步地，所述场景的视差的计算方法具体为：矫正左Gray码匹配图像和右Gray码匹配图像，使二者的行对应；分别计算各左Gray码匹配图像和各右Gray码匹配图像中指定图像的全黑和全白的Gray图像灰度均值，设定二值化阈值；利用上一步计算出的阈值对Gray码匹配图像序列中的各左Gray码匹配图像和右Gray码匹配图像分别进行二值化，大于阈值图像对应像素点的值即为1，否则为0，形成二值化的Gray码匹配图像序列；从二值化的Gray码图像序列中按顺序取出同一点的0或1值，将取出来的Gray码转换成十进制码，最终形成对应的左解码图像和右解码图像；通过在左解码图像和左解码图像相同行中寻找码值相同且为条纹边界的点就可以确定左解码图像和左解码图像的对应性，从而计算出视差图像。进一步地，所述滤除相似视差的方法具体为：首先设定视差图像比较窗口大小，和相似判定阈值；将有目标物体的场景视差图像的每个像素和无目标物体的场景视差图像中相应位置处比较窗口范围内的所有像素的视差值进行比较，如果在比较窗口中找到视差值差值在相似判定阈值内，则视为相似视差并给予滤除。进一步地，所述步骤四中的规划机械臂的拾取路径包括以下步骤：基于目标物体的三维堆放位置和三维姿态，利用手眼标定算法获得机器人基座坐标系和光测量系统坐标系位姿变换关系，通过姿态变换关系计算出目标物体在机器人基座下的位姿；设置机器人末端执行器的初始拾取位姿RTt；根据目标物体的位姿和机器人的初始拾取准备位姿，确定机器人拾取目标物体的最优位姿，并将最优拾取位姿的z轴方向定义为机器人末端执行器接近目标物体的方向，即拾取方向；进行目标物体是否可拾取判断，排除机器人无法拾取的目标物体；根据目标物体的遮挡关系，确定目标物体的拾取顺序；根据中间过渡点规划机器人拾取路径；向机器人发送控制信号，控制机器人进行拾取。所述的确定机器人拾取目标物体的最优位姿的具体法：根据目标物体的结构特征，在待识别的目标物体上相对固有局部参考坐标系额外定义多个参考坐标系，记为：第一局部参考坐标系、第二局部参考坐标系……第N局部参考坐标系，根据坐标变换原理计算出这些参考坐标系在机器人基座坐标系下的位姿RT1、RT2……RTN，将这些位姿同RTt进行比较，根据旋量变化的大小选择合适的机器人拾取位姿，选择原则为旋量越小越合适。进一步地，所述进行目标物体是否可拾取判断的具体做法是：根据机器人拾取目标物体的最优位姿，求机器人的运动学逆解，获得机器人各关节的移动量，并判断是否超出了最大关节的最大运动极限，从而判断该目标物体是否可拾取。进一步地，所述的确定目标物体的拾取顺序具体做法是：标物体在机器人基座下的位姿及其三维模型，在几何仿真环境下还原实际场景中物体的堆叠情况，对每个物体在拾取方向上进行正交投影，根据计算机图形学的遮挡判断原理获得物体之间的遮挡关系，继而根据遮挡关系确定各物体的拾取顺序；所述的根据中间过渡点规划机器人拾取路径的具体做法是：根据机器人和外设的位置关系以及目标物体的拾取方法预先指定多个中间过渡点，然后根据中间过渡点规划机器人拾取路径，用于避免机器人规划拾取路径时与周边设备发生碰撞，减小机器人运动轨迹的不确定性。本专利技术的有益效果：本专利技术提出的一种散本文档来自技高网...

【技术保护点】
一种散乱堆放物料拾取装置，其特征在于：包括机器人、上位机、光测量系统；所述光测量系统包括投影装置、分别位于投影装置左边和右边的左相机和右相机；所述投影装置向物料拾取场景中投射Gray码图像；左相机和右相机分别采集物料拾取场景中的Gray码图像，并传输到上位机中；上位机根据左相机和右相机采集到的Gray码图像重建目标物体的点云，并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态，制定拾取策略，规划机器人的机械臂的拾取路径，并传输给机器人；机器人根据拾取路径执行拾取操作。

【技术特征摘要】
1.一种散乱堆放物料拾取装置，其特征在于：包括机器人、上位机、光测量系统；所述光测量系统包括投影装置、分别位于投影装置左边和右边的左相机和右相机；所述投影装置向物料拾取场景中投射Gray码图像；左相机和右相机分别采集物料拾取场景中的Gray码图像，并传输到上位机中；上位机根据左相机和右相机采集到的Gray码图像重建目标物体的点云，并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态，制定拾取策略，规划机器人的机械臂的拾取路径，并传输给机器人；机器人根据拾取路径执行拾取操作。2.根据权利要求1所述的一种散乱堆放物料拾取装置，其特征在于：还包括标定装置，所述标定装置是一种由圆形特征按照设定的分布关系组合而成的图形板，用于上位机根据图形识别算法由图形组合特征从场景中获取标定装置的位姿，继而根据手眼标定法标定光测量系统坐标系与机器人上的基座的坐标系的位姿关系；或者标定装置采用相机标定中通用的圆特征标定板或棋盘格标定板；所述机器人为六自由度或者六自由度以上的机械臂。3.一种散乱堆放物料拾取方法，其特征在于：包括以下步骤：步骤一、利用投影装置顺次向物料拾取场景中投射若干张疏密程度不一的Gray码图像；分别通过位于投影装置左边的左相机和位于投影装置右边的右相机采集Gray码图像，得到对应的左Gray码匹配图像和右Gray码匹配图像，并传输到上位机中，顺次排放形成Gray码匹配图像序列，用于重建场景点云；步骤二、上位机通过视差相似相减的方法将场景中非目标物体的背景滤除，只重建目标物体的点云；步骤三、上位机通过基于点云的3D物体识别技术对场景中的目标物体进行识别和定位，获取目标物体的三维堆放位置和三维姿态；步骤四、上位机根据识别和定位到的目标物体的三维堆放位置和三维姿态，制定拾取策略，规划机械臂的拾取路径，并输出控制信号给机器人；步骤五、机器人根据接收到的控制信号，控制其机械臂执行拾取操作。4.根据权利要求3所述的一种散乱堆放物料拾取方法，其特征在于：所述步骤二具体包括以下步骤：201：先对未放置目标物体的场景投射Gray码图片，计算出此时场景的视差，并将视差数据保存下来；202：向场景中放入目标物体，计算有目标物体的场景视差，将该视差数据与步骤201中保存的视差数据逐像素相比较；203：滤除相似视差的部分，只留下目标物体的视差图像；204：根据目标物体的视差图像进行重建，获得只有目标物体的点云数据，从而完成重建目标物体的点云。5.根据权利要求4所述的一种散乱堆放物料拾取方法，其特征在于：所述场景的视差的计算方法具体为：矫正左Gray码匹配图像和右Gray码匹配图像，使二者的行对应；分别计算各左Gray码匹配图像和各右Gray码匹配图像中指定图像的全黑和全白的Gray图像灰度均值，设定二值化阈值；利用上一步计算出的阈值对Gray码匹配图像序列中的各左Gray码匹配图像和右Gray码匹配图像分别进行二值化，大于阈值图像对应像素点的值即为1，否则为0，形成二值化的Gray码...

【专利技术属性】
技术研发人员：钱进，郑泽龙，张旭，庄磊磊，朱利民，
申请(专利权)人：江苏华航威泰机器人科技有限公司，华中科技大学无锡研究院，
类型：发明
国别省市：江苏,32