基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统技术方案

本发明专利技术公开了一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统。方法包括：通过三维测量系统获得手眼标靶的二维图像和三维点云数据，然后根据手眼标靶的三维点云数据获得各标靶点在相机坐标系下的空间坐标，再根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，并将该手眼关系矩阵应用于具体场景中的目标工件的抓取，通过三维测量系统获取目标工件的二维图像和三维点云数据，然后获取目标工件在相机坐标系下的空间坐标，通过手眼关系矩阵，可获得目标工件在机械臂坐标系下的空间坐标，再通过粗匹配操作和精匹配操作得到所述目标工件的精准位置和姿态，即可实现控制机械臂对目标工件进行精准抓取。

【技术实现步骤摘要】
基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
本专利技术涉及智能控制领域，尤其涉及一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统。
技术介绍
目前，工业自动化装配受到越来越多的关注，由视觉引导机械手(或称机械臂)进行工业装配是实现工业自动化的重要途径，在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。传统手眼标定(eye-to-hand)方法通常借助平面棋盘格作为标定靶，标定过程中将棋盘格固定于机械臂末端，并控制机械臂在相机视野范围内进行多次姿态变换，然而对于某些自由度较少的机械臂，例如在工业上常用的结构较为简单的四轴机械臂，末端的运动姿态范围平行于水平面，无法达到以上标定要求，并且在手眼标定的结构下标定过程会存在视觉遮挡等问题，所以传统的手眼标定方法在某些应用场景下具有一定的局限性；工业上针对四轴机械臂的标定方法一般采用的是Halcon(高性能通用图像处理算法软件)中所集成的平面九点法，该方法牺牲了空间中Z方向的自由度，导致机械臂运动过程中Z轴位置固定，机械臂末端只能在平面X、Y方向上移动，在工业上的应用局限于二维平面上的定位与抓取，限制了四自由度机械臂的使用场景，无法完全发挥其在空间中的运动状态。基于点云信息进行位姿估计，传统的做法是采用迭代最近点算法(IterativeClosestPoint，ICP)及其改进方法；但是其最大的一个缺点就是受初始给定位姿的精度影响，易陷入局部最优；目前解决的办法是采用全局配准加ICP的方法，来尽可能获得精确的位姿；全局位姿配准算法主要基于点云的特征，根据特征点对点云进行点对匹配，根据这些点可以计算点云的初始变换矩阵；但是基于点云特征求解初始位姿的方法都有一个问题，就是对于几何特征本来就不丰富的点云，求解效果不佳，因此导致ICP求解的位姿精度不高。对于基于点云位姿估计问题，目前也有学者通过深度学习的方法进行尝试；通过将点云数据输入到三维的卷积神经网络中，可以直接预测物体的3D位姿；但是基于深度学习的方法，需要使用大量的数据进行训练，目前采用深度学习的方法进行基于点云的位姿估计，主要还是采用公开的数据集中的数据，主要针对生活场景下的一些物品的位姿估计，其位姿估计精度太低，并不能满足工业场景下机器人抓取和装配精度需求。同时深度学习的方法，需要消耗较多的时间做训练，并且其计算设备的价格都是极其昂贵的，目前工业还并不普及。针对以上传统方法和深度学习的方法存在的问题，现有技术中的机器人对待抓取物品的位姿估计精度还有待提高。
技术实现思路
本专利技术的目的是提供一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统，旨在解决现有技术中的机器人对待抓取物品的位姿估计精度不高的问题。第一方面，本专利技术实施例提供了一种基于三维测量引导机械臂抓取散乱堆叠工件的方法，其包括：通过三维测量系统获得手眼标靶的二维图像和三维点云数据；对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；示教机械臂末端夹具根据排序结果依次对各个标靶点进行测量，得到各个标靶点在机械臂坐标系下的空间坐标；根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标；选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。第二方面，本专利技术实施例提供了一种基于三维测量引导机械臂抓取散乱堆叠工件的系统，其包括：设置于机械臂本体外的三维测量系统和引导系统；所述三维测量系统用于获得手眼标靶的二维图像和三维点云数据；所述引导系统用于对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；所述引导系统还用于示教机械臂末端夹具根据排序结果依次对各个标靶点进行测量，得到各个标靶点在机械臂坐标系下的空间坐标；所述引导系统还用于根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；所述三维测量系统还用于获取目标工件的二维图像和三维点云数据；所述引导系统还用于提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标；所述引导系统还用于选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；所述引导系统还用于根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；所述引导系统还用于以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；所述引导系统还用于根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。本专利技术实施例通过三维测量系统获得手眼标靶的二维图像和三维点云数据，然后根据手眼标靶的三维点云数据获得各标靶点在相机坐标系下的空间坐标，再根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，并将该手眼关系矩阵应用于具体场景中的目标工件的抓取，通过三维测量系统获取目标工件的二维图像和三维点云数据，然后获取目标工件在相机坐标系下的空间坐标，通过手眼关系矩阵，可获得目标工件在机械臂坐标系下的空间坐标，再通过粗匹配操作和精匹配操作得到所述目标工件的精准位置和姿态，即可控制机械臂对目标工件进行抓取。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以本文档来自技高网...

【技术保护点】
1.一种基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，包括：/n通过三维测量系统获得手眼标靶的二维图像和三维点云数据；/n对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；/n示教机械臂末端夹具根据排序结果依次对各个标靶点进行抓取测量，得到各个标靶点在机械臂坐标系下的空间坐标；/n根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；/n通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标；/n选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；/n根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；/n以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；/n根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。/n...

【技术特征摘要】
1.一种基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，包括：
通过三维测量系统获得手眼标靶的二维图像和三维点云数据；
对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；
示教机械臂末端夹具根据排序结果依次对各个标靶点进行抓取测量，得到各个标靶点在机械臂坐标系下的空间坐标；
根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；
通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标；
选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；
根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；
以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；
根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。


2.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述手眼标靶中设置有9个标志图形，并呈规格的3×3排布，所述标志图形为标志圆，所述标靶点为标志圆的圆心，并在第一行第一列和第二行第三列的标志圆中添加内圆，作为9点排序的标志圆。


3.根据权利要求2所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述对各标靶点进行排序得到排序结果，包括：
连接两个排序标志圆的圆心确定一条直线；
计算每个标靶点到该直线的距离；
将其中距离最远的标记为7号标靶点，并标记出1号标靶点和6号标靶点；
计算所述7号标靶点与各标靶点之间的距离，将其中距离最远的标记为3号标靶点；
然后利用所述1号、3号、6号、7号标靶点的空间坐标，求得剩余标靶点的编码值。


4.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标系下的空间坐标，得到手眼关系矩阵，包括：
按下式计算得到所述手眼关系矩阵：

其中pci＝(xic,yic,zic)为各标靶点在相机坐标系下的空间坐标，pitool(xitool,yitool,zitool)为各标靶点在机械臂坐标系下的空间坐标以及在机械臂坐标下的空间坐标，R和T分别表示从相机坐标系到机械臂坐标系之间的旋转和平移矩阵。


5.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标，包括：
通过所述三维测量系统获取目标工件的二维图像和三维点云数据；
对所述目标工件的二维图像进行高斯滤波处理后再进行Canny边缘检测，得到所述目标工件的边缘信息；
对所述目标工件的边缘信息进行形态学闭运算，以每个边缘像素为中心，遍历邻域范围内的所有点，对像素值为零的点进行填充，扩充所述目标工件的边缘信息，并得到边缘连通区域；
对每个边缘连通区域进行划分并确定编号，遍历每个边缘连通区域，并计算每个边缘连通区域的Hu矩；
计算所述边缘连通区域与预设的标准工件的轮廓的Hu矩的相似度，筛选出计算数值小于阈值的边缘连通区域，并按照计算数值大小确定目标工件的抓取顺序并进行编号，所述抓取顺序为计算数值小的先抓取，计算数值大的后抓取；
返回筛选出边缘连通区域的轮廓坐标。


6...

【专利技术属性】
技术研发人员：刘晓利，喻菁，汤其剑，彭翔，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44