一种用于机器人三维不规则物体自动识别及抓取的方法技术

本发明专利技术提供一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：前期数据收集、数据测试、数据分析、机器人运动到抓取点位姿，实现对锁具的抓取。本发明专利技术增加了对三维不规则类型物体的自动识别及抓取，通过线激光3D相机获取三维不规则物体的表面信息，相机安装在机器人末端法兰盘，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息，对不同规格的产品一一进行扫描获取整个产品的点云库，对于每一种规格类型的产品，通过机器人示教抓取点并记录该示教点，再通过公式2‑5，将当前扫描工件信息转换为当前机器人抓取位置点，从而实现对工件抓取。

A method for automatic recognition and grasping of 3D irregular objects of robot

【技术实现步骤摘要】
一种用于机器人三维不规则物体自动识别及抓取的方法
本专利技术涉及工业自动化领域，尤其涉及一种用于机器人三维不规则物体自动识别及抓取的方法。
技术介绍
在国家智能制造大战略背景下，特别是近年来物流领域的飞速发展，对物体进行自动化分拣、识别及抓取的需求越来越多，目前市场上主流的自动识别及抓取机器人系统，主要是通过提取物体表面即二维平面特征并针对该特征进行模板匹配，因此当前的自动识别及抓取机器人系统只能完成对规则类型物体进行自动识别和抓取，如快递箱的识别及抓取，但该类型产品无法实现对不规则三维物体进行识别和抓取。基于此我司针对客户提出的不规则类型物体(如集装箱用锁具)自动识别和抓取的需求，提出了一种适用于机器人三维不规则物体自动识别及抓取方法。
技术实现思路
根据以上技术问题，本专利技术提供一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：一、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；二、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；三、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；四、机器人运动到抓取点位姿，实现对锁具的抓取。所述相机为线激光3维相机。所述相机指定位置确定方法为：机器人相机标定主要用于确认相机坐标系和机器人末端法兰盘位置的关系即获取Step1:打印视觉标定版，标定版一般由相机厂商给出，按其使用要求进行打印即可；Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；Step3:通过在机器人末端安装针尖工具，并示教该工具，确立工具坐标系与机器人世界坐标系的关系该工具主要用于标定板的标定；Step4:通过使用机器人末端安装针尖，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，坐标系的方向如下图1所示，记当前工件坐标系为Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，换句话说，相机上的安装平面与标定板平面平行，此时实现了相机坐标系与标定板坐标系方向对齐；Step6:记Step5中对齐后的机器人法兰盘(tool0)的点位在工件坐标系下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置pAlignPreStart(pAlignPreStart.x＝pAlignMiddle.x，pAlignPreStart.y＝pAlignMiddle.y-250)，终止位置pAlignEnd(pAlignEnd.x＝pAlignMiddle.x，pAlignEnd.y＝pAlignMiddle.y+250)；Step7:将机器人的相机激光线移动至pAlignPreStart点(以为参照，下同)；并启动机器人从pAlignPreStart点向pAlignEnd点的直线移动，速度为100mm/s；需要注意的是，机器人从静止到移动达到100mm/s的匀速会有加减速过程，我们使得机器人在直线运行50mm后(此时机器人已经加速完成)发出信号触发Trispector相机取图，此时信号的触发点即为采集图像的Y坐标起始位，记该点法兰盘(tool0)的位置为pAlignStart，则pAlignStart.y＝pAlignMiddle.y–200；注意，将Trispector的Y向取图长度设置为350mm即可，如图2所示；Step8:取图完毕后，将在通过线激光相机提供的软件查看所扫描的图像多个任意位置的Z值大小是否一致，从而确认相机采图平面是否与标定板平面平行(如相差太多，比如近1mm或者更多，需要调整至平行后，从上述Step5重新操作)；记录此时标定板坐标原点在图像坐标系中的点，并记录其坐标值为X,Y,Z，由于取图时我们保证相机camera与标定板board坐标在方向上是对齐的，因此其绕x，y，z轴的旋转欧拉角均为0，从而得到Step9:将以上点位及坐标系分别以齐次坐标系的方式表达为如下形式：表示标定板中心点与机器人世界坐标系的关系；表示机器人末端法兰盘到标定板中心点的关系；表示标定板与视觉相机之间的关系；上述即为相机的工具坐标系，也就是相机坐标系到法兰盘中心点坐标系的转换关系。所述确立机器人抓取点位姿方法主要是通过获取图像抓取点与模板抓取点的转换矩阵，将机器人在模板下的抓取点转换为机器人在当前扫描图像下的抓取点，机器人通过扫描目标工件，获得所需图像目标特征，并根据该特征与模板中特征对比给出转换矩阵H，以及示教模板位置的抓取点确立当前图像机器人抓取点计算示意图如下所示：Step1：求取相机原点到基坐标的位姿，求取公式如下所示：为相机起始拍照点，也就是相机的原点。为标定的相机原点与工具末端法兰的坐标系；Step2：求取位置2机器人抓取位姿，联立如下公式(2-1)、(2-2)、(2-3)即可得公式(2-5)，即为所求机器人在位置2的抓取点：本专利技术的有益效果为：本专利技术不同于现有市场上机器人对二维平面物体自动识别及抓取技术，增加了对三维不规则类型物体的自动识别及抓取，通过线激光3D相机获取三维不规则物体的表面信息，相机安装在机器人末端法兰盘，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息，对不同规格的产品一一进行扫描获取整个产品的点云库，对于每一种规格类型的产品，通过机器人示教抓取点并记录该示教点，再通过公式2-5，将当前扫描工件信息转换为当前机器人抓取位置点，从而实现对工件抓取。附图说明图1为本专利技术机器人三维不规则物体自动识别及抓取架构图。图2为本专利技术标定板工件坐标系设定。图3为本专利技术相机标定示意图。图4为本专利技术确立机器人抓取点示意图。图5为本专利技术流程示意图。图6为本专利技术几种锁具图像及特征。具体实施方式根据图所示，对本专利技术进行进一步说明：实施例1一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：1、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过本文档来自技高网...

【技术保护点】
1.一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：/n一、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；/n二、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；/n三、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；/n四、机器人运动到抓取点位姿，实现对锁具的抓取。/n

【技术特征摘要】
1.一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：
一、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；
二、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；
三、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；
四、机器人运动到抓取点位姿，实现对锁具的抓取。


2.按照权利要求1所述的一种用于机器人三维不规则物体自动识别及抓取的方法，其特征在于所述相机为线激光3维相机。


3.一种用于机器人三维不规则物体自动识别及抓取的方法，所述相机指定位置确定方法为：
机器人相机标定主要用于确认相机坐标系和机器人末端法兰盘位置的关系即获取
Step1:打印视觉标定版，标定版一般由相机厂商给出，按其使用要求进行打印即可；
Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；
Step3:通过在机器人末端安装针尖工具，并示教该工具，确立工具坐标系与机器人世界坐标系的关系该工具主要用于标定板的标定；
Step4:通过使用机器人末端安装针尖，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，坐标系的方向如下图1所示，记当前工件坐标系为
Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，换句话说，相机上的安装平面与标定板平面平行，此时实现了相机坐标系与标定板坐标系方向对齐；
Step6:记Step5中对齐后的机器人法兰盘(tool0)的点位在工件坐标系下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置pAlignPreStart(pAlignPreStart.x＝pAlignMiddle.x，pAlignPreStart.y＝pAlignMiddle.y-250)，终止位置...

【专利技术属性】
技术研发人员：杨锋，
申请(专利权)人：上海智殷自动化科技有限公司，
类型：发明
国别省市：上海;31