一种机器人精确抓取方法及其系统技术方案

本发明专利技术涉及一种机器人精确抓取方法，包括以下步骤：获取第一相机和第二相机相对于机械臂基坐标系的位姿变换矩阵；基于第一相机获取待抓取工件的第一点云信息，并标注待抓取工件的抓取姿势；将抓取姿势和第一点云信息输入神经网络模型获取抓取姿态评估模型；第一相机匹配待抓取工件的大致位置，第二相机移动至待抓取工件的上方，且位于固定高度；基于第二相机获取待抓取工件的第二点云信息；将第二点云信息输入姿态评估模型获取最佳抓取姿态；基于最佳抓取姿态以及机械臂基坐标系得到规划路径；基于规划路径抓取待抓取工件；其中，第一相机设有待抓取工件的上方，第二相机设有机械臂的末端

【技术实现步骤摘要】
一种机器人精确抓取方法及其系统


[0001]本专利技术涉及一种机器人抓取工件的方法，尤其是一种机器人精确抓取方法及其系统
。

技术介绍

[0002]近些年来，工业机器人已经广泛用于焊接
、
喷涂
、
码垛
、
装配等众多工业生产领域，但是大部分的应用场景还是由人工介入，通过人工示教来完成机械臂的轨迹规划操作
。
随着机器视觉的快速发展，视觉结合工业机器人的应用也相应地迅速普及，视觉抓取是其中一个典型的例子：首先获取单一工件的模型文件，找出此模型的最优抓取基准坐标系，工业
3D
相机对抓取场景进行拍摄，针对每一个相同的工件进行模板匹配，根据手眼标定将工件坐标系换算至机器人基坐标系，指导机器人移动至工件处进行抓取操作，其抓取精度较高，但是只能针对事先确定的唯一工件根据预先设计的轨迹规划方式完成抓取操作，较容易发生碰撞等情况从而导致抓取失败，且在工件互相堆叠的场景下唯一的抓取位姿非常容易受到周边环境的干扰，所以提升抓取效率十分迫切
。
[0003]随着机器人智能化的不断发展，单一机器人的应用环境变得越来越宽泛，深度学习逐渐介入了机器人工业应用领域，机器人抓取通过深度学习可以提升抓取任务的泛化性，针对多环境进行抓取操作，但是其抓取的鲁棒性
、
效率等因素受到了网络结构
、
数据集构成方法
、
数据质量等因素的影响
。
[0004]因此，如何同时提升机器人抓取泛化性和准确度是一个亟待解决的问题
。

技术实现思路

[0005]为解决上述抓取泛化性和准确度不高的问题，本专利技术提供一种机器人精确抓取方法，具体技术方案为：一种机器人精确抓取方法，包括以下步骤：获取第一相机和第二相机相对于机械臂基坐标系的位姿变换矩阵；基于所述第一相机获取待抓取工件的第一点云信息，并标注所述待抓取工件的抓取姿势，将所述抓取姿态从所述待抓取工件的坐标系根据第一相机获取的位姿变换矩阵传递到基坐标系；将抓取姿势和第一点云信息输入神经网络模型获取抓取姿态评估模型；所述第一相机匹配所述待抓取工件的大致位置，所述第二相机移动至所述待抓取工件的上方，且位于固定高度；基于所述第二相机获取所述待抓取工件的第二点云信息；将所述第二点云信息输入所述姿态评估模型获取最佳抓取姿态；基于最佳抓取姿态以及所述机械臂基坐标系得到规划路径；基于规划路径抓取所述待抓取工件；其中，所述第一相机设有所述待抓取工件的上方，所述第二相机设有所述机械臂
的末端
。
[0006]优选的，所述抓取姿态评估模型输出的是抓取宽度
W、
抓取向量
V、
抓取角度
R。
[0007]优选的，所述第一相机用于拍取堆叠场景中工件整体，确定深度最小的工件为待抓取工件
。
[0008]优选的，在抓取类型为不同形状特征的工件时，预先收集不同工件的点云信息，并标注多个抓取姿势注释
。
[0009]优选的，所述规划路径时基于
ROS
操作系统中的
moveit
路径规划算法进行路径规划
。
[0010]进一步的，所述规划路径时完成碰撞检测
。
[0011]优选的，所述姿态评估模型获取最佳抓取姿态时解析计算每个不同待抓取工件的
6D
标注抓取姿态，选取抓取评分最高的抓取姿态注释作为候选抓取姿态
。
[0012]优选的，所述第二点云信息输入所述神经网络模型前进行降采样处理；优选的，所述第二点云信息输入所述神经网络模型前进行噪声过滤点云分割
。
[0013]一种机器人精确抓取系统，包括：机械臂，末端设有夹爪；第一相机，设于工件的上方；第二相机，设于所述机械臂的末端；以及控制单元，分别与所述机械臂
、
所述第一相机和所述第二相机连接
。
[0014]与现有技术相比本专利技术具有以下有益效果：本专利技术提供的一种机器人精确抓取方法利用深度学习网络训练待抓取工件点云数据和标注抓取姿势，得到机器人抓取评估模型，大大提升了抓取工件的泛化能力；利用双相机配合，先通过第一相机匹配深度最高处工件大致位置，驱动机械臂位移至此工件上方，第二相机拍摄此工件点云送至深度学习网络获取评级最高的抓取姿态，驱动机械臂以此接近向量抓取工件，在提升泛化能力的同时保证了抓取的精度水平
。
附图说明
[0015]图1是本专利技术的流程图；图2是神经网络标注和训练
6D
抓取姿态参数表达；图3是夹爪的坐标系；图4是机器人精确抓取系统的结构示意图
。
具体实施方式
[0016]现结合附图对本专利技术作进一步说明
。
[0017]如图1至图4所示，一种机器人精确抓取方法，包括以下步骤：步骤
1、
将第一相机4和第二相5机各自进行手眼标定，获取机械臂1的基坐标系到两个相机坐标系的位姿变换矩阵；步骤
2、
通过第一相机采集待抓取工件6的第一点云信息，为不同待抓取工件的第一点云信息标注多个
6D
抓取姿势；为了最后将抓取姿态从对象（工件）的坐标投影至基坐标系，
6D
抓取姿势包含
X、Y、Z、R、P、Y
，分别代表物体坐标系相对于相机坐标系发生的平移和旋转变换；步骤
3、
将待抓取工件6的第一点云信息以及抓取姿势输入设置在控制系统上的神
经网络模型进行训练，使网络训练至收敛状态，得到抓取姿态评估模型；步骤
4、
基于第一相机4先匹配待抓取工件的抓取的大致位置，然后移动机械臂1末端上的第二相机5至待抓取工件上方固定距离；步骤
5、
通过第二相机5扫描待抓取工件获取第二点云信息，第二点云信息为高精度点云信息；步骤
6、
第二相机5将采集的第二点云信息输入所得姿态评估模型，输出多级评分的抓取姿态表示，选取评分最佳的抓取姿态；步骤
7、
根据最佳抓取姿态获取规划路径，第二相机5获取最佳抓取姿态标注，包含此抓取姿态坐标系到第二相机5坐标系的平移和旋转变换矩阵，再结合步骤1标定所得第二相机5坐标系至机械臂1基坐标系的位姿变换矩阵计算出待抓取工件6的抓取坐标系至机械臂1的基坐标系；步骤
8、
基于规划路径控制机械臂1和夹爪7执行抓取操作
。
[0018]所述第一相机设有所述待抓取工件的上方，所述第二相机设有所述机械臂的末端
。
第一相机可以为低精度相机，第二相机为高精度相机，也就是第一相机为低分辨率相机，第二相机为高分辨率相机
。
待装取工件可以为异形工件
。
[0019]抓取姿态工件数据集由以下方式得到：使用第二相机获取第二点云数据，解析计算每个待抓取工件的
6D
标注抓取姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种机器人精确抓取方法，其特征在于，包括以下步骤：获取第一相机和第二相机相对于机械臂基坐标系的位姿变换矩阵；基于所述第一相机获取待抓取工件的第一点云信息，并标注所述待抓取工件的抓取姿势，将所述抓取姿态从所述待抓取工件的坐标系根据第一相机获取的位姿变换矩阵传递到基坐标系；将抓取姿势和第一点云信息输入神经网络模型获取抓取姿态评估模型；所述第一相机匹配所述待抓取工件的大致位置，所述第二相机移动至所述待抓取工件的上方，且位于固定高度；基于所述第二相机获取所述待抓取工件的第二点云信息；将所述第二点云信息输入所述姿态评估模型获取最佳抓取姿态；基于最佳抓取姿态以及所述机械臂基坐标系得到规划路径；基于规划路径抓取所述待抓取工件；其中，所述第一相机设有所述待抓取工件的上方，所述第二相机设有所述机械臂的末端
。2.
根据权利要求1所述的一种机器人精确抓取方法，其特征在于，所述抓取姿态评估模型输出的是抓取宽度
W、
抓取向量
V、
抓取角度
R。3.
根据权利要求1所述的一种机器人精确抓取方法，其特征在于，所述第一相机用于拍取堆叠场景中工件整体，确定深度最小的工件为待抓取工件
。4.
根据权利要求1所述的一种机器人精确抓取方法，其特征在于，在抓取类型为不同形状特征的工...

【专利技术属性】
技术研发人员：许吉辉，樊辰阳，陈鹏，周志雄，黄平，陆佳贝，戴飞龙，张秀恒，
申请(专利权)人：无锡斯帝尔科技有限公司，
类型：发明
国别省市：