一种基于深度学习视觉的机器人抓取方法技术

本发明专利技术涉及一种基于深度学习视觉的机器人抓取方法，包括以下步骤：通过深度学习网络训练准备抓取的物体，为后处理部分提供所需的模型；在机械臂末端安装夹爪以及RealsneseD435i相机使之处于平行状态并进行手眼标定；利用深度相机来采集三维空间的点云数据，并实现特定目标姿态估计的结果；通过获取物体的位姿控制机械臂实现对于物体的抓取。本发明专利技术的主旨是利用深度相机获取整体环境的RGB‑D图像，后通过Mask‑RCNN模型将目标进行分割，将分割出来的抓取目标转化为点云图，利用点云匹配算法Super4PCS算法，与参考物体的点云图进行配准，求解目标的六维位姿参数。相比于生成全部点云，目标实例分割处理后再配准，大大缩短了计算时间更加快速和精确的对物体的识别以及位姿的确定。

【技术实现步骤摘要】

本专利技术涉及一种基于深度学习视觉的机器人抓取方法，具体涉及一种基于深度学习的实例分割、点云配准以及机器人抓取的方法，属于机器人视觉应用领域。

技术介绍

1、机器人应用由传统工业领域逐步走向家庭服务、仓储物流等非结构化环境领域。抓取是机器人的一项基本技能，机器人抓取智能化的实现对提升生产工作效率和改善人机交互具有重要意义。相比于传统工业机器人在良好光照条件下于固定工作区内重复抓取特定已知物体，非结构化环境中的机器人抓取面临光照与场景变化、操作实例未知且放置位姿多样等诸多实际挑战。视觉感知是智能机器人理解真实世界的重要方式，增强视觉感知能力有助于机器人克服非结构化环境下的抓取挑战，进一步提升机器人抓取对新物体和新环境的适应力。

2、机器人抓取的首要条件是确定末端执行器的抓取位姿，如何确定抓取位姿即抓取规划方法可根据有无物体模型分为两类：基于分析的方法和基于学习的方法。基于分析的抓取规划方法以已知抓取对象精确几何和物理模型为前提，考虑以力封闭为主的等多种约束条件，建立目标函数离线求解最优稳定抓取位姿，故该方法无法在线分析未知物体抓取位姿，而基于学习本文档来自技高网...

【技术保护点】

1.一种基于深度学习视觉的机器人抓取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习视觉的机器人抓取方法，其特征在于，所述将预置的深度图数据集导入Mask-RCNN模型中进行训练，得到用于提取目标点云的目标分割模型，包括以下步骤：

3.根据权利要求2所述的一种基于深度学习视觉的机器人抓取方法，其特征在于，所述将数据集中的深度图像输入Mask R-CNN模型进行预训练，包括以下步骤：

4.根据权利要求3所述的一种基于深度学习视觉的机器人抓取方法，其特征在于，所述步骤S2.3：Mask R-CNN模型在RGB-D数据集上进行训练，...

【技术特征摘要】

1.一种基于深度学习视觉的机器人抓取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习视觉的机器人抓取方法，其特征在于，所述将预置的深度图数据集导入mask-rcnn模型中进行训练，得到用于提取目标点云的目标分割模型，包括以下步骤：

3.根据权利要求2所述的一种基于深度学习视觉的机器人抓取方法...

【专利技术属性】
技术研发人员：陈英达，张华良，秦锋，王辉，余利锋，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：