一种基于深度学习的机器人抓取透明物体的方法技术

本发明专利技术公开了一种基于深度学习的机器人抓取透明物体的方法，包括以下步骤：S1：完成机器人抓取透明物体系统的硬件环境搭建；S2：完成机器人抓取透明物体系统的相机校准；S3：完成基于卷积神经网络的抓取规划模型的训练，和机器人在真实环境下的抓取。S3具体实现方法包括：利用深度相机扫描抓取透明物体的彩色图像及深度图像；对采集的图像进行滤波；使用ClearGrasp深度学习算法完成透明物体检测与分割；使用接触线寻找法对物体进行抓取位置的搜索及评分，在得到最佳抓取位置后进行正确的抓取。本发明专利技术能通过RGB‑D摄像头准确预测高透明度物体的3D数据，通过反射光点来准确推算透明物体曲面法线，提高透明物体预测准确性。

【技术实现步骤摘要】
一种基于深度学习的机器人抓取透明物体的方法
本专利技术涉及机器人抓取
，尤其是一种基于深度学习的机器人抓取透明物体的方法。
技术介绍
对于服务机器人来说，最重要的就是能够在家庭环境中更迅速、更准确的对目标物体进行抓取，只有这样才能更好的帮助行动不便的人生活。抓取成功的关键就是目标的识别与定位，目前在机器人上普遍采用视觉传感器进行物体识别。在众多抓取物体中，透明物体在生活中十分常见，能否有效识别并定位透明物体对于物体的抓取效率有着至关重要的作用。但在机器人利用视觉对透明物体进行识别时，由于透明物体区域对光线变化敏感，本身没有足以提取的纹理特征，且存在对背景环境依赖、强度梯度特征受外界影响等原因，导致透明物体的识别一直是一个难以有效解决的问题。目前，常用的透明物体检测方法有非视觉方法和基于RGB二维图像的透明物体检测。其中，非视觉方法使用复杂，且使得机器人成本变得很高，不便于服务机器人使用；利用RGB图像方法得到的二维物体效果鲁棒性不强，检测条件比较苛刻且无法获得物体的空间位置。
技术实现思路
有鉴于此，有必要针对本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机器人抓取透明物体的方法，其特征在于，包括以下步骤：/n步骤S1：完成机器人抓取透明物体系统的硬件环境搭建；/n步骤S2：完成机器人抓取透明物体系统的相机校准；/n步骤S3：完成基于卷积神经网络的抓取规划模型的训练，和机器人在真实环境下的抓取。/n

【技术特征摘要】
1.一种基于深度学习的机器人抓取透明物体的方法，其特征在于，包括以下步骤：
步骤S1：完成机器人抓取透明物体系统的硬件环境搭建；
步骤S2：完成机器人抓取透明物体系统的相机校准；
步骤S3：完成基于卷积神经网络的抓取规划模型的训练，和机器人在真实环境下的抓取。


2.根据权利要求1所述的基于深度学习的机器人抓取透明物体的方法，其特征在于，所述机器人抓取透明物体系统的硬件环境包括深度相机、至少一台ROS动力学特性的计算机、至少一台带有夹持器的机器人以及至少一个待抓取物体；
所述深度相机用于采集3D视觉数据，并安装在所述机器人上；
所述计算机用于完成抓取网络模型的训练；
所述机器人用于抓取待抓取物体。


3.根据权利要求1所述的基于深度学习的机器人抓取透明物体的方法，其特征在于，相机在拍摄物体时，会同时捕获深度图像和彩色图像，在对相机进行标定时，需要对彩色图像和深度图像都进行标定，通过标定使得深度图像的每一个像素点与彩色图像的每一个像素点相对应，所述步骤S2具体包括以下步骤：
步骤S21：通过相机标定确定双目相机内参和外参，完成世界坐标系到相机坐标系的变换；
步骤S22：通过手眼标定确定相机与末端执行器之间的相对位置，完成相机坐标系及机器人末端执行器坐标系的变换。


4.根据权利要求3所述的基于深度学习的机器人抓取透明物体的方法，其特征在于，所述步骤S21具体实现方法包括：
使用旋转矩阵R和平移向量T描述世界坐标系到相机坐标系的变换，如式(1)所示：



式(1)中，R1、T1为左目相机的外参，R2、T2为右目相机的外参，其通过相机标定获得，(XW，YW，ZW)为空间中一点在世界坐标系下的坐标，(X1，Y1，Z1)为空间中一点在左目相机坐标系下的坐标，(X2，Y2，Z2)为空间中一点在右目相机坐标系下的坐标；
以左目相机坐标系为基准，右目相机坐标系到左目相机坐标系的旋转矩阵为R'，平移向量为T'，则有：



根据式(1)和式(2)可得：



使用双目相机拍摄时保持标定板位置不变，左目和右目相机同时拍摄标定板图像，采集若干组图像对，然后导入工具箱中，工具箱自动计算出两个相机之间的旋转矩阵和平移向量，使用旋转矩阵和平移向量即可完成世界坐标系到相机坐标系的变换。


5.根据权利要求3所述的基于深度学习的机器人抓取透明物体的方法，其特征在于，所述步骤S22具体实现方法包括：
通过手眼标定求解相机坐标系到机器人末端执行器坐标系的变换，其中手代表末端执行器，眼代表相机，在手眼标定过程中，涉及4个坐标系，分别为标定板坐标系B、相机坐标系C、末端执行器坐标系T、机器人底座坐标系R；
使用变换矩阵描述标定板坐标系B到机器人底座坐标系R的变换，表示如下：



式(4)中，表示标定板坐标系B到相机坐标系C的变换矩阵，即相机外参，通过相机标定求得；表示末端执行器坐标系T到机器人底座坐标系R的变换矩阵，通过机器人示教器上的参数求得；为需要求解的手眼矩阵；
在标定过程中，保持标定板的位置不变，控制机器人从不同位置拍摄标定板的图像，选择其中两个位置进行分析，可得下式(5)：



式(5)中，分别表示位置i、位置i+1标定板坐标系B到机器人底座坐标系R的变换矩阵，分别表示位置i、位置i+1末端执行器坐标系T到机器人底座坐标系R的变换矩阵，分别表示位置i、位置i+1需要求解的手眼矩阵，分别表示位置i、位置i+1标定板坐标系B到相机坐标系C的变换矩阵；因为标定板和机器人底座之间的相对位置不变，机器人末端执行器和相机之间的相对位置不变，故有对式(6)联立可得：



式(6)中，与均为已知量，最终求解得到即为相机坐标系到机器人末端执行器坐标系的变换矩阵。


6.根据权利要求1所述的基于深度学习的机器人抓取透明物体的方法，其特征在于，所述步骤S3具体实现方法包括：
S31：利用深度相机扫描抓取透明物体的彩色图像及深度图像；
S32：对采集的图像进行滤波；

【专利技术属性】
技术研发人员：雷渠江，徐杰，李秀昊，桂光超，王雨禾，潘艺芃，周纪民，王卫军，韩彰秀，
申请(专利权)人：广州中国科学院先进技术研究所，
类型：发明
国别省市：广东;44