一种透明物体的抓取方法、系统及计算机可读存储介质技术方案

本发明专利技术提供一种透明物体的抓取方法、系统及计算机可读存储介质，方法包括：通过RGB相机采集包含透明物体的整个工作区域的RGB图像；将RGB图像作为输入，通过生成式残差卷积神经网络对输入图像进行处理，处理后可生成表征透明物体抓取位置的热力图以及抓取半径热力图定位抓取点；采用安装在机械臂末端的具有人工触觉的机械臂夹爪提取抓取点的触觉图像，并提取视觉图像中透明物体的轮廓，通过透明物体的轮廓判断透明物体相对具有人工触觉的机械臂夹爪的位置直到将透明物体移动到具有人工触觉的机械臂夹爪的中心；对透明物体进行抓取并放置在指定位置。通过视觉进行引导后使用触觉进行精细定位，结合视觉与触觉进行透明物体抓取。取。取。

A method, system and computer readable storage medium for capturing transparent objects

【技术实现步骤摘要】
一种透明物体的抓取方法、系统及计算机可读存储介质


[0001]本专利技术涉及机器人抓取
，尤其涉及一种透明物体的抓取方法、系统及计算机可读存储介质。

技术介绍

[0002]机器人抓取是应用最广泛的机器人技术之一，但目前仍有很多难以解决的问题，而透明物体的抓取问题就是其中的一个。透明物体广泛存在于家庭及工业环境中，他们给机器人抓取技术带来了巨大的挑战。一方面，透明物体的表面是无法有效形成漫反射，这导致无法使用深度相机获取透明物体的深度图像，因此基于深度图像的抓取方案在透明物体上均会失效。另一方面，透明物体的外观很大程度上受到背景和灯光的影响，在背景高频变换、灯光混乱以及水下等极端环境下，很难有效通过视觉检测到透明物体。
[0003]现有的透明物体抓取方案通常是直接使用视觉信息对于透明物体进行检测分类与抓取，利用视觉信息检测到透明物体的显著视觉特征后，利用机械臂规划抓取动作。目前主要的抓取方案如下：
[0004]《KeyPose:Multi
‑
View 3D Labeling andKeypoint Esti本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种透明物体的抓取方法，其特征在于，包括如下步骤：S1：通过RGB相机采集包含透明物体的整个工作区域的RGB图像；S2：将所述RGB图像作为输入，通过生成式残差卷积神经网络对输入图像进行处理，处理后可生成表征透明物体抓取位置的热力图以及抓取半径热力图定位抓取点；S3：采用安装在机械臂末端的具有人工触觉的机械臂夹爪提取所述抓取点的触觉图像，并提取所述视觉图像中透明物体的轮廓，通过所述透明物体的轮廓判断所述透明物体相对所述具有人工触觉的机械臂夹爪的位置直到将所述透明物体移动到所述具有人工触觉的机械臂夹爪的中心；S4：对所述透明物体进行抓取并放置在指定位置。2.如权利要求1所述的透明物体的抓取方法，其特征在于，对感知的所述透明物体进行抓取之前对所述透明物体进行分类；具体包括如下步骤：将所述RGB图像与所述触觉图像进行匹配后裁剪所述RGB图像使得裁剪后的RGB图像和所述触觉图像有相同的视场范围；将所述裁剪后的RGB图像和所述触觉图像输入分类网络进行物体分类。3.如权利要求1所述的透明物体的抓取方法，其特征在于，将所述RGB图像作为输入，通过所述生成式残差卷积神经网络对输入图像进行处理，具体包括：所述RGB图像经过第一卷积层、第二卷积层和第三卷积层进行特征提取，分别生成32维、64维和128维的特征向量；所述卷积层的输出接下来会送入5个残差块中，所述残差块的输入分辨率与输出分辨率相等，之后再经过第四卷积层、第五卷积层和第六卷积层后，得到输出分辨率与输入的所述RGB图像的分辨率相同的两个特征向量，两个所述特征向量分别为抓取位置和抓取半径。4.如权利要求3所述的透明物体的抓取方法，其特征在于，所述生成式残差卷积神经网络采用跨层连接，第一卷积层与第六卷积层进行跨层连接，第二卷积层和第五卷积层进行跨层连接，第三卷积层和第四卷积层进行跨层连接。5.如权利要求1所述的透明物体的抓取方法，其特征在于，采用全卷积神经网络提取所述视觉图像中透明物体的轮廓，包括如下步骤：所述全卷积神经网络检测到所述透明物体的掩膜；计算得到所述掩膜的中心位置，根据所述...

【专利技术属性】
技术研发人员：梁斌，刘厚德，于海鑫，李寿杰，王学谦，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：