一种基于三维视觉的智能机器人抓取方法技术

本发明专利技术公开了一种基于三维视觉的智能机器人抓取方法，以包含目标物体的观测点云为输入，使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度，获得适合作为抓取部位中心的点。以抓取区域的特征为输入，使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测。以抓取闭合区域和抓取区域特征融合后的特征为输入，使用抓取部位优化网络优化检测出的抓取部位。选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态。本发明专利技术使机器人在非结构化环境下准确地抓取不同种类的物体，以提高智能机器人作业和与外界交互的安全性与可靠性。

【技术实现步骤摘要】
一种基于三维视觉的智能机器人抓取方法
本专利技术属于计算机视觉与智能机器人领域，具体涉及一种基于三维视觉的智能机器人抓取方法。
技术介绍
智能机器人抓取在机器人作业和与外界交互中起着至关重要的作用，目前基于机器视觉的机器人抓取算法主要分为基于模型和基于数据驱动的算法。与传统的基于模型的机器人抓取方法相比，基于数据驱动的抓取方法基本能够在非结构化环境中抓取物体。但由于各种物体不同的形状结构与传感器噪声所引起的不确定性，导致在非结构化环境下可靠地抓取不同种类的物体仍是一项艰巨的任务。目前基于数据驱动的机器人抓取方法大多基于RGB、深度或RGB-D图像来生成矩形抓取区域，但因为简化了三维空间下机器人平行夹具的抓取部位，导致这些方法缺乏对物体表面几何信息和抓取质量指标的考虑，从而难以找到最佳的抓取部位。为此，基于三维视觉的智能机器人抓取方法能够在点云中学习一个更加鲁棒的机器人抓取部位的表征，相比矩形抓取的表征，三维空间下的抓取表征能够更准确的表示具有高抓取质量指标的夹具抓取姿态。而更精确的三维空间下的抓取检测有助于执行更可靠地物体抓取，为此，如何在三维本文档来自技高网...

【技术保护点】
1.一种基于三维视觉的智能机器人抓取方法，其特征在于，包括以下步骤：/n以包含目标物体的观测点云为输入，使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度，获得适合作为抓取部位中心的点；/n以抓取区域的特征为输入，使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测；/n以抓取闭合区域和抓取区域特征融合后的特征为输入，使用抓取部位优化网络优化检测出的抓取部位，得到优化后的抓取部位；/n选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态，完成机器人作业。/n

【技术特征摘要】
1.一种基于三维视觉的智能机器人抓取方法，其特征在于，包括以下步骤：
以包含目标物体的观测点云为输入，使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度，获得适合作为抓取部位中心的点；
以抓取区域的特征为输入，使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测；
以抓取闭合区域和抓取区域特征融合后的特征为输入，使用抓取部位优化网络优化检测出的抓取部位，得到优化后的抓取部位；
选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态，完成机器人作业。


2.根据权利要求1所述的方法，其特征在于，
所述观测点云是通过Kinect传感器获取当前场景下的观测点云。


3.根据权利要求1所述的方法，其特征在于，
所述抓取置信度评估网络建立方法为：
输入的观测点云被送入训练好的点云特征提取网络中，训练的损失为每个点的抓取置信度的分类损失，通过最小化上述损失函数对网络参数进行优化，获得抓取置信度评估网络模型。


4.根据权利要求3所述的方法，其特征在于，
所述获得适合作为抓取部位中心的点具体过程如下：
通过训练好的点云特征提取网络实现所有输入点云到组特征的编码，再通过距离差值的方法实现组特征到逐点特征的解码从而实现输入点云的特征提取；之后通过一个训练好的二分类的分割网络对每个点提取出的特征进行分割，每个预测为正类的点均适合作为抓取部位中心。


5.根据权利要求1所述的方法，其特征在于，
所述物体抓取部位检测是通过区域抓取部位检测网络，将预测出适合作为抓取部位中心的点作为回归中心，预测对应的抓取部位。


6.根据权利要求5所述的方法，其特征在于，
所述预测对应的抓取部位具体过程如下：
通过最远点采样方法选取尽可能覆盖具有不同结构的k1个回归点，得到k1个点的抓取区域；在每个抓取...

【专利技术属性】
技术研发人员：兰旭光，赵冰蕾，张翰博，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61