基于点云获取和处理的抓取训练方法及系统技术方案

本申请实施例公开一种基于点云获取和处理的抓取训练方法及系统。所述系统包括相机、机械手、机械臂、机械臂基座和主控制计算机。所述方法包括：A1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；A2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；A3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；A4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；A5、获取反映抓取效果的指定指标。本申请实施例可以观察实物抓取效果，为算法的质量提供反馈，这不仅大幅提升了算法训练的效率，也在一定程度上提升了算法的实用性。

The method and system of grasping training based on point cloud acquisition and processing

【技术实现步骤摘要】
基于点云获取和处理的抓取训练方法及系统
本申请涉及机器人
，特别涉及一种基于点云获取和处理的抓取训练方法及系统。
技术介绍
随着人工智能与硬件设备的飞速发展，大大的推进了工业化进程与机器人科学的发展。机器人的抓取功能是机器人最基本的功能，用来在任务中执行诸如分拣、拾取等基本的任务操作。在工业生产环境或者物流分拣任务下，机器人抓取应用十分常见。但是在很多情况下，需要完成抓取的物体场景比较复杂，比如包含多种物体并存在堆叠现象，加之机器人事先对该环境并没有先验认知，这就导致机械手真正完成抓取任务时会遇到较大的阻碍。为此，目前较为流行的解决办法是采用机器学习的理念，利用基于模型的已知信息对系统进行训练，最终使系统可以从视觉的原始输入中直接做出抓取决策。目前常用的训练方案包括利用RGB双目图像信息作为原始输入产生抓取策略，或者限制输入场景的复杂度以保证识别的准确性，又或者将整个抓取系统中各个部分分割开来处理，不能形成一套通用完整的训练体系。利用RGB双目信息的训练系统会受到诸如光强、照度等问题的制约，且处理起来较为繁琐；而通过限制场景复杂程本文档来自技高网...

【技术保护点】
1.一种基于点云获取和处理的抓取训练方法，其特征在于包括：/nA1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；/nA2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；/nA3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；/nA4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；/nA5、获取反映抓取效果的指定指标。/n

【技术特征摘要】
1.一种基于点云获取和处理的抓取训练方法，其特征在于包括：
A1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；
A2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；
A3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；
A4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；
A5、获取反映抓取效果的指定指标。


2.根据权利要求1所述抓取训练方法，其特征在于还包括：A6、根据所述指定指标对所述第一部分神经网络进行修改，以提升抓取效果。


3.根据权利要求1所述抓取训练方法，其特征在于所述A3具体为：获取所述相机光轴坐标系与所述机械臂基座坐标系之间的相对关系，根据所述相对关系将所述第一抓手位姿信息变换成所述第二抓手位姿信息。


4.根据权利要求3所述抓取训练方法，其特征在于所述获取所述相机光轴坐标系与所述机械臂基座坐标系之间的相对关系具体为：通过手眼标定获得描述所述相对关系的坐标变换矩阵。


5.根据权利要求1所述抓取训练方法，其特征在于所述A4包括：将所述第二抓手位姿信息进行逆运动学解算以生成指令控制所述机械臂运动到相应的位置和呈现相应的姿态。


6.根据...

【专利技术属性】
技术研发人员：刘厚德，张郑，周星如，王学谦，阮见，刘思成，梁斌，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44