【技术实现步骤摘要】
基于示教与深度学习的机器人抓取数据集建立装置和方法
[0001]本专利技术涉及机器人领域，尤其涉及基于示教与深度学习的机器人抓取数据集建立装置和方法。
技术介绍
[0002]机器人针对任意物体的无序抓取是机器人领域一个经典的研究问题，机器人根据视觉传感器输入，在动作空间内预测六自由度的抓取位姿，机器人一般采用二指夹爪对物体执行抓取动作。六自由度抓取位姿的预测方法多数为数据驱动，通过端到端的神经网络模型，输入点云形式的传感器信息，输出抓取位姿的预测。
[0003]基于机器学习的任意物体抓取位姿估计算法往往都是数据驱动，需要大量标签数据来训练网络模型。建立一个可以用于训练网络的数据集往往是对工作量需求很大的工作，而且现实数据存在噪声，大部分情况都需要人工的介入进行数据标注，数据集生成的过程存在很多的重复工作。
[0004]抓取数据集按照生成与标注方式可以分为三类，人工标注数据，抓取试验收集数据以及仿真数据。对于人工标注的抓取数据集，例如Cornell以及VMRD数据集，都是基于RGB图片的数据集，每张图片都有人工...
【技术保护点】
【技术特征摘要】
1.基于示教与深度学习的机器人抓取数据集建立方法，其特征在于，所述方法包括：步骤1、采用示教器在目标物体上进行抓取位姿的示教，根据抓取空间，从场景中提取得到抓取部分点云，收集数据的同时进行人工打分，标注标签数据；步骤2、利用收集到的标签数据快速训练六自由度抓取位姿评价网络；步骤3、采用连续帧拍摄的方式快速收集实际抓取场景的点云数据；步骤4、在实际抓取场景点云上进行六自由度抓取位姿的采样，利用训练完成的六自由度抓取位姿评价网络对每一个采样位姿进行评价打分，从而完成场景点云的标签自动生成。2.如权利要求1所述的基于示教与深度学习的机器人抓取数据集建立方法，其特征在于，所述步骤步骤1中对采集到示教位姿进行数据扩充，所述扩充方法为：在示教一个抓取位姿之后，对该位姿进行适量的姿态变换，包括绕抓取主轴进行旋转和延垂直于抓取主轴方向进行位移，当进行少量的姿态变换后，变换后的位姿与示教的位姿具有相同的抓取分数，而当进行过量的姿态变换后，应减少变换后的位姿的抓取分数。3.如权利要求2所述的基于示教与深度学习的机器人抓取数据集建立方法，其特征在于所述的六自由度抓取位姿评价网络是一个基于点云的网络模型，内部网络模块包括PointNet，VoxNet。4.如权利要求3所述的基于示教与深度学习的机器人抓取数据集建立方法，其特征在于所述的抓取部分点云在输入六自由度抓取位姿评价网络训练之前需要进行处理，包括：步骤1.1：抓取部分的点云进行体素滤波，并滤除中间部分；步骤1.2：进行人工特征选择，包括计算点法向量，点曲率，空间分布参数，其中空间分布参数指，单个点距离最近指端的距离与物体宽度之比，最终输入到网络的点云包含8维特征；步骤1.3：进行特征提取之后的点云被输入到PointNet中提取128维几何特征，抓取部分的点云也将进行体素化处理，抓取空间将被体素化为16
×
16
×
40的网格，并根据点的占据确定体素块所代表值的大小，体素化处理得到的四维变量被输入到VoxNet中；几何特征与分布特征将被输入到全连接感知机中获取128维混合特征，并最终通过另一个全连接感知机，根据所提取到的几何特征，分布特征，混合特征，得到对应六自由度抓取位姿的质量分数。5.如权利要求1所述的基于示教与深度学习的机器人抓取数据集建立方法，其特征在于所述步骤4中标签生成方法包括：步骤4.1：获取多视角的场景，采用连续帧对场景的点云进行采集；步骤4.2：对于每一个收集到的场景点云个体，基于点云法向量进行六自由度抓取位姿采样；步骤4.3：对于每一个有抓取部分，且无碰撞的抓取位姿，通过“六自由度抓取位姿评价网络”对它进行打分，从而实现六自由度抓取位姿标签的自动生成。6.如权利要求5所述的基于示教与深度学习的机器人抓取数...
【专利技术属性】
技术研发人员：吴建华，田林睿，熊振华，朱向阳，盛鑫军，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。