一种基于深度学习的三维抓取平台和抓取方法技术

本发明专利技术公开了一种基于深度学习的三维抓取平台和抓取方法，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，采集系统采集并预处理视野内的原始三维点云数据获取物体的三维点云数据，并输出至物体类别和位姿识别系统；物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并输出至控制系统；控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。

A 3D grabbing platform and method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的三维抓取平台和抓取方法
本专利技术涉及机械臂抓取
，更具体地说，涉及一种基于深度学习的三维抓取平台和抓取方法。
技术介绍
随着人工成本的日益增高，利用机械臂代替人工分拣，实现物体的识别和抓取一直以来是人们关注的焦点。比如物流领域利用机械臂实现分拣包裹，工业领域实现上下料等功能。传统的采用示教的机械臂抓取方法依赖于多种传感器诸如激光传感器、行程开关等以确保较好的重复定位精度。通过提前设定机械臂需到达的位置，根据一定抓取节奏实现物块的抓取。传统的基于机器视觉机械臂抓取方法通过人工提取物体特征信息与提前构建的数据库配对获取物块在相机坐标系的坐标，然后通过手眼标定将像素坐标转换到机械臂坐标下，让机械臂实现抓取。上述方法存在不足，传统的采用示教的机械臂抓取方法只能针对单一的物体进行抓取，且不能适应复杂场景下物体的不同姿态，同时随着传感器增多，成本也提升。传统的基于机器视觉机械臂抓取方法往往只利用了二维信息，而忽视了三维结构信息，如公开号为CN106003119A的专利申请公开一种吸取式机械手的物体抓取方法及物体抓取系统和公开号为CN104048607A的专利申请公开一种机械手臂的视觉识别抓取方法。此外，手眼标定和人工提取特征加大了抓取过程的复杂度。因此，从数据处理上和人工处理特征的复杂度角度上看，这些方法都不具备良好的实时性和便捷性。
技术实现思路
本专利技术的目的是提供一种基于深度学习的三维抓取平台和抓取方法，该三维抓取平台和抓取方法能够实时获得物体的三维点云数据，根据物体的三维点云数据获得物体的类别和位姿信息，机械手根据该类别和位姿信息实现对物体的精准抓取。为实现上述专利技术目的，本专利技术的技术方案为：一种基于深度学习的三维抓取平台，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，所述采集系统受控制系统控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统；所述物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；所述控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。一种抓取方法，所述抓取方法采用上述基于深度学习的三维抓取平台，所述抓取方法包括以下过程：所述传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至所述控制系统，所述控制系统根据接收的物体到位信号后控制采集设备采集视野内的原始三维点云数据并发送至预处理器；所述预处理器对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据并发送至物体类别和位姿识别模型；所述物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；所述控制系统根据物体类别和位姿信息规划移动路径，并发送该物体类别和位姿信息、移动路径至六轴机械臂的工控机；所述工控机接收物体类别和物体位姿信息和移动路径，根据该物体类别和物体位姿信息和规划路径控制六轴机械臂抓取。与现有技术相比，本专利技术具有的有益效果至少包括：实现了深度学习、机器人技术、三维点云的技术融合，利用神经网络进行端到端学习训练从而直接识别物体的类别和位姿，提高了抓取的效率和可替代性。同时，本专利技术在低成本的条件下最大化地适应了不同物体不同姿态下的抓取场景，并具备良好的精度和实时性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的基于深度学习的三维抓取平台的结构示意图；图2为本专利技术实施例提供的抓取流程图；图3为本专利技术实施例提供的物体类别和位姿识别网络的结构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。图1为本专利技术实施例提供的基于深度学习的三维抓取平台的结构示意图。参见图1，实施例提供的基于深度学习的三维抓取平台包括控制系统101、传动带系统102、机器人系统103、采集系统104以及物体类别和位姿识别系统105。其中，采集系统104受控制系统101控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统105；物体类别和位姿识别系统105利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统101；控制系统101输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统105输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统103以控制机器人抓取物体。其中，采集系统104包括采集设备和预处理器，其中，所述采集设备受所述控制系统控制采集视野内的原始三维点云数据；所述预处理器用于对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据。即先利用点云分割分离出物体点云和背景点云并提取物体三维点云数据。利用点云滤波去除分割不能完整去除的背景信息。利用点云去除离群点和点云聚类将一些杂点去除，精细化三维点云信息。利用点云体素化将数据量降低，以方便后续网络的特征学习。本专利技术中，所述物体类别和位姿识别模型的构建方法为：选取物块质心点作为位姿信息采集点，采用任意摆放物块位置方式获取采集点在机器人坐标系下的坐标信息x,y,z，在相对于坐标系x轴正方向为-180°～+180°的范围内每隔5°到10°采集物块的角度信息Rz，将坐标信息x,y,z、角度信息Rz以及物块类别组成标签，物体的三维点云数据和标签组成一个训练样本；对Pointnet进行改进，获得物体类别和位姿识别网络，利用训练样本对物体类别和位姿识别网络进行训练，网络参数确定后获得物体类别和位姿识别模型。具体地，所述物体类别和位姿识别网络包括感知层、最大池化层、全连接层，其中，所述感知层由不同大小的卷积网络组成，用于三维点云数据由高维向量向低维向量的映射，实现三维点云数据的特征提取；所述最大池化层用于对一定区域内的三维点云数据提本文档来自技高网...

【技术保护点】
1.一种基于深度学习的三维抓取平台，其特征在于，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，/n所述采集系统受控制系统控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统；/n所述物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；/n所述控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。/n

【技术特征摘要】
1.一种基于深度学习的三维抓取平台，其特征在于，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，
所述采集系统受控制系统控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统；
所述物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；
所述控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。


2.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述采集系统包括采集设备和预处理器，其中，所述采集设备受所述控制系统控制采集视野内的原始三维点云数据；
所述预处理器用于对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据。


3.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述物体类别和位姿识别模型的构建方法为：
选取物块质心点作为位姿信息采集点，采用任意摆放物块位置方式获取采集点在机器人坐标系下的坐标信息x,y,z，在相对于坐标系x轴正方向为-180°～+180°的范围内每隔5°到10°采集物块的角度信息Rz，将坐标信息x,y,z、角度信息Rz以及物块类别组成标签，物体的三维点云数据和标签组成一个训练样本；
对Pointnet进行改进，获得物体类别和位姿识别网络，利用训练样本对物体类别和位姿识别网络进行训练，网络参数确定后获得物体类别和位姿识别模型。


4.如权利要求3所述的基于深度学习的三维抓取平台，其特征在于，所述物体类别和位姿识别网络包括感知层、最大池化层、全连接层，其中，
所述感知层由不同大小的卷积网络组成，用于三维点云数据由高维向量向低维向量的映射，实现三维点云数据的特征提取；
所述最大池化层用于对一定区域内的三维点云数据提取最大值点云数据，能够保留主要的特征同...

【专利技术属性】
技术研发人员：傅建中，何权，吴森洋，王可钦，褚建农，
申请(专利权)人：浙江大学，红河创新技术研究院，
类型：发明
国别省市：浙江;33