一种基于三维立体视觉和点云深度学习的机器人上料系统技术方案

本发明专利技术公开了一种基于三维立体视觉和点云深度学习的机器人上料系统，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；本发明专利技术不同于传统的依靠识别图片像素点或点云特征描述子的位姿估计方法，输入信息为视觉传感器所采集的工件的三维点云信息，输出信息为估计的机械手抓取位姿信息，是一种全新的基于深度学习的端到端的机器人上料方法。

A robot loading system based on 3D stereo vision and point cloud depth learning

【技术实现步骤摘要】
一种基于三维立体视觉和点云深度学习的机器人上料系统
本专利技术涉及属于人工智能的一种机器人上料方法，尤其涉及一种基于三维立体视觉和点云深度学习的机器人上料系统。
技术介绍
目前在制造企业的加工生产中，常见的机器人上下料方法主要有两种：第一种是基于定制工件码垛盘的抓取方案。该方法是将工件严格有序地码垛在码垛盘上，再将码垛盘放置于工业机器人的工作区，经人工示教或者离线编程后，指导机器人到指定的位置上进行抓取。其优点是设备成本相对低廉，对安装场地等需求较小。但其缺点也比较明显：1)工件码垛盘定制的时间、经济成本颇高；2)人工需预先将工件放置在定制的码垛盘上，效率低；3)机器人的运动路径固定，智能化程度低，工件码垛不精确时容易抓取失败。第二种是基于机器视觉的抓取方案，它是目前机器人自动抓取的主要方法。其核心思想是在机器人工作区里设置视觉传感器提取工件位姿信息，从而计算获得机器人的运动路径。其中，比较成熟的技术是通过机器视觉采集工件二维图像进行位姿识别，从而计算获得机器人的运动路径。然而，由于信息缺失，物体的二维图像表示不能提供空间位置信息，同时由于光照、视点变换等因素，特征点不能被稳定的检测出来，增加了识别结果的不确定性。同时，在机器人自动化操作的环境下，通常需要准确知道目标工件的几何结构信息以及准确的位姿信息以便完成抓取点的选取与抓取的运动规划等后续任务。随着人工智能的发展，已有学者开始研究基于人工智能技术工件抓取位姿估计，利用预先训练过的深度强化学习网络对图像进行数据降维特征提取；根据特征提取结果得出机器人的控制策略，机器人利用控制策略来控制运动路径和机械手臂的位姿，从而实现目标的自适应抓取。目前，比较成熟的基于人工智能的机器视觉抓取方法是依据相机采集的二维图像来预测工件位姿，但此方法往往缺失工件的立体三维信息，只能实现二维的位姿估计。依据工件三维点云信息来估计工件位姿的人工智能方法还比较少，目前常用的是采用深度强化学习方法来实现的。然而，传统强化学习方法在求解高维度状态和动作空间问题时，有较大的局限性，在有限样本和计算单元条件下对复杂函数的表示能力有限，实际应用中的表现往往不是很理想。同时，传统深度强化学习算法需要提供大量的数据进行训练，在训练过程中，机器人需要不断抓取试错，才有可能可以获得稳定的抓取能力。这种训练方法周期长、效率低，在实际训练过程中有安全隐患，往往无法满足工业生产应用的需求。还有一种采用人工智能技术的机器视觉抓取方法是，先对待抓取物体进行反足手采样，然后采用深度学习网络来评估所采样的反足手的抓取质量，最后选用评估质量最好的反足手对工件进行抓取。这种方法可以获得较高的抓取成功率，但每次抓取的工件以及抓取的位置都是随机的，不可预测，无法直接应用在工业生产应用。
技术实现思路
本专利技术的目的是提供一种基于三维立体视觉和点云深度学习的机器人上料系统。该机器人上料系统能够根据采集的三维点云数据准确地计算获得工件的位姿信息，机械手根据该位姿信息实现对工件的精确上料。本专利技术的技术方案为：一种基于三维立体视觉和点云深度学习的机器人上料系统，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；其中，处理装置包括云前处理模块、点云分类模块、位姿估计模块，云前处理模块用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块；点云分类模块用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块；位姿估计模块用于根据类点云信息确定工件的位姿信息。本专利技术的有益效果是：1、本专利技术提出一种基于三维立体视觉和点云深度学习的机器人上料系统，输入信息为视觉传感器所采集的工件的三维点云信息，输出信息为估计的机械手在抓取位姿信息，不同于传统的依靠识别图片像素点或点云特征描述子的位姿估计方法，是一种全新的基于深度学习的端到端的实现方法。2、传统深度强化学习算法需要提供大量的数据进行训练，在训练过程中，机器人需要不断抓取试错，才有可能可以获得稳定的抓取能力。这种训练方法周期长、效率低，在实际训练过程中有安全隐患，往往无法满足工业生产应用的需求。本专利技术提供的点云深度学习算法无需进行传感器与机器人之间的手眼标定，特殊设计的网络结构无需大量的训练数据即可获得较好的预测结果，可满足大部分工业生产的需要。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种基于三维立体视觉和点云深度学习的机器人上料系统的结构示意图；图2为本专利技术实施例提供的利用位姿估计模块计算位姿信息的流程示意图；图3为本专利技术实施例提供的位置估计单元的结构示意图；图4为本专利技术实施例提供的姿态估计单元的结构示意图。附图中，1-视觉传感器，2-工件，3-机械手，4-处理装置具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。图1为本专利技术实施例提供的一种基于三维立体视觉和点云深度学习的机器人上料系统的结构示意图，该机器人上料系统至少包括机械手3、机械手3工作空间范围内的工件2、设有工件上方的视觉传感器1以及处理装置4，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置4，处理装置4基于接收的三维点云数据计算获得的工件2的位姿信息，并将该位姿信息传输至机械手3，机械手3根据接收的位姿信息抓取工件2进行上料。其中，处理装置4包括云前处理模块401、点云分类模块402、位姿估计模块403，云前处理模块401用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块402；点云分类模块402主要用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块403；位姿估计模块403用于根据类点云信息确定工件的位姿信息。点云前处理模块401包含点云高通滤波单元、点云下采样单元、点云平面分割单元以及点云超体聚类分割单元，能依次实现三维点云数据的滤波、下采样、平面分割以及超体聚类分割，最后获得工件点云数据。高通滤波：具体方法为对每一个点，计算它到其所有邻近点的平均距离。假设得到的结果为一本文档来自技高网...

【技术保护点】
1.一种基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；/n其中，处理装置包括云前处理模块、点云分类模块、位姿估计模块，云前处理模块用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块；点云分类模块用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块；位姿估计模块用于根据类点云信息确定工件的位姿信息。/n

【技术特征摘要】
1.一种基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；
其中，处理装置包括云前处理模块、点云分类模块、位姿估计模块，云前处理模块用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块；点云分类模块用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块；位姿估计模块用于根据类点云信息确定工件的位姿信息。


2.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，所述点云前处理模块包含点云高通滤波单元、点云下采样单元、点云平面分割单元以及点云超体聚类分割单元，能依次实现三维点云数据的滤波、下采样、平面分割以及超体聚类分割，最后获得工件点云数据。


3.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，所述点云分类模块采用训练好的PointNet深度学习网络来实现识别工件点云数据所归属的物体类别。


4.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，位姿估计模块主要包括位置估计单元和姿态估计单元，位置估计单元用以估计输入类点云信息的位置信息(x，y，z)，姿态估计单元用以估计输入类点云信息的姿态信息(Rx，Ry，Rz)；将位置信息(x，y，z)和姿态信息(Rx，Ry，Rz)相组合，即可获得工件位姿信息。


5.如权利要求4所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，位置估计单元由依次连接的随机采样层、数据前处理层、由多个多层感知器并联组成感知层、池化层、多层感知器A和多层感知器B组成；其中，随机采样层对输入类点云信息进行随机采样获得固定维数的类点云向量；数据前处理层将采样后的类点云向量进行归一化，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的多层感知器内，多层感知器用于特征映射并将输出的值输入到池化层；池...

【专利技术属性】
技术研发人员：傅建中，王郑拓，徐月同，俞炯炎，顾天翼，褚建农，
申请(专利权)人：浙江大学，红河创新技术研究院，
类型：发明
国别省市：浙江;33