基于3D视觉的智能机器人抓取方法技术

本发明专利技术涉及一种基于3D视觉的智能机器人抓取方法，包括：步骤1，完成智能抓取系统的手眼标定；步骤2，完成基于卷积神经网络的抓取规划模型的训练；步骤3，完成智能智能机器人在真实环境下的抓取。本发明专利技术的优点在于：基于3D视觉的智能机器人自主抓取方法，能在非结构环境下完成3D物体识别定位、自主无碰撞路径规划等工作，在工业机器人的拾取、分拣、码垛、装配等工作环境下都有非常重要的应用价值，能显著提高工业机器人在3C行业种类繁多、生产线快速更新特点下的自适应能力。

Grasping method of intelligent robot based on 3D vision

【技术实现步骤摘要】
基于3D视觉的智能机器人抓取方法
本专利技术涉及机器人智能控制
，尤其是涉及到一种基于3D视觉的智能机器人抓取方法。
技术介绍
3C数码产品(包括计算机、通信类、消费类电子产品的合称)由于其智能化、使用方便、功能强大，越来越受到消费者的欢迎。目前，3C产品的产量也在逐步攀升。随着3C产品生产过程中的人工成本的快速上升，厂家越来越希望从自动化生产获得更低的成本、更高的效率以及最佳的良品率。机器人技术作为近年来快速发展的智能自动化技术，在工业生产中得到了越来越多地应用。3C行业中，目前也使用了智能机器人的抓取系统，用于3C产品的输送与装配作业中。专利技术人在研究中发现，现有技术的智能机器人抓取系统，大都都是基于二维机器视觉，通过识别输送过程中的工件的二维特征(包括定位和颜色等)，以便机器人进行抓取装配，其应用场景中的工件一般比较简单和规则化，以至于仅通过二维特征就容易被机器人所抓取，不适用于更加复杂或具有不易抓取的物体形状(例如具有易滑动的圆弧表面形状)的场景。另外，基于二维机器视觉的抓取系统，工件在输送过程中一般不能有堆叠，如果产生堆叠，一是容易识别失败，二是没有有效地方法确定出供机器人精确稳定抓取的区域。另外，现有的技术泛化能力较差，当抓取目标变更后，以往的抓取策略就不再适用。综上所述，为了推进3C产品的智能化生产技术，有必要提供新的基于3D机器视觉的智能抓取方法。
技术实现思路
有鉴于此，有必要针对上述的问题，提供一种基于3D视觉的机器人抓取方法，相比于现有技术，能够实现对具有更加复杂形状的工件的抓取，并具备抓取策略的泛化能力，实现对工件的稳定抓取。一种基于3D视觉的智能机器人抓取方法，包括：步骤1，完成智能抓取系统的手眼标定；步骤2，完成基于卷积神经网络的抓取规划模型的训练；步骤3，完成智能智能机器人在真实环境下的抓取。所述步骤1的流程具体包括：搭建所述智能抓取系统，所述智能抓取系统包括Kinect-2.0、YuMi机器人及计算机；所述Kinect-2.0用于作为视觉传感器采集3D视觉数据，所述计算机与所述Kinect-2.0、所述YuMi连接，以完成抓取规划模型训练，并控制所述YuMi机器人实现抓取；所述Kinect-2.0利用3D相机获取待抓取目标三维6DOF的姿态点云数据；采用眼在手外的手眼标定方式；对所述待抓取目标三维6DOF的姿态点云数据进行标定，完成3D相机与所述YuMi机器人的数据互联，以得到相机坐标系和机器人坐标系的参数转换。所述采用眼在手外的手眼标定方式，包括以下步骤：标定3D相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；控制机器人手臂移动至该坐标记录数据在机器人坐标系之下XYZ；反复上述流程采集多组公共点数据，使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；利用前面得到的相机参数完成抓取目标三维点云数据的配准。深度图像坐标系与红外坐标系的关系为：其中，OdXdYdZd坐标系表示红外相机坐标系，OoUdVd坐标系表示深度图像坐标系，O1XY为红外相机成像平面坐标系，其X轴与Ud轴平行，Y轴与Vd平行，原点O1的坐标为坐标系OdXdYdZd坐标原点是红外相机的光心；其中，P(ud,vd)为深度图像坐标系上一点，在红外坐标系相对应的点为P(xd,yd,zd)，fx与fy表示红外相机的焦距，与表示图像坐标系的中心点坐标。机器人坐标系与3D相机的深度坐标系的转换模型为：其中，[XRYRZR]表示YuMi机器人坐标系的点坐标，[XKYKZK]为3D相机的深度坐标系，λ为两个坐标系尺度比例因子，[ΔTxΔTyΔTz]为坐标系平移增量。所述步骤2的流程，包括：对深度图像数据进行预处理操作去除采集过程中产生的噪声；将预处理后的点云数据输入到全卷积网络FCN中，完成3D物体识别，并得到初步的候选抓取区域坐标；基于深度强化学习的C空间自主路径规划及实时避障；将前面生成的候选抓取区域坐标和C空间路径在仿真环境下依据深度强化学习DQN理论进行循环试错运行，直到抓取策略足够稳定后，将深度强化学习训练后的抓取策略输出。所述全卷积网络FCN是一种基于多模态HHA编码的深度学习网络。多模态HHA编码模块的输入特征融合过程包括：多模态卷积神经网络将3D视场传感器输出的Depth深度图像进行HHA编码；多模态卷积神经网络与RGB彩色图像进行对齐操作，并输入到ResNet50模块；对输入的RGB信息和Depth信息做特征融合。全卷积神经网络FCN的处理过程包括：对深度数据进行采样聚类得到一些图心，并以每一个图心为基础做全局池化；进入多任务阶段，将下采样得到的特征图输入分割和分类的子网络，分类的子网络找多尺度下实现对物体的分类和包围框检测，分割的网络实现物体可抓取区域检测。损失函数为L(Pos,Neg)＝∑Lclass+∑(Lclass+αLBoundBox+βLGraspRegion)，其中，Pos表示正样本，Neg表示负样本，Lclass指识别所得种类的误差，LBoundBox是指物体的包围框误差，LGraspRegion指抓取检测区域的误差。深度学习强化的训练阶段包括：通过3D视觉传感器观测环境，并给机器人输入RGB-D；机器人随机初始化的深度神经网络根据输入State，输出空间里面的机器人动作参数；机器人执行该动作后，环境观测机器人的动作有无触碰障碍物，并给出一个反馈；机器人的DNN网络获得反馈，计算网络损失，训练DNN网络的参数；深度强化学习模型根据3D视觉传感器的连续RGB-D数据集作为输入，并把内部已训练好的深度神经网络输出策略和之前建立的传感器-机器人坐标变换模型相结合，引导机器人躲避障碍物，进行路径规划仿真。训练阶段的反馈函数为：Reward＝aL1+bL2，其中，Reward表示训练阶段的反馈函数，L1表示障碍物度量二范数，L2表示目标物度量二范数。本专利技术的优点在于：基于3D视觉的智能机器人自主抓取方法，能在非结构环境下完成3D物体识别定位、自主无碰撞路径规划等工作，在工业机器人的拾取、分拣、码垛、装配等工作环境下都有非常重要的应用价值，能显著提高工业机器人在3C行业种类繁多、产线快速更新特点下的自适应能力。附图说明图1为本专利技术实施例提供的一种基于3D视觉的智能机器人抓取方法的流程示意图；图2为本专利技术实施例提供的机器人智能抓取系统；图3为本专利技术实施例提供的多模态HHA编码模块；图4为本专利技术实施例提供的前端全卷积网络的结构示意图；图5为本专利技术实施例提供的基于深度强化学习的C空间路径规划本文档来自技高网...

【技术保护点】
1.一种基于3D视觉的智能机器人抓取方法，其特征在于，包括：/n步骤1，完成智能抓取系统的手眼标定；/n步骤2，完成基于卷积神经网络的抓取规划模型的训练；/n步骤3，完成智能智能机器人在真实环境下的抓取。/n

【技术特征摘要】
1.一种基于3D视觉的智能机器人抓取方法，其特征在于，包括：
步骤1，完成智能抓取系统的手眼标定；
步骤2，完成基于卷积神经网络的抓取规划模型的训练；
步骤3，完成智能智能机器人在真实环境下的抓取。


2.根据权利要求1所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述步骤1的流程具体包括：
搭建所述智能抓取系统，所述智能抓取系统包括Kinect-2.0、YuMi机器人及计算机；所述Kinect-2.0用于作为视觉传感器采集3D视觉数据，所述计算机与所述Kinect-2.0、所述YuMi连接，以完成抓取规划模型训练，并控制所述YuMi机器人实现抓取；
所述Kinect-2.0利用3D相机获取待抓取目标三维6DOF的姿态点云数据；
采用眼在手外的手眼标定方式；
对所述待抓取目标三维6DOF的姿态点云数据进行标定，完成3D相机与所述YuMi机器人的数据互联，以得到相机坐标系和机器人坐标系的参数转换。


3.根据权利要求2所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述采用眼在手外的手眼标定方式，包括以下步骤：
标定3D相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；
将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；
控制机器人手臂移动至该坐标记录数据在机器人坐标系之下XYZ；
反复上述流程采集多组公共点数据，使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；
利用前面得到的相机参数完成抓取目标三维点云数据的配准。


4.根据权利要求3所述的基于3D视觉的智能机器人抓取方法，其特征在于，深度图像坐标系与红外坐标系的关系为：



其中，OdXdYdZd坐标系表示红外相机坐标系，OoUdVd坐标系表示深度图像坐标系，O1XY为红外相机成像平面坐标系，其X轴与Ud轴平行，Y轴与Vd平行，原点O1的坐标为坐标系OdXdYdZd坐标原点是红外相机的光心；
其中，P(ud,vd)为深度图像坐标系上一点，在红外坐标系相对应的点为P(xd,yd,zd)，fx与fy表示红外相机的焦距，与表示图像坐标系的中心点坐标。


5.根据权利要求3所述的基于3D视觉的智能机器人抓取方法，其特征在于，机器人坐标系与3D相机的深度坐标系的转换模型为：



其中，[XRYRZR]表示YuMi机器人坐标系的点坐标，[XKYKZK]为3D相机的深度坐标系，λ为两个坐标系尺度比例因子，为坐标系平移增量。


6.根据权利要求2所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述步骤2的流程，包括：
对深度图像数据进行预处理操作去除采集过程中产生的噪声；
将预处理...

【专利技术属性】
技术研发人员：雷渠江，徐杰，梁波，李秀昊，刘纪，邓云甫，王卫军，韩彰秀，
申请(专利权)人：广州中国科学院先进技术研究所，
类型：发明
国别省市：广东;44