一种利用低精度深度相机高精度抓取形状对称工件的方法技术

本发明专利技术涉及一种利用低精度深度相机高精度抓取形状对称工件的方法，包括以下步骤：1)在抓取坐标系O‑XYZ中对生产线抓取区运送工件料盘进行位置测定；2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次坐标转换矩阵T1；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件观测点云估计抓取位姿。与现有技术相比，本发明专利技术能够利用低精度深度相机进行视觉引导达到高精度深度相机视觉引导的抓取精度。

A High Precision Grabbing Method for Shape Symmetrical Workpiece Using Low Precision Depth Camera

【技术实现步骤摘要】
一种利用低精度深度相机高精度抓取形状对称工件的方法
本专利技术涉及机械臂控制领域，尤其是涉及一种利用低精度深度相机高精度抓取形状对称工件的方法。
技术介绍
传统的工业机器人抓取通常采用示教编程模式，这种方式适用于工况稳定，工业零件(后面简称工件)放置的位置和姿态固定的情况，若工件摆放的位置和姿态不固定则会出现抓取失败。解决此问题的方法多种多样，最直接的方法是采用类似人眼的机器视觉引导工业机器人工作。近年来，随着RGB-D深度相机的广泛使用，机器人对环境的三维感知能力不断增强，可以很方便地采集到目标物的多模态数据。但在实际环境中，传感器获取的图像并不只包含目标物体，还包含复杂背景或其他干扰物体，因此对机器人来讲，要完成目标检测与抓取位姿估计两项任务。目前基于深度学习的目标检测方法是最先进的方法，但该方法虽然能正确检测到目标，却无法保证用于定位的矩形框完全包含目标，这将导致用矩形框来分割点云时会丢失部分目标点云。对于用高精度深度相机获取的稠密点云而言，丢失小部分点云对后续的目标模型拟合与位姿估计影响不大，但高精度深度相机价格昂贵，对生产厂家意味着高昂的生产成本。低精度深度相机价格便宜，但获取的点云稀疏，少量点云的丢失会严重降低抓取位姿估计精度，导致抓取失败。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种利用低精度深度相机高精度抓取形状对称工件的方法。本专利技术的目的可以通过以下技术方案来实现：一种利用低精度深度相机高精度抓取形状对称工件的方法，包括以下步骤：1)在抓取坐标系O-XYZ中对生产线抓取区运送工件料盘进行位置测定；2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次转换矩阵T1；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件点云估计抓取位姿。所述的步骤4)具体包括以下步骤：41)采用相机从多个角度拍摄多种遮挡情况下的工件的2DRGB图像；42)在图像上标注出每个工件的外接矩形框并生成训练样本库；43)选择卷积神经网络框架SSD作为工件检测网络模型框架；44)根据训练样本库，采用参数调优的方式训练工件检测网络模型。所述的步骤5)具体包括以下步骤：51)采用深度相机获取生产线抓取区范围的2DRGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；52)利用训练好的工件检测网络模型从2DRGB图像上检测工件，并采用2D矩形框表示工件位置和大小；53)根据深度相机标定参数，配准2DRGB图像和2D深度图像，将2DRGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。所述的步骤6)具体包括以下步骤：61)根据步骤53)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；62)以料盘所在位置为中心，根据工件大小定义3D虚拟矩形框，从3D抓取区观测点云中分割出第二工件观测点云；63)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生成，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云；所述的步骤7)具体包括以下步骤：71)对优化后的工件观测点云采用RANSAC算法获取工件的中心轴线方向；72)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的齐次转换矩阵T2；73)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；74)通过旋转、平移将工件模型点云坐标系O”-X”Y”Z”与抓取坐标系O-XYZ重合；75)采用ICP算法，以T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点列出n个方程，采用最小二乘求解得到更新后的T3，利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于设定的阈值，则将更新后的T3作为初值，并重复以上过程，若小于阈值则停止迭代；76)经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′G，y′G，z′G)后，计算机械臂抓取工件的位置坐标抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。所述的步骤76)中，机械臂抓取工件的位置坐标的计算式为：与现有技术相比，本专利技术具有以下优点：一、降低运行时间：本专利技术选取轻量级SSD神经网络模型进行2D目标检测，可以有效降低目标检测算法运行时间。二、提高点云完整性：集成料盘位置信息和2D目标检测结果分割工件观测点云，可以有效提高工件观测点云的完整性，为后续的高精度位姿估计提供保障。三、提高拟合成功率：利用工件观测点云直接拟合中心轴线，而不是拟合工件形状，能有效避免小工件因点云稀疏造成的拟合失败；四、估计速度快精度高：通过前述工件观测点云坐标系和工件模型点云坐标系的定义方式，以T3作为ICP初值进行迭代，可以在有限次迭代后达到收敛，实现快速高精度位姿估计。本专利技术可以利用用户级低精度深度相机作为视觉引导机械臂抓取时，达到工业级高精度深度相机视觉引导的抓取精度，并且抓取速度和系统稳定性满足工业生产要求。附图说明图1为利用低精度深度相机从生产线料盘中快速高精度抓取形状对称工件的机械臂抓取方法流程图。图2为3D工件模型点云。图3为标注每个工件的外接矩形框示意图。图4为2DRGB图像上标注2D矩形框示意图。图5为优化后的工件观测点云。图6为配准后工件观测点云与工件模型点云示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。如图1所示，本专利技术提供一种利用低精度深度相机高精度抓取形状对称工件的方法，该方法可分七部分：1)在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定；2)对机械臂抓取系统进行手眼标定；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件观测点云估计抓取位姿。第一部分，在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定，具体过程如下：(1)定义抓取坐标系O-XYZ；(2)在抓取区料盘中垂直放入工件，通过人工操控机械臂抓取工件，获得工件抓取点在抓取坐标系O-XYZ中的坐标(3)量取工件抓取点离料盘的高度，再根据工件的大小尺寸，算出料盘中心点在抓取坐标系O-XYZ中的坐标。第二部分，机械臂抓取系统中的手眼标定，具体过程如下：(1)每次人工操作抓取工件的同时，通过深度相机拍摄抓取工件的RGB图像和深度图像，获取工件抓取点在相机本文档来自技高网...

【技术保护点】
1.一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，包括以下步骤：1)在抓取坐标系O‑XYZ中对生产线抓取区运送工件料盘进行位置测定；2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次坐标转换矩阵T1；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件观测点云估计抓取位姿。

【技术特征摘要】
1.一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，包括以下步骤：1)在抓取坐标系O-XYZ中对生产线抓取区运送工件料盘进行位置测定；2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次坐标转换矩阵T1；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件观测点云估计抓取位姿。2.根据权利要求1所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤4)具体包括以下步骤：41)采用相机从多个角度拍摄多种遮挡情况下的工件的2DRGB图像；42)在图像上标注出每个工件的外接矩形框并生成训练样本库；43)选择卷积神经网络框架SSD作为工件检测网络模型框架；44)根据训练样本库，采用参数调优的方式训练工件检测网络模型。3.根据权利要求1所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤5)具体包括以下步骤：51)采用深度相机获取生产线抓取区范围的2DRGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；52)利用训练好的工件检测网络模型从2DRGB图像上检测工件，并采用2D矩形框表示工件位置和大小；53)根据深度相机标定参数，配准2DRGB图像和2D深度图像，将2DRGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。4.根据权利要求3所述的一种利用低精度深度相机高精度抓取形状对称工件的方法，其特征在于，所述的步骤6)具体包括以下步骤：61)根据步骤53)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；62)以料盘所在位置为中心，根据工件大小定义3D虚拟矩形框，从3D抓取区观测点云中分割出第二工件观测...

【专利技术属性】
技术研发人员：王建梅，张绍明，尹航，张燊，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31