一种基于RGBD相机的堆叠工件姿态识别及拾取方法技术

本发明专利技术涉及一种基于RGBD相机的堆叠工件姿态识别及拾取方法，包括以下步骤：1)对RGBD相机内参数进行标定；2)根据预先获得的待抓取工件的3D模型进行训练，生成用以匹配的2D模型；3)利用RGBD相机获取待识别工件的RGB图像和深度图像，获取出待抓取工件的轮廓信息；4)获取待抓取工件在图像像素坐标系中的二维位置信息以及在相机坐标系下的六自由度位姿；5)获取待抓取工件在机器人坐标系下的六自由度位姿；6)控制六轴机器人对待抓取工件进行拾取。与现有技术相比，本发明专利技术利用成本低廉的RGBD相机，结合RGB以及深度信息，实现对散乱堆叠、各种类型的工件的姿态识别和抓取，精度高、成本低、适应性强，能够适应工业生产的需求。

【技术实现步骤摘要】
一种基于RGBD相机的堆叠工件姿态识别及拾取方法
本专利技术涉及智能机器人领域，尤其是涉及一种基于RGBD相机的堆叠工件姿态识别及拾取方法。
技术介绍
随着机器人与人工智能技术如火如荼的发展，工业流水线也越来越向着自动化的方向发展，国外的工业4.0战略和我国的“中国制造2025”，都对机器人与人工智能技术在工业领域的应用提出了很高的要求。在某些工业生产线中，我们需要对杂乱无章堆叠的、形态各异的工业零件进行分类和拾取，传统的工业生产线上依靠人力进行分拣的方式效率低、人力成本较高，越来越多的企业希望通过机器人去替代人力，实现工业零件的分类和拾取。目前存在一些针对工件抓取的专利，但现存的针对工件抓取的专利来看，存在着或多或少的缺陷，往往无法适应复杂的工业应用场景，针对不同类型工件的鲁棒性和适应性不强。从目前传感器的选用来看，主流是激光传感器和以工业摄像头为代表的视觉传感器。众所周知，虽然激光传感器能够获得高精度的数据，但鉴于其价格昂贵，从成本考虑，基于激光传感器的工件抓取解决方法并不适合在工业界的大规模推广。相比之下，以普通摄像机为代表的视觉传感器，成本更低，以此为传感器的工业工件抓取的解决方法更适应工业界的应用。在现有基于视觉传感器的工业工件抓取方法中，有相当一部分针对的是平面空间中的视觉定位，即仅使用CCD摄像头，采集正对目标工件的平面图片，使用传统的图像处理与识别技术，例如灰度变换、图像二值化、边缘检测、模板匹配等，而且对盛放工件的平台背景颜色具有较高的要求，要求背景单一等等，从而识别出待测工件的简单轮廓，使用外接矩形的方法来进行定位与平面旋转角度的判断。此类方法的工业应用前景有限，在背景杂乱或者工件堆叠的情况下，通过边缘检测、模板检测的传统的图像处理方法，是很难将视野中的工件进行识别的；与此同时，边缘检测等算法中存在一些需要人工调节的参数，对于不同的抓取对象即不同形状、不同尺寸、甚至是多种类型工件混杂的情况往往难以适应。另有基于双目视觉的工件抓取解决方法，利用双目视觉的解决方法，在一定程度上克服了单目视觉的弊端，可以在三维空间内对待抓取工件的位姿进行估计，但目前基于双目视觉的解决方法，其本质仍然是在单张的单目视觉图片中进行模板匹配，然后将双目摄像头的信息加以融合，以此仍然无法很好地解决工件混乱堆叠的问题。另外，采用双目视觉的方法，需要进行双目标定，双目标定的误差对最终工件识别和位姿估计的误差产生很大的影响。综上所述，传统的解决方法或价格昂贵，或仅能得到工件的二维平面姿态，或是算法的准确性和鲁棒性不强，无法适应复杂的工业应用场景，无法保证对各种形状、各种类型的工件都能准确识别和解算位姿，无法满足工业生产的需求。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于RGBD相机的堆叠工件姿态识别及拾取方法。本专利技术的目的可以通过以下技术方法来实现：一种基于RGBD相机的堆叠工件姿态识别及拾取方法，包括以下步骤：1)对RGBD相机内参数进行标定，并且进行机器人与相机的手眼标定；2)根据预先获得的待抓取工件的3D模型进行训练，模拟全方位摄像头进行全视角扫描，生成用以匹配的2D模型；3)利用RGBD相机获取待识别工件的RGB图像和深度图像，将RGB图像与训练好的2D模型进行匹配，获取出待抓取工件的轮廓信息及粗略位姿信息；4)获取待抓取工件在图像像素坐标系中的二维位置信息以及在相机坐标系下精确的六自由度位姿；5)根据手眼标定和相机坐标系下六自由度位姿进行坐标转换获取待抓取工件在机器人坐标系下的六自由度位姿；6)根据机器人坐标系下的六自由度位姿，控制六轴机器人对待抓取工件进行拾取。所述的步骤3)具体为：采用两级多尺度金字塔穷举算法分别根据姿态范围和图像尺寸将RGB图像与2D模型进行匹配，框选出待抓取工件的轮廓信息，包括抓取工件的重心在像素坐标系中的二维位置信息；所述的步骤4)具体包括以下步骤：41)根据待抓取工件在图像像素坐标系中的重心点通过相机参数进行坐标变换，同时结合深度图像的深度信息，获得其在摄像机坐标系中XYZ轴的物理坐标；42)以重心点作为参考点获取待抓取工件的边界角点在摄像机坐标系中的物理坐标，确定待抓取工件的中轴线，通过平面投影和深度信息采用最小二乘法拟合出中轴线的直线方程，得到摇摆、俯仰和偏转三个方向的角度，最终获取待抓取工件在摄像机坐标系下的六自由度位姿量。所述的步骤5)中，通过手眼标定获取机器人坐标系到相机坐标系的变换矩阵具体为：将标定板固定在机器人的末端执行器上，摄像头位置固定，控制末端执行器移动位置，改变标定板在摄像机坐标系中的位置，并记录末端执行器的位姿以及标定板在摄像头坐标系下的位姿，进而利用标定算法得获取机器人坐标系到相机坐标系的变换矩阵。所述的待抓取工件为圆柱状的金属轴承。所述的3D模型通过手动测量获取或通过SolidWorks绘制得到。所述的步骤4)还包括以下步骤：根据待抓取工件的自身位置信息以及堆叠的不同工件之间的相对位置关系，将匹配识别出的轮廓图内二维区域与参考模板在该姿态下的二维视图进行对比，遍历该区域内的像素，获取工件未被覆盖区域与轮廓区域总像素的比值，得到近似表示工件可视度的分数值，对可视度的分数值进行排序将堆叠的工件进行排序识别，实现从工件堆由上至下的识别和抓取。与现有技术相比，本专利技术具有以下优点：一、利用RGB图像与深度信息配合来获取检测区域内工件的信息；二、使用图形学算法，通过对给定工件的CAD模型进行训练，实现从RGB图像中识别出给定的工件，得到其二维位置信息；三、利用相机参数以及2中获得的位置信息，解算出工件在空间中的六自由度位姿，实现配合机械臂的抓取；四、识别匹配的处理时间较短，可以实现快速的姿态定位与抓取，在实际工业生产中能得到较高的效率；五、识别匹配具有较高的精度，并且能够通过判断深度信息来进行排序定位，优先识别匹配散乱堆砌的工件堆中表面便于抓取的工件，实现成堆工件的有序识别；六、识别匹配的过程具有较强的抗干扰性；七、采用廉价的RGBD相机作为工件抓取解决方法的传感器，价格低廉，有利于在工业界的大规模推广；八、基于CAD模型的匹配思路使其在实际应用中拥有很高的适应性和迁移性，能够适应各种形状的工件，并可随时调整。附图说明图1为本专利技术的方法流程图。图2为本专利技术的框架流程图。图3为模拟全视角扫描图。图4为摄像头获得的模拟图像。图5为工件的坐标参数示意图。图6为匹配过程框架图。图7为图像生成流程图。图8为像素坐标系、物理坐标系及其相互关系图。图9为轴承角点示意图。图10为轴承抓取点计算示意图。图11为手眼标定示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。实施例针对以上问题和需求，本专利技术提出一种基于RGBD相机的堆叠工件姿态识别及拾取方法，对已经加工完成但未进行分类整理的工业零件进行姿态识别，应用场景包括零件堆叠状态下的拾取与分类、零件单个传输过程中的定位拾取等。检测给定区域内符合指定模型的工件，将其识别并进行姿态的估计，得到工件质心的空间坐标，以及工件在检测区域内相对于指定模型姿态的俯仰角度以及旋转角度。通过和机械臂的配合工作，实现工件的定位抓取以及分类的功能。如图1所示，本专利技术提供一种基于RGBD相机的堆叠工件姿本文档来自技高网...

【技术保护点】
1.一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，包括以下步骤：1)对RGBD相机内参数进行标定，并且进行机器人与相机的手眼标定；2)根据预先获得的待抓取工件的3D模型进行训练，模拟全方位摄像头进行全视角扫描，生成用以匹配的2D模型；3)利用RGBD相机获取待识别工件的RGB图像和深度图像，将RGB图像与训练好的2D模型进行匹配，获取出待抓取工件的轮廓信息；4)获取待抓取工件在图像像素坐标系中的二维位置信息以及在相机坐标系下的六自由度位姿；5)根据手眼标定和相机坐标系下六自由度位姿进行坐标转换获取待抓取工件在机器人坐标系下的六自由度位姿；6)根据机器人坐标系下的六自由度位姿，控制六轴机器人对待抓取工件进行拾取。

【技术特征摘要】
1.一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，包括以下步骤：1)对RGBD相机内参数进行标定，并且进行机器人与相机的手眼标定；2)根据预先获得的待抓取工件的3D模型进行训练，模拟全方位摄像头进行全视角扫描，生成用以匹配的2D模型；3)利用RGBD相机获取待识别工件的RGB图像和深度图像，将RGB图像与训练好的2D模型进行匹配，获取出待抓取工件的轮廓信息；4)获取待抓取工件在图像像素坐标系中的二维位置信息以及在相机坐标系下的六自由度位姿；5)根据手眼标定和相机坐标系下六自由度位姿进行坐标转换获取待抓取工件在机器人坐标系下的六自由度位姿；6)根据机器人坐标系下的六自由度位姿，控制六轴机器人对待抓取工件进行拾取。2.根据权利要求1所述的一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，所述的步骤3)具体为：采用两级多尺度金字塔穷举算法分别根据姿态范围和图像尺寸将RGB图像与2D模型进行匹配，框选出待抓取工件的轮廓信息，包括抓取工件的重心在像素坐标系中的二维位置信息。3.根据权利要求2所述的一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，所述的步骤4)具体包括以下步骤：41)根据待抓取工件在图像像素坐标系中的重心点通过相机参数进行坐标变换，同时结合深度图像的深度信息，获得其在摄像机坐标系中XYZ轴的物理坐标；42)以重心点作为参考点获取待抓取工件的边界角点在摄像机坐标系中的物理坐标，确定待抓取工件的中轴...

【专利技术属性】
技术研发人员：陈启军，李树，王德明，颜熠，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31