一种3D视觉识别取放系统及方法技术方案

本发明专利技术提供了一种3D视觉识别取放系统及方法，属于视觉引导机器人的技术领域。该系统包括通讯连接的3D视觉单元、位姿运算单元和取放单元，3D视觉单元投射编码图案及对不规则工件进行拍摄，并采集获得图像，利用标定的参数对编码图案进行解码以获得场景点云；模板库模块创建不同位姿下的不规则工件的模板点云，将场景点云与模板点云进行匹配以获得匹配参数，位姿计算模块根据输入匹配参数计算出抓取位姿及放置位姿，以实现取放单元抓取及放置不规则工件。该系统及方法有效解决不规则工件因缺乏视觉特征易出现匹配困难，导致匹配误差较大，甚至匹配失败的问题，从而提高对不规则工件的高精度、高速度及高稳定性的取放操作。高速度及高稳定性的取放操作。高速度及高稳定性的取放操作。

【技术实现步骤摘要】
一种3D视觉识别取放系统及方法


[0001]本专利技术属于视觉引导机器人的
，具体地涉及一种3D视觉识别取放系统及方法。

技术介绍

[0002]随着技术的发展，机器人将逐渐替代人类来完成一些简单、重复、低智力要求的工作。视觉引导机器人抓取技术在工业上的应用越来越广泛，应用场景也在日益丰富，诸如在机器装配、零部件分拣、上下料分类等工业过程中。传统视觉引导机器人抓取应用主要集中在基于2D视觉检测的固定平面上的目标物体抓取上，2D视觉检测方法能提供的零件位姿信息有限，通常只能将零件限定在一个固定的测量深度上进行检测。然而，当抓取的不规则物品面临着遮挡、物体堆叠等问题，在这些复杂的情况下对目标进行高精度、高速度、高稳定性的计算位置姿态是机械臂抓取面临的巨大的挑战。
[0003]随着三维技术的提高，三维物体识别算法也得到迅速的发展，使得识别和定位点云数据或深度图像中的目标物体变得越来越稳定有效。目前，3D视觉检测方法，通过双目传感器使用两个相机得到3D点云，两个相机须在同一时刻获取有重叠区域的图像，之后检测两幅图像的特征点，并使用立体匹配算法找到匹配像素点，然后根据相机之间的几何约束获取视差信息，通过极线约束本征矩阵与基础矩阵后编可计算出2D像素点对应的摄像机坐标系下的3D点。但是，对于不规则形状的工业品，其缺乏视觉特征易出现匹配困难，导致匹配误差较大，甚至匹配失败，从而影响对不规则形状工业品的高精度、高速度及高稳定性的取放操作。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供了一种3D视觉识别取放系统及方法，通过所述发射模块投出编码图案，所述接收模块对所述不规则工件进行拍摄并采集获得的图像输至所述解码模块，所述解码模块利用标定的参数对所述编码图案进行解码，以获得场景点云；将所述场景点云与所述模板点云进行匹配以获得匹配参数，所述匹配参数输入所述位姿计算模块精确计算出抓取位姿及放置位姿，以实现精确抓取及放置所述不规则工件。
[0005]本专利技术实施例提供一种3D视觉识别取放系统，具体技术方案如下：
[0006]一种3D视觉识别取放系统，应用于控制不规则工件的抓取及放置；其包括：
[0007]3D视觉单元，用于生成被识别的所述不规则工件的场景点云；
[0008]位姿运算单元，用于获取匹配参数并计算出所述不规则工件的位姿点云；
[0009]取放单元，用于抓取所述不规则工件；所述位姿运算单元分别与所述3D视觉单元及所述取放单元通讯连接；
[0010]其中，所述3D视觉单元包括发射模块、接收模块和解码模块，所述发射模块投出编码图案，所述接收模块对所述不规则工件进行拍摄，并将采集的图像输至所述解码模块，所述解码模块利用标定的参数对所述编码图案进行解码，以获得场景点云；
[0011]所述位姿运算单元包括模板库模块、模板匹配模块和位姿计算模块，所述模板库模块用于创建不同位姿下的所述不规则工件的模板点云，将所述场景点云与所述模板点云进行匹配以获得匹配参数，所述位姿计算模块用于根据所述匹配参数计算出抓取位姿及放置位姿，所述取放单元用于根据所述抓取位姿及所述放置位姿对所述不规则工件进行抓取及放置。
[0012]相对于现有技术，本专利技术的系统有益效果为：通过所述发射模块及所述接收模块组成的立体视觉系统，经所述发射模块投出编码图案，所述接收模块进行拍摄并将采集到的图像传到所述解码模块进行处理，利用标定的参数对编码图案进行解码，得到所述场景点云；之后经所述位姿运算单元进行所述模板点云获取、去噪、分割、表面模板匹配等步骤计算出所述抓取位姿及所述放置位姿；获取所述抓取位姿及所述放置位姿传送至所述取放单元，完成精确的抓取动作并将抓取的不规则工件放置在指定位置。
[0013]较佳地，所述发射模块发射的光线在所述不规则工件的表面发生形变，以形成变化的光信号，所述3D视觉用于根据所述光信号的变化，结合所述发射模块及所述接收模块形成几何约束，所述解码模块对形成的几何约束进行解码后得出所述不规则工件的三维空间的坐标。
[0014]较佳地，所述位姿运算单元还包括点云去噪模块，用于去除所述场景点云的背景及离群点，以利于所述场景点云与所述模板点云的匹配。
[0015]较佳地，所述模板库模块在离线环境下创建，所述模板点云使用SolidWorks三维制图软件生成三维工件模型，其利用模板点云库中的库函数pcl_mesh_sampling.exe对三维模型每个面整体点云采样来获得，并保存为stl或obj格式文件。
[0016]较佳地，所述模板匹配模块对所述场景点云与所述模板点云之间进行匹配处理，得出匹配的旋转平移矩阵，用以获得匹配参数。
[0017]较佳地，所述位姿计算模块采用所述3D视觉单元、所述模板库模块及所述取放单元之间的转换矩阵计算出所述取放单元抓取及放置所述不规则工件所需的所述抓取位姿及所述放置位姿。
[0018]较佳地，所述取放单元包括机械臂模块和执行器模块；所述取放单元接收所述抓取位姿时，所述机械臂模块按照确定姿态到达指定位置后，所述执行器模块打开完成所述不规则工件的抓取；所述取放单元接收所述放置位姿时，通过起始姿态与终点姿态完成路径规划，以使抓取的所述不规则工件放置至指定位置。
[0019]较佳地，所述执行器模块采用碰撞测试，以防止其与承载所述不规则工件的平台产生碰撞。
[0020]本专利技术的另一个实施例提供一种3D视觉识别取放方法，具体技术方案如下：
[0021]一种3D视觉识别取放方法，应用于实现不规则工件抓取及放置的控制，其包括以下步骤：
[0022]所述3D视觉单元接收被观测的所述不规则工件的场景图像，基于该场景图像重建得到所述不规则工件的所述场景点云；
[0023]所述模板库模块导入所述不规则工件的三维工件模型，生成所述模板点云；
[0024]所述模板匹配模块将所述场景点云与所述模板点云进行匹配处理以获得匹配参数；
[0025]获得的所述匹配参数输入所述位姿计算模块，经其计算获得所述抓取位姿及所述放置位姿；
[0026]获得所述抓取位姿及所述放置位姿传输至所述取放单元，以实现所述不规则工件的抓取及放置。
[0027]较佳地，所述所述3D视觉单元接收被观测的所述不规则工件的场景图像，基于该场景图像重建得到所述不规则工件的所述场景点云的步骤之后，所述方法还包括：
[0028]对所述场景点云进行滤波处理。
[0029]相对于现有技术，本专利技术的方法有益效果为：通过所述3D视觉单元组成的立体视觉系统，对不规则工件进行投出编码图案，且拍摄采集图像，利用标定的参数对编码图案进行解码得到所述场景点云；通过离线创建不规则工件的模板库获得所述模板点云，将所述场景点云与所述模板点云进行匹配以获得所述匹配参数，所述匹配参数输入所述位姿计算模块精确计算出抓取位姿及放置位姿；获得所述抓取位姿及所述放置位姿传输至所述取放单元，以实现精确抓取及放置所述不规则工件；该方法有效解决不规则工件因缺乏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D视觉识别取放系统，应用于控制不规则工件的抓取及放置；所述3D视觉识别系统包括：3D视觉单元，用于生成被识别的所述不规则工件的场景点云；位姿运算单元，用于获取匹配参数并计算出所述不规则工件的位姿点云；取放单元，用于抓取及放置所述不规则工件；其特征在于，所述位姿运算单元分别与所述3D视觉单元及所述取放单元通讯连接；其中，所述3D视觉单元包括发射模块、接收模块和解码模块，所述发射模块投出编码图案，所述接收模块对所述不规则工件进行拍摄，并将采集的图像输至所述解码模块，所述解码模块利用标定的参数对所述编码图案进行解码，以获得场景点云；所述位姿运算单元包括模板库模块、模板匹配模块和位姿计算模块，所述模板库模块用于创建不同位姿下的所述不规则工件的模板点云，将所述场景点云与所述模板点云进行匹配以获得匹配参数，所述位姿计算模块用于根据所述匹配参数计算出抓取位姿及放置位姿，所述取放单元用于根据所述抓取位姿及所述放置位姿对所述不规则工件进行抓取及放置。2.根据权利要求1所述的3D视觉识别取放系统，其特征在于，所述发射模块发射的光线在所述不规则工件的表面发生形变，以形成变化的光信号，所述3D视觉用于根据所述光信号的变化，结合所述发射模块及所述接收模块形成几何约束，所述解码模块对形成的几何约束进行解码后得出所述不规则工件的三维空间的坐标。3.根据权利要求1所述的3D视觉识别取放系统，其特征在于，所述位姿运算单元还包括点云去噪模块，用于去除所述场景点云的背景及离群点，以利于所述场景点云与所述模板点云的匹配。4.根据权利要求1所述的3D视觉识别取放系统，其特征在于，所述模板库模块在离线环境下创建，所述模板点云使用SolidWorks三维制图软件生成三维工件模型，其利用模板点云库中的库函数pcl_mesh_sampling.exe对三维模型每个面整体点云采样来获得，并保存为stl或obj格式文件。5.根据权利要求1所述的3D视...

【专利技术属性】
技术研发人员：聂志华，曹燕杰，
申请(专利权)人：江西省智能产业技术创新研究院，
类型：发明
国别省市：