基于机器视觉的机器人无序抓取方法和系统及存储介质技术方案

本发明专利技术公开了一种基于机器视觉的机器人无序抓取方法及系统。通过搭建kinect相机及机器人的抓取系统，利用所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；根据所述手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取。通过分析机器人无序抓取过程中的算法不足，通过改进现有的算法，以适应机器人所处的复杂环境，以此提高了机器人的无序抓取的精确度以及机器人的柔性度。

【技术实现步骤摘要】
基于机器视觉的机器人无序抓取方法和系统及存储介质
本专利技术涉及机器人视觉系统
，尤其涉及3D无序抓取的方法、系统和存储介质。
技术介绍
随着机器人市场的迅速扩展和机器人技术的迅速成熟，工业机器人产业迎来了前所未有的良好发展机遇，原本以人为主导的生产模式，逐渐向以工业机器人为主导的生产模式转变。工业机器人的大量运用，促进了我国工业从“制造大国”向“智造强国”的快速转变。然而，在机器人作业过程中，如何对随意堆放的零部件或者货物进行准确的抓取，成为目前研究的热点问题。在现有技术中，生产线上的机器人大多是通过示教再现或者预编程来实现各种操作，要完成零件的抓取、放置工作必须要经过精确的逐点示教，有很大的局限性、柔性较差。因此，在机器人作业过程中，如何提高对随意堆放的零部件或者货物进行准确的抓取，即如何利用3D视觉系统提高目标抓取物的识别精度和效率，进而提高机器人的“柔性”，是本领域中迫切需要解决的技术问题。
技术实现思路
有鉴于此，为了解决现有技术的问题，提高目标抓取物的识别精度和效率，本专利技术提供一种基于机本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的机器人无序抓取系统，其特征在于：/n所述系统包括：图像采集模块、目标位姿估计模块、手眼系统标定模块、机器人抓取模块；/n其中，所述图像采集模块，采用标定完成的kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；/n所述目标位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；/n所述手眼系统标定模块，用于依据搭建的kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；/n所...

【技术特征摘要】
1.一种基于机器视觉的机器人无序抓取系统，其特征在于：
所述系统包括：图像采集模块、目标位姿估计模块、手眼系统标定模块、机器人抓取模块；
其中，所述图像采集模块，采用标定完成的kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
所述目标位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；
所述手眼系统标定模块，用于依据搭建的kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；
所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼系统标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取。


2.一种如权利要求1所述系统执行的基于机器视觉的机器人无序抓取方法，其特征在于，所述方法包括如下步骤：
1）、搭建kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；
2）、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
3）、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；
4）、根据所述的手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取；
所述步骤1）具体包括如下步骤：
11）、在相机标定过程中，设定的坐标系包括图像坐标系，相机坐标系和世界坐标系；其中，图像坐标系包括图像像素坐标系以及图像成像平面坐标系；
12）、通过求解相机的内参矩阵和外参矩阵构成的透视投影矩阵，完成相机的标定；
13）、采用Eye-to-hand的相机安装方式构建视觉系统，先让机器人末端处于不同姿态，对相机与靶标的外参数进行求取，与此同时，记录不同姿态下机器人末端的位置和姿态信息，通过矩阵变换，求解相机相对于机器人坐标系的外参，进而实现机器人手眼系统的标定；
其中，所述步骤2）的预处理过程包括如下步骤：
21）、利用滤波去除噪声；
22）、采用联合双边滤波填补图像中的空洞；
23）、利用中值过滤减少图像边缘的突变；
24）、将处理的结果输入到卡尔曼滤波器中，计算出最终结果；
其中，所受步骤3）的对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息的具体包括如下步骤：
31）目标检测：采集的深度图像经过上述步骤2）的预处理后，作为目标检测输入图像，将深度图通过卷积过滤器生成特征图，并作为FastR-CNN网络输入进行训练；在FastR-CNN网络的ROI层后增加网络迭代层，同时对所述ROI层像素数据进...

【专利技术属性】
技术研发人员：甘亚光，张晓龙，甘亚辉，刘元建，廖连莹，
申请(专利权)人：纳博特南京科技有限公司，
类型：发明
国别省市：江苏;32