基于机器视觉的机器人无序抓取方法和系统及存储介质技术方案

本发明专利技术公开了一种基于机器视觉的机器人无序抓取方法及系统。通过搭建kinect相机及机器人的抓取系统，利用所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；根据所述手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取。通过分析机器人无序抓取过程中的算法不足，通过改进现有的算法，以适应机器人所处的复杂环境，以此提高了机器人的无序抓取的精确度以及机器人的柔性度。

【技术实现步骤摘要】
基于机器视觉的机器人无序抓取方法和系统及存储介质
本专利技术涉及机器人视觉系统
，尤其涉及3D无序抓取的方法、系统和存储介质。
技术介绍
随着机器人市场的迅速扩展和机器人技术的迅速成熟，工业机器人产业迎来了前所未有的良好发展机遇，原本以人为主导的生产模式，逐渐向以工业机器人为主导的生产模式转变。工业机器人的大量运用，促进了我国工业从“制造大国”向“智造强国”的快速转变。然而，在机器人作业过程中，如何对随意堆放的零部件或者货物进行准确的抓取，成为目前研究的热点问题。在现有技术中，生产线上的机器人大多是通过示教再现或者预编程来实现各种操作，要完成零件的抓取、放置工作必须要经过精确的逐点示教，有很大的局限性、柔性较差。因此，在机器人作业过程中，如何提高对随意堆放的零部件或者货物进行准确的抓取，即如何利用3D视觉系统提高目标抓取物的识别精度和效率，进而提高机器人的“柔性”，是本领域中迫切需要解决的技术问题。
技术实现思路
有鉴于此，为了解决现有技术的问题，提高目标抓取物的识别精度和效率，本专利技术提供一种基于机器视觉的机器人无序抓取的方法、系统和存储介质。该方法主要基于图像处理算法和人工智能算法，通过对采集到的深度图像进行图像修复、采用结合FastR-CNN和网络空间迭代的目标点云检测、利用基于欧式距离的聚类算法对点云数据进行分割、采用粗细配准结合的方式实现点云数据的关键点特征提取、匹配，进而实现目标物体的位姿信息识别，在对现有技术中常规的无序抓取流程中的多个实施过程中的不足进行改进，以此提高了机器人的无序抓取的精确度以及机器人的柔性度。为解决上述技术问题及达到上述技术效果，本专利技术提供了一种基于机器视觉的机器人无序抓取方法，其主要包括如下步骤：1）、搭建kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；2）、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；3）、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；4）、根据所述的手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取；为了实现上述方法，本专利技术还提供了一种基于机器视觉的机器人无序抓取系统，该系统包括：图像采集模块、目标位姿估计模块、手眼系统标定模块、机器人抓取模块。其中，所述图像采集模块，采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；所述目标物体位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；所述手眼系统标定模块，用于依据搭建的kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼系统标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取；其中，对于该方法中的各个步骤的具体实施过程如下：步骤1）的机器人手眼标定包括如下过程：在相机标定过程中，设定的坐标系包括图像坐标系，相机坐标系和世界坐标系；其中，图像坐标系包括图像像素坐标系以及图像成像平面坐标系；通过求解相机的内参矩阵和外参矩阵构成的透视投影矩阵，完成相机的标定；采用Eye-to-hand的相机安装方式构建视觉系统，先让机器人末端处于不同姿态，对相机与靶标的外参数进行求取，与此同时，记录不同姿态下机器人末端的位置和姿态信息，通过线性矩阵变换，求解相机相对于机器人坐标系的外参，进而实现机器人手眼系统的标定。步骤2）的获取目标物体表面的图像数据包括如下步骤：利用kinect传感器自身的深度图像获取散乱零件的空间轮廓；图像中每个点的像素值表示空间中对应点到红外摄像机的深度距离，结合小孔成像原理，即可获得目标零件的三维点云数据；传感器自身的深度图像获取散乱零件的空间轮廓；图像中每个点的像素值表示空间中对应点到红外摄像机的深度距离，结合小孔成像原理，即可获得目标零件的三维点云数据；步骤3）的对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息包括如下步骤：31）目标检测：采集的深度图像经过上述步骤2）的预处理后，作为目标检测输入图像，将深度图通过卷积过滤器生成特征图，并作为FastR-CNN网络输入进行训练；在FastR-CNN网络的ROI层后增加网络迭代层，同时对所述ROI层像素数据进行复制，对所述复制的像素数据进行近似变换获得与原数据近似的像素数据，优化网络结构；具体过程包括：将深度图按照坐标位置像素分割，转换为特征图的三个通道，然后通过CNN提取特征，特征图三个通道分别为水平方向视差、距离地面的高度、法向量与重力的夹角；在FastR-CNN网络结构的基础上，将网络迭代层加在FastR-CNN的ROI层之后，使得提取的特征经过网络迭代层后具有一定的旋转不变性，对所述ROI层像素数据进行复制变换，优化网络结构；32）目标分割和目标聚类包括如下步骤：对输入的点云集D先选用三维KD树建立离散点之间的拓扑关系；新建一个缓存队列P；将点Di放入缓存队列P中，对于每个点Di，用k近邻搜索得到N个点，计算这N个点到Di的欧氏距离，将这N个点中到Di的距离小于阈值n的点放在缓存队列P中；在点云集D中，所有点均执行上述过程，当缓存队列P中不再有新的点加入时，迭代过程结束；其中，最大迭代次数、近邻搜索半径、聚类点数、距离阈值按照实际应用场景灵活设置。33）关键点特征提取、匹配，识别目标物体，获得目标物体的位姿信息，包括如下步骤：在特征提取与初步配准阶段，先对模板及目标物体使用ISS-3D算法进行关键点提取，再用SHOT特征进行匹配，使用KD树计算模板点云特征集中离它距离最近的某个特征，从而获得一个匹配集合；其中，所述模板是通过离线拍摄的单个物体，然后去除载物平面进行建立的，模板的初始位姿是利用相机采集模板数据时，物体在机器人基坐标系下的实际位姿，再结合手眼标定结果获得的；在匹配过程中，使用聚类方法会产生一个或多个匹配结果，所以需要用全局假设检验的方法取一个最优的匹配结果；经过特征点匹配属于粗配准，之后可以使用经典的迭代最近点（ICP）的方法进行细配准，配准完成后，完成当前目标的识别，获得其位姿信息。34）控制机器人抓取的过程包括如下步骤：在获得目标物体在相机下的位姿信息后，需要把目标物体的位姿信息从相机坐标系下转换到机器人坐标系下，最终获得目标物体在机器人下的位姿，发出控制指令引导机器人进行抓取与摆放。与现有技术相比，本专利技术的有益效果为：...

【技术保护点】
1.一种基于机器视觉的机器人无序抓取系统，其特征在于：/n所述系统包括：图像采集模块、目标位姿估计模块、手眼系统标定模块、机器人抓取模块；/n其中，所述图像采集模块，采用标定完成的kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；/n所述目标位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；/n所述手眼系统标定模块，用于依据搭建的kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；/n所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼系统标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取。/n

【技术特征摘要】
1.一种基于机器视觉的机器人无序抓取系统，其特征在于：
所述系统包括：图像采集模块、目标位姿估计模块、手眼系统标定模块、机器人抓取模块；
其中，所述图像采集模块，采用标定完成的kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
所述目标位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；
所述手眼系统标定模块，用于依据搭建的kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；
所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼系统标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取。


2.一种如权利要求1所述系统执行的基于机器视觉的机器人无序抓取方法，其特征在于，所述方法包括如下步骤：
1）、搭建kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；
2）、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；
3）、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；
4）、根据所述的手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取；
所述步骤1）具体包括如下步骤：
11）、在相机标定过程中，设定的坐标系包括图像坐标系，相机坐标系和世界坐标系；其中，图像坐标系包括图像像素坐标系以及图像成像平面坐标系；
12）、通过求解相机的内参矩阵和外参矩阵构成的透视投影矩阵，完成相机的标定；
13）、采用Eye-to-hand的相机安装方式构建视觉系统，先让机器人末端处于不同姿态，对相机与靶标的外参数进行求取，与此同时，记录不同姿态下机器人末端的位置和姿态信息，通过矩阵变换，求解相机相对于机器人坐标系的外参，进而实现机器人手眼系统的标定；
其中，所述步骤2）的预处理过程包括如下步骤：
21）、利用滤波去除噪声；
22）、采用联合双边滤波填补图像中的空洞；
23）、利用中值过滤减少图像边缘的突变；
24）、将处理的结果输入到卡尔曼滤波器中，计算出最终结果；
其中，所受步骤3）的对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息的具体包括如下步骤：
31）目标检测：采集的深度图像经过上述步骤2）的预处理后，作为目标检测输入图像，将深度图通过卷积过滤器生成特征图，并作为FastR-CNN网络输入进行训练；在FastR-CNN网络的ROI层后增加网络迭代层，同时对所述ROI层像素数据进...

【专利技术属性】
技术研发人员：甘亚光，张晓龙，甘亚辉，刘元建，廖连莹，
申请(专利权)人：纳博特南京科技有限公司，
类型：发明
国别省市：江苏;32