一种机器人动态抓取方法及系统技术方案

本发明专利技术公开了一种机器人动态抓取方法及系统，该方法包括如下步骤：S1、实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；S2、利用基于多线索的模板跟踪算法确定前景目标区域；S3、采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；S4、采用随机采样一致性算法对视场内该物体的运动信息建模；S5、结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。本发明专利技术采用基于多线索的目标跟踪算法，能高效、准确地提取运动目标前景区域；本发明专利技术在机器人分拣的应用场景下，能有效的提高视觉运动目标跟踪算法的运行速度，实现高帧率实时识别，进而提高视觉伺服的精度。

A dynamic grasping method and system for robot

The present invention discloses a dynamic grasping method and system of a robot. The method includes the following steps: S1, receiving the acquisition image from the industrial camera in real time, preprocessing the obtained image; S2, using the template tracking algorithm based on multi cues to determine the foreground target area; S3, using the edge gradient based modulus. The plate matching algorithm is used to identify the foreground object accurately; S4, using random sampling consistency algorithm to model the motion information of the object in the field of view; S5, combined with camera calibration and hand eye calibration parameters, real-time feedback to the robot to carry out dynamic grasping. The invention uses multi clue target tracking algorithm to efficiently and accurately extract the foreground area of the moving target. In the application scene of the robot sorting, the invention can effectively improve the running speed of the visual motion target tracking algorithm, realize the real-time recognition of the high frame rate, and improve the accuracy of the visual servo.

【技术实现步骤摘要】
一种机器人动态抓取方法及系统
本专利技术涉及机器人视觉伺服
，具体涉及一种机器人动态抓取方法及系统。
技术介绍
食品、药品及电子制造行业的分拣工序是劳动密集型工作，近年来随着人力成本的提高及工业机器人成本的降低，越来越多的机器人被应用到流水线上的分拣工序中。机器人视觉伺服及动态抓取技术，是指通过工业相机实时采集真实物体的图像，通过目标跟踪或模式识别技术对待抓取物体进行跟踪及运动信息建模，反馈给机器人系统，做进一步的运动控制及路径规划以成功抓取物体。目前，计算机视觉领域的运动目标跟踪方法主要有光流法、帧间差分法及背景建模法等，工业分拣流水线上，由于其背景内容变化较小，适用于背景建模法，但运动目标跟踪算法只能确定存在运动物体，而无法识别精确计算出其物体中心及旋转角度；故工业上多采用基于区域特征(边缘梯度或灰度特征)的模板匹配算法进行物体识别，再结合速度及时间信息对待抓取物体进行跟踪建模。现有技术缺点：1)针对工业分拣流水线，采用基于背景建模的前景运动目标提取，其算法复杂度低，能高效地确定运动目标，但无法判断物体的类别及仿射变换；2)基于特征建模的二维模板匹配算法，能准确的对图像中存在物体进行分类，并计算其位置及旋转角度，但算法需对整张图片进行遍历查找，对于多种类目标的跟踪及抓取问题，算法的计算消耗极大，有限的计算资源下，难以实现高帧率实时识别，影响视觉伺服的精度。
技术实现思路
有鉴于此，为了解决现有技术中的上述问题，本专利技术提出一种机器人动态抓取方法及系统，利用工业相机采集生产线上实时图像，结合基于多线索建模的目标跟踪算法及基于边缘梯度的模板匹配算法，对待抓取目标进行识别及定位，并采用随机采样一致性算法对运动信息建模，结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。本专利技术通过以下技术手段解决上述问题：一种机器人动态抓取方法，包括如下步骤：S1、实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；S2、利用基于多线索的模板跟踪算法确定前景目标区域；S3、采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；S4、采用随机采样一致性算法对视场内该物体的运动信息建模；S5、结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。进一步地，步骤S1中，对所得图像进行预处理包括图像去噪及建立图像金字塔。进一步地，步骤S2具体包括：对采集图像金字塔的顶端图像，进行多线索码本模型的建模，“多线索”具体指图像区域纹理、色彩、区域轮廓距、区域面积特征的线索；先由纹理线索的码本模型建立候选区域，再经色彩、轮廓距及区域面积特征等线索依次对候选区域进行筛选；最终得到前景目标区域。进一步地，步骤S3具体包括：首先对各待抓取物体建立模板图像；其次对每一种模板图像，建立图像金字塔；然后对金字塔的每一层，利用边缘梯度算子建立基于边缘梯度的归一化特征，并对归一化特征进行旋转建模；执行模板匹配算法时，从特征金字塔的顶端自上而下对采集图像的前景目标区域进行匹配，得到特定种类物体的图像位置；所述边缘梯度算子包括Canny算子和Sobel算子。进一步地，步骤S4具体包括：工业分拣流水线上，随机采样一致性算法的输入是一组观测数据，包括待抓取物体的种类及相应运动时刻所处的位置，传送带的抖动及视觉识别的误差是观测数据中的“局外点”，随机采样一致性算法可以从一组包含“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数。一种机器人动态抓取系统，包括依次连接的图像采集预处理模块、多线索目标跟踪模块、目标识别精确定位模块、运动信息建模模块以及机器人动态抓取模块；所述图像采集预处理模块用于实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；所述多线索目标跟踪模块用于利用基于多线索的模板跟踪算法确定前景目标区域；所述目标识别精确定位模块用于采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；所述运动信息建模模块用于采用随机采样一致性算法对视场内该物体的运动信息建模；所述机器人动态抓取模块用于结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。进一步地，对所得图像进行预处理包括图像去噪及建立图像金字塔。进一步地，所述多线索的模板跟踪算法具体为：对采集图像金字塔的顶端图像，进行多线索码本模型的建模，“多线索”具体指图像区域纹理、色彩、区域轮廓距、区域面积特征的线索；先由纹理线索的码本模型建立候选区域，再经色彩、轮廓距及区域面积特征等线索依次对候选区域进行筛选；最终得到前景目标区域。进一步地，边缘梯度的模板匹配算法具体为：首先对各待抓取物体建立模板图像；其次对每一种模板图像，建立图像金字塔；然后对金字塔的每一层，利用边缘梯度算子建立基于边缘梯度的归一化特征，并对归一化特征进行旋转建模；执行模板匹配算法时，从特征金字塔的顶端自上而下对采集图像的前景目标区域进行匹配，得到特定种类物体的图像位置；所述边缘梯度算子包括Canny算子和Sobel算子。进一步地，随机采样一致性算法具体为：工业分拣流水线上，随机采样一致性算法的输入是一组观测数据，包括待抓取物体的种类及相应运动时刻所处的位置，传送带的抖动及视觉识别的误差是观测数据中的“局外点”，随机采样一致性算法可以从一组包含“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数。与现有技术相比，本专利技术的有益效果如下：1)、本专利技术采用基于多线索的目标跟踪算法，能高效、准确地提取运动目标前景区域；2)、本专利技术结合目标跟踪算法及基于边缘梯度的模板匹配算法，只对感兴趣区域进行多种类物体的模板匹配识别，提高目标识别算法的运行速度及精度，实现多种类高帧率实时识别，在相同计算资源下能有效提高视觉伺服的精度；3)、本专利技术采用随机采样一致性算法(RANSAC)对运动信息建模，可以从一组包含误差“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数；4)、本专利技术在机器人分拣的应用场景下，能有效的提高视觉运动目标跟踪算法的运行速度，实现高帧率实时识别，进而提高视觉伺服的精度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术机器人动态抓取方法的流程图；图2是本专利技术机器人动态抓取方法的具体流程图；图3是本专利技术机器人动态抓取系统的结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本专利技术的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1如图1、图2所示，本专利技术提供一种机器人动态抓取方法，包括如下步骤：S1、实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；上位机(一般为PC机)实时接收工业相机传输而来的采集图像，并对所得图像进行预处理，具体包括图像去噪及本文档来自技高网...

【技术保护点】
一种机器人动态抓取方法，其特征在于，包括如下步骤：S1、实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；S2、利用基于多线索的模板跟踪算法确定前景目标区域；S3、采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；S4、采用随机采样一致性算法对视场内该物体的运动信息建模；S5、结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。

【技术特征摘要】
1.一种机器人动态抓取方法，其特征在于，包括如下步骤：S1、实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；S2、利用基于多线索的模板跟踪算法确定前景目标区域；S3、采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；S4、采用随机采样一致性算法对视场内该物体的运动信息建模；S5、结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。2.根据权利要求1所述的机器人动态抓取方法，其特征在于，步骤S1中，对所得图像进行预处理包括图像去噪及建立图像金字塔。3.根据权利要求1所述的机器人动态抓取方法，其特征在于，步骤S2具体包括：对采集图像金字塔的顶端图像，进行多线索码本模型的建模，“多线索”具体指图像区域纹理、色彩、区域轮廓距、区域面积特征的线索；先由纹理线索的码本模型建立候选区域，再经色彩、轮廓距及区域面积特征等线索依次对候选区域进行筛选；最终得到前景目标区域。4.根据权利要求1所述的机器人动态抓取方法，其特征在于，步骤S3具体包括：首先对各待抓取物体建立模板图像；其次对每一种模板图像，建立图像金字塔；然后对金字塔的每一层，利用边缘梯度算子建立基于边缘梯度的归一化特征，并对归一化特征进行旋转建模；执行模板匹配算法时，从特征金字塔的顶端自上而下对采集图像的前景目标区域进行匹配，得到特定种类物体的图像位置；所述边缘梯度算子包括Canny算子和Sobel算子。5.根据权利要求1所述的机器人动态抓取方法，其特征在于，步骤S4具体包括：工业分拣流水线上，随机采样一致性算法的输入是一组观测数据，包括待抓取物体的种类及相应运动时刻所处的位置，传送带的抖动及视觉识别的误差是观测数据中的“局外点”，随机采样一致性算法可以从一组包含“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数。6.一种机器人动态抓取系统，其特征在于，包括依次连接的图像采集预处理模块、多线索目标跟踪模块、目标识别精确定位模...

【专利技术属性】
技术研发人员：李友浩，张弓，王卫军，韩彰秀，蔡君义，
申请(专利权)人：广州中国科学院先进技术研究所，深圳市中科德睿智能科技有限公司，
类型：发明
国别省市：广东,44