一种基于在线置信度判别的目标抓捕点预测方法技术

本发明专利技术涉及一种基于在线置信度判别的目标抓捕点预测方法，采用EdgeBoxes方法预测手眼相机实时图像中所有可能包含物体的区域；采用Cornell Grasp Detection Dataset数据集训练卷积神经网络，得到预测物体抓捕点位置；对抓捕点进行在线判别，得到当前抓捕点的置信度和机械臂的旋转角度，以此使机械臂达到修正后的抓捕状态。通过与传统目标抓捕点预测方法的比较，进一步验证了本算法在复杂环境适应性、目标抓捕点预测精度上的优势，有广泛的应用前景。该方法能够对当前抓捕条件进行在线预测，并通过机械臂自身运动使待抓捕目标的姿态发生改变，以达到更好地抓捕条件。

【技术实现步骤摘要】
一种基于在线置信度判别的目标抓捕点预测方法
本专利技术属于图像处理与计算机视觉领域，涉及一种基于在线置信度判别的目标抓捕点预测方法。
技术介绍
视觉是机器人与外部环境交互的重要途径，而机械臂的抓取操作则是机器人的重要操作手段。随着多自由度机械臂技术的日益发展和多关节手爪灵活度的不断提高，机械臂能够更加灵活有效的完成绝大多数的目标抓取任务。传统意义上，机械臂对目标进行抓取操作时，待抓捕目标通常置于单一、整洁的台面上，且机械臂手眼相机视场中往往只有单一物体。但在实际操作中，上述条件很难得到满足，因此如何在复杂操作环境下中快速、有效地在多个物体中识别待抓捕物体具有重要的研究意义。机械臂的抓取操作是机械臂最基本，也是最重要的一项能力。给定目标的抓捕位置后，机械臂通过规划自身路径达到指定的抓捕位置，进而完成抓捕操作。对平行式二指手爪而言，其抓捕操作通过缩小两平行手爪的距离实现。但上述的“抓捕点预测+手爪抓捕”的框架在实际应用中主要面临两个问题：1、此框架只是被动的对图像进行反应，当待抓捕物体的当前姿态或角度不适合抓捕时，只能用置信度较低的抓捕点位置进行抓捕，此时无法保证抓捕成功率。2、针对复杂环境下的多物体抓捕任务，单纯根据检测特征对物体进行抓捕有可能造成“先抓下方物体、后抓上方物体”的局面，增加了抓捕难度。针对第一个问题，现有改进仍然主要集中对抓捕点预测算法本身，通过增大训练数据集、采用更强性能的预测器使得算法在极端环境下依然能够得到较为精度的抓捕点预测位置，但仍属于被动的预测方法，无法有效提高抓捕成功率。因此发展一种能够适应复杂环境下的多物体抓取需求，并能够通过机械臂与目标的交互，使物体达到更有利于抓捕的位置，有十分重要的意义。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于在线置信度判别的目标抓捕点预测方法，弥补复杂环境下，现有的抓捕点预测算法无法很好地选择目标抓捕点的不足。技术方案一种基于在线置信度判别的目标抓捕点预测方法，其特征在于步骤如下：步骤1、目标识别：采用EdgeBoxes方法预测手眼相机实时图像中所有可能包含物体的区域；步骤2、目标包围盒对齐：采用Multi-ThresholdingStraddlingExpansion算法，利用图像中的局部颜色、边缘等特征，将预测区域的边界对齐，对步骤1的结果进行优化，；步骤3、抓捕点预测：采用CornellGraspDetectionDataset数据集训练卷积神经网络，对步骤2的结果进行抓捕点的预测，得到预测物体Oi的抓捕点位置步骤4、抓捕点在线判别：以置信度表示当前抓捕点与理想抓捕点的偏置度，置信度越高，表示当前抓捕位置越理想。运动方向为使物体达到最优抓捕状态所需要的机械臂移动方向，具体方法为：1、对步骤2已预测识的物体Oi，采用RANSAC方法从已有的3D模型库中选择具有最高匹配精度的物体模型Ci和其对应姿态Ai；2、将3D模型Ci中的真实抓捕点g1,g2分别投影至二维成像平面，其中g1,g2分别表示三维空间中的坐标投影后的二维坐标为3、计算当前预测抓捕点的置信度f∈(0,1]，定义为：f＝2/(1+exp(dist(p,g)))，其中dist(p,g)表示预测抓捕点与真实抓捕点的位置偏置，定义为：若预测抓捕点与真实抓捕点完全重合，其置信度为1，随着抓捕点相对距离的逐渐增大，置信度逐渐减小；4、将机构臂在世界坐标系中的三维运动简化为绕物体的一维旋转运动，机械臂旋转平面与工作台平面平行，旋转角度θ定义为：步骤5：按照当前抓捕点的置信度和机械臂的旋转角度，机械臂达到修正后的抓捕状态。重复步骤3～步骤5，得到置信度更高的抓捕点位置预测结果。有益效果本专利技术提出的一种基于在线置信度判别的目标抓捕点预测方法，基于CNN(ConvolutionalNeuralNetworks)方法，通过与传统目标抓捕点预测方法的比较，进一步验证了本算法在复杂环境适应性、目标抓捕点预测精度上的优势，有广泛的应用前景。该方法能够对当前抓捕条件进行在线预测，并通过机械臂自身运动使待抓捕目标的姿态发生改变，以达到更好地抓捕条件。与现有技术相比，本专利技术具有以下有益效果：1.运行速度快，无明显延迟，能够满足实时抓捕和在线判别的时间复杂度要求；2.具备自主判别能力，并能够通过机构臂与待抓捕物体的接触改变目标形态，从而达到更好地抓捕条件；本专利技术的方法易于实现，其应用价值主要体现在以下几个方面：1.可以在保证抓捕点预测精度的前提下，显著提升目标抓取在复杂操作环境下的成功率，从而有助于其实际应用；2.能够根据检测结果实现对机械臂端对端的控制，因此本专利技术可以方便地嵌入现有的机械臂系统，无须对原系统进行适应性修改。附图说明图1为本专利技术的流程图；图2为本专利技术的目标识别效果图；图3为本专利技术的抓捕点预测效果图，其中，(a)为抓捕点初始预测结果，(b)为抓捕点二次预测结果。具体实施方式现结合实施例、附图对本专利技术作进一步描述：本专利技术为一种基于在线判别的目标抓捕点预测方法，其主要由目标识别、目标包围盒对齐、抓捕点预测、抓捕点在线判别、机械臂运动路径规划和抓捕点二次预测六部分构成。该方法具体包括步骤如下：1.目标识别为避免传统基于滑窗搜索的算法时间效率低下的问题，采用基于似物采样性的目标识别方法。首先提取手眼相机的实时成像结果，对于当前图像，采用EdgeBoxes方法[1]预测图像中所有可能包含物体的区域。[1]C.L.ZitnickandP.Dollár,"Edgeboxes:Locatingobjectproposalsfromedges,"inComputerVision–ECCV2014,ed:Springer,2014,pp.391-405.2.目标包围盒对齐对于目标预测区域，若其与目标真实包围盒的重叠部分占其并集的比例超过50％，即认为该目标得到正确检测。因此，目标识别结果与真实值存在一定的偏差，采用Multi-ThresholdingStraddlingExpansion算法[2]，利用图像中的局部颜色、边缘等特征，将预测区域的边界对齐，以达到更好的目标预测精度。[2]X.Chen,H.Ma,X.Wang,andZ.Zhao,"Improvingobjectproposalswithmulti-thresholdingstraddlingexpansion,"inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015,pp.2587-2595.3.抓捕点预测对于多物体的抓捕任务，除利用传统的检测特征外，结合深度传感器输出的每个物体的深度信息，将深度信息作为确定物体抓捕顺序的重要参考；进一步，通过CornellGraspDetectionDataset数据集训练卷积神经网络，实现抓捕点的预测，预测的抓捕点位置表示为4.抓捕点在线判别传统的抓捕点预测算法只能针对当前的场景预测抓捕物体的抓捕点位置，其预测精度容易受复杂背景干扰的影响，是一种被动的预测方法。因此，将在线判别引入抓捕点的预测中，除每一个抓捕点的预测位置外，算法还会返回当前抓捕点的置信度和运动方向，置信度表明当前抓捕点与理本文档来自技高网...

【技术保护点】
一种基于在线置信度判别的目标抓捕点预测方法，其特征在于步骤如下：步骤1、目标识别：采用EdgeBoxes方法预测手眼相机实时图像中所有可能包含物体的区域；步骤2、目标包围盒对齐：采用Multi‑Thresholding Straddling Expansion算法，利用图像中的局部颜色、边缘等特征，将预测区域的边界对齐，对步骤1的结果进行优化，；步骤3、抓捕点预测：采用Cornell Grasp Detection Dataset数据集训练卷积神经网络，对步骤2的结果进行抓捕点的预测，得到预测物体Oi的抓捕点位置

【技术特征摘要】
1.一种基于在线置信度判别的目标抓捕点预测方法，其特征在于步骤如下：步骤1、目标识别：采用EdgeBoxes方法预测手眼相机实时图像中所有可能包含物体的区域；步骤2、目标包围盒对齐：采用Multi-ThresholdingStraddlingExpansion算法，利用图像中的局部颜色、边缘等特征，将预测区域的边界对齐，对步骤1的结果进行优化，；步骤3、抓捕点预测：采用CornellGraspDetectionDataset数据集训练卷积神经网络，对步骤2的结果进行抓捕点的预测，得到预测物体Oi的抓捕点位置步骤4、抓捕点在线判别：以置信度表示当前抓捕点与理想抓捕点的偏置度，置信度越高，表示当前抓捕位置越理想。运动方向为使物体达到最优抓捕状态所需要的机械臂移动方向，具体方法为：1、对步骤2已预测识的物体Oi，采用RANSAC方法从已有的3D模型库中选择具有最高匹配精度的物体模型Ci和其对应姿态Ai；2、将3D模型Ci中的真实抓捕点g1,g2分别投影至二维成像平面，其中g1,g2分别表示三维空间中的坐标投影后的二维坐标为3、计算当前预测抓捕点的置信度f∈(0,1]，定义为：f＝2/(1+exp(dist(p...

【专利技术属性】
技术研发人员：黄攀峰，陈路，张海涛，孟中杰，刘正雄，张夷斋，张帆，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61