基于深度神经网络的多指灵巧手抓取手势规划方法技术

本发明专利技术公开了一种基于深度神经网络的多指灵巧手抓取手势规划方法，包括：步骤1，根据采集的包含目标物体的深度图像，确定多指灵巧手的手掌第一位姿；步骤2，通过坐标系转换，得出手掌第二位姿；步骤3，根据深度图像和手掌第二位姿，利用手势预测网络得出初始抓取手势；步骤4，用抓取质量评估网络对初始抓取手势、手掌第一位姿和深度图像，依据抓取质量评估指标得出抓取质量的评估值相对多指灵巧手抓取手势的梯度；步骤5，在多指灵巧手的关节空间中利用梯度上升算法更新抓取手势，将得出的局部最优的抓取手势与手掌第二位姿结合作为控制多指灵巧手的最终抓取位形。本发明专利技术能得出抓取手势的局部最优解，提高多指灵巧手对未知物体的抓取成功率。抓取成功率。抓取成功率。

【技术实现步骤摘要】
基于深度神经网络的多指灵巧手抓取手势规划方法


[0001]本专利技术涉及利用计算机视觉的机器人控制领域，尤其涉及一种基于深度神经网络的多指灵巧手抓取手势规划方法。

技术介绍

[0002]物体抓取操作作为机器人的基本功能，一直是机器人领域的一个重要的研究方向。一般来说，抓取规划算法分为分析法和经验法。为了实现多指灵巧手抓取物体，分析法都是通过物体的精确三维模型来确定多指灵巧手的抓取位姿和手势，而现实环境中通常难以获取物体三维信息，这就大大限制了多指灵巧手在实际场景中的应用。之后基于深度学习的经验法被广泛应用于抓取规划，但是其中大部分工作只考虑了简单夹持器的抓取规划。由于多指灵巧手不能像夹持器一样直接闭合，对应的抓取规划需要考虑多指灵巧手的高维关节空间，因此现有针对夹持器的抓取规划方法无法直接用在更加复杂的多指灵巧手抓取规划中。
[0003]有鉴于此，特提出本专利技术。

技术实现思路

[0004]本专利技术的目的是提供了一种基于深度神经网络的多指灵巧手抓取手势规划方法，能实现对未知物体的精细抓取，使多指灵巧手抓取不受未知物体限制，从而提高多指灵巧手的抓取成功率，很好的解决现有技术中存在的上述技术问题。
[0005]本专利技术的目的是通过以下技术方案实现的：本专利技术实施方式提供一种基于深度神经网络的多指灵巧手抓取手势规划方法，用于由机械臂末端设置的多指灵巧手和深度相机组成的物体抓取系统对目标物体的抓取操作中，包括：步骤1，根据所述深度相机采集的包含目标物体的深度图像，利用抓取框检测网络确定多指灵巧手的相对目标物体的手掌第一位姿；步骤2，通过所述深度相机的相机坐标系与世界坐标系的转换关系，得出所述多指灵巧手在世界坐标系中的手掌第二位姿；步骤3，根据得出所述包含目标物体的深度图像和手掌第二位姿，利用手势预测网络得出初始抓取手势；步骤4，将初始抓取手势、手掌第一位姿、包含目标物体的深度图像分别输入预先训练好的抓取质量评估网络中，依据设定的作为抓取质量评估指标的力封闭指标得出抓取质量的评估值相对所述多指灵巧手的初始抓取手势的梯度；步骤5，在所述多指灵巧手的关节空间中利用梯度上升算法，沿所述步骤3得出的抓取质量的评估值相对所述多指灵巧手的初始抓取手势的梯度上升的方向不断更新抓取手势，确定每次迭代的步长，不断前向和反向迭代直到梯度收敛，得出使抓取质量评估值达到局部最优的抓取手势，将局部最优的抓取手势与手掌第二位姿结合作为控制所述多指灵
巧手的最终抓取位形。
[0006]与现有技术相比，本专利技术所提供的基于深度神经网络的多指灵巧手抓取手势规划方法，其有益效果包括：通过设定的抓取质量的评估指标，由预先训练好的抓取质量评估网络以初始抓取手势、手掌第一位姿、包含目标物体的深度图像作为输入，对该抓取质量的评估指标进行评估，将抓取规划问题定义为抓取质量函数的优化问题，基于卷积神经网络特性和抓取稳定性判定，对多指灵巧手的初始抓取手势进行规划，能够有效解决现有基于学习的抓取规划方法中常见的多值映射和平均最优问题；本专利技术的方法相比基于采样的抓取规划方法，对被抓取的目标物体没有种类要求，可以将失败的抓取作为依据对抓取质量的评估指标进行二次优化，从而获得更稳定的抓取质量和更高的抓取成功率，并且对于不同型号的多指灵巧手，仅需对抓取质量评估网络的输入层子网络进行微调，便可移植到不同的多指灵巧手机器人应用场景中；相比直接预测抓取位形的回归网络模型，本专利技术采用的抓取质量评估网络是一种基于力封闭指标的分类网络，其训练过程需要更少的训练样本，这对于需要自建数据集的深度神经网络非常适用；利用抓取框深度图像块同时表示物体形状信息和多指灵巧手的手掌第一位姿信息，进一步缩小网络输入特征的维度，对数据的利用效率更高，更便于数据采集。
附图说明
[0007]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0008]图1为本专利技术实施例提供的多指灵巧手抓取手势规划方法的流程图。
[0009]图2为本专利技术实施例提供的多指灵巧手抓取手势规划方法的抓取质量评估网络的构成示意图。
[0010]图3为本专利技术实施例提供的多指灵巧手抓取手势规划方法的抓取质量指标的示意图；其中，带箭头的虚线代表旋量，实线代表某个抓取旋量空间，圆形虚线表示该空间的内切球。
具体实施方式
[0011]下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，这并不构成对本专利技术的限制。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0012]首先对本文中可能使用的术语进行如下说明：术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
[0013]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部
件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0014]术语“由
……
组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
[0015]除另有明确的规定或限定外，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如：可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本文中的具体含义。
[0016]当浓度、温度、压力、尺寸或者其它参数以数值范围形式表示时，该数值范围应被理解为具体公开了该数值范围内任何上限值、下限值、优选值的配对所形成的所有范围，而不论该范围是否被明确记载；例如，如果记载了数值范围“2～8”时，那么该数值范围应被解释为包括“2～7”、“2～6”、“5～7”、“3～4和6～7”、“3～5和7”、“2和5～7”等范围。除另有说明外，本文中记载的数值范围既包括其端值也包括在该数值范围内的所有整数和分数。
[0017]术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的多指灵巧手抓取手势规划方法，用于由机械臂末端设置的多指灵巧手和深度相机组成的物体抓取系统对目标物体的抓取操作中，其特征在于，包括：步骤1，根据所述深度相机采集的包含目标物体的深度图像，利用抓取框检测网络确定多指灵巧手的相对目标物体的手掌第一位姿；步骤2，通过所述深度相机的相机坐标系与世界坐标系的转换关系，得出所述多指灵巧手在世界坐标系中的手掌第二位姿；步骤3，根据得出所述包含目标物体的深度图像和手掌第二位姿，利用手势预测网络得出初始抓取手势；步骤4，将初始抓取手势、手掌第一位姿、包含目标物体的深度图像分别输入预先训练好的抓取质量评估网络中，依据设定的作为抓取质量评估指标的力封闭指标得出抓取质量的评估值相对所述多指灵巧手的初始抓取手势的梯度；步骤5，在所述多指灵巧手的关节空间中利用梯度上升算法，沿所述步骤3得出的抓取质量的评估值相对所述多指灵巧手的初始抓取手势的梯度上升的方向不断更新抓取手势，确定每次迭代的步长，不断前向和反向迭代直到梯度收敛，得出使抓取质量评估值达到局部最优的抓取手势，将局部最优的抓取手势与手掌第二位姿结合作为控制所述多指灵巧手的最终抓取位形。2.根据权利要求1所述的基于深度神经网络的多指灵巧手抓取手势规划方法，其特征在于，所述步骤1中，抓取框检测网络按以下方式确定多指灵巧手的相对目标物体的手掌位姿，包括：所述抓取框检测网络根据所述深度相机采集的包含单个目标物体的深度图像筛选出该目标物体的最优抓取框，最优抓取框的中心点对应于所述多指灵巧手相对物体的掌心坐标，最优抓取框的旋转角度对应于所述多指灵巧手绕目标物体坐标系z轴逆时针旋转的角度，根据最优抓取框的中心点和最优抓取框的旋转角度确定多指灵巧手的手掌相对目标物体的手掌第一位姿。3.根据权利要求1或2所述的基于深度神经网络的多指灵巧手抓取手势规划方法，其特征在于，所述抓取框检测网络采用三级串联卷积神经网络。4.根据权利要求1或2所述的基于深度神经网络的多指灵巧手抓取手势规划方法，其特征在于，所述步骤2中，按以下方式通过所述深度相机的相机坐标系与世界坐标系的转换关系，得出所述多指灵巧手在世界坐标系中的手掌第二位姿，包括：通过相机坐标系和世界坐标系的转换关系，得到所述多指灵巧手的掌心在世界坐标系W中的实际位置和手掌坐标系P相对于世界坐标系的旋转矩阵，根据所述旋转矩阵得到所述多指灵巧手在世界坐标系W中的手掌第二位姿。5.根据权利要求2所述的基于深度神经网络的多指灵巧手抓取手势规划方法，其特征在于，所述步骤3中，按以下方式根据得出所述包含目标物体的深度图像和手掌第二位姿，利用手势预测网络得出初始抓取手势，包括：根据筛选出目标物体的最优抓取框的坐标，在所述深度图像上裁剪出目标物体局部深度图和目标物体全局深度图，将所述目标物体局部深度图、目标物体全局深度图和手掌第一位姿作为所述抓取手势预测网络的输入，由所述抓取手势预测网络输出得到初始抓取手势；
所述目标物体局部深度图是以最优抓取框的中心点为中心，长边与最优抓取框的长边平行的大小为64
×
128的深度图；所述目标物体全局深度图是以最优抓取框的中心点为中心，长边与最优抓取框的长边平行的大小为128
×
128的深度图。6.根据权利要求1或5所述的基于深度神经网络的多指灵巧手抓取手势规划方法，其特征在于，所述抓取手势预测网络构采用CNN
‑
5网络。7.根据权利要求5所述的基于深度神经网络的多指灵巧手抓取手势规划方法，其特征在于，所述步骤4中，按以下方式将初始抓取手势、手掌第一位姿、包含目标物体的深度图像分别输入预先训练好的抓取质量评估网络中，依据设定的作为抓取质量评估指标的力封闭指标得出抓取质量的评估值相对所述多指灵巧手抓取手势的梯度，包括：将所述初始抓取手势...

【专利技术属性】
技术研发人员：尚伟伟，何浩源，汤新胜，张飞，江俊，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：