一种应用于人形机器人动作模仿的人体姿态映射方法技术

本发明专利技术公开了一种应用于人形机器人动作模仿的人体姿态映射方法，包括如下步骤：1)通过深度摄像头获取人体骨骼节点的三维位置信息；2)根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；3)建立基于人体骨骼模型各连杆的连杆参考坐标系；4)根据机器人关节结构特点利用人体连杆骨骼向量计算人体映射关节角度；5)根据机器人各关节角度限制，将人体映射关节角度应用到机器人关节上。本发明专利技术采用基于连杆骨骼向量和人体虚拟关节的几何解析法精确计算人体映射关节角度，通过关节角度将人体姿态映射到机器人端，具有计算损耗低，精确度高的特点。

A human pose mapping method for humanoid robot action imitation

The invention discloses a human body pose mapping method applied to the action imitation of the human shape robot, including the following steps: 1) obtaining the three-dimensional position information of the human skeleton node through the depth camera; 2) constructing the human skeleton vector according to the human skeleton node, and establishing the human body according to the human skeleton vector and the robot joint structure. Virtual joint, form human skeleton model; 3) establish reference coordinate system of connecting rod based on human skeleton model; 4) calculate joint angle of human body mapping human body using the skeleton vector of human link according to the characteristics of robot joint structure; 5) apply human body mapping joint angle to robot close according to the joint angle limit of robot. On the festival. The invention uses the geometric analysis method based on the skeleton vector of the connecting rod and the virtual joint of the human body to calculate the angle of the human body mapping joint accurately, and maps the posture of the human body to the robot end through the joint angle, which has the characteristics of low calculation loss and high accuracy.

【技术实现步骤摘要】
一种应用于人形机器人动作模仿的人体姿态映射方法
本专利技术涉及人机交互
，具体涉及一种应用于人形机器人动作模仿的人体姿态映射方法。
技术介绍
近年来，机器人技术快速发展，并越来越广泛地应用于工业、医疗、科学研究与教育培训和家庭日常生活等领域当中。与此同时，愈加复杂和多样的应用环境对机器人的适应性和智能化提出了更高的要求。机器人模仿学习技术可以提高机器人学习效率，提升机器人智能化程度，将开发者从繁重的编程工作中解脱出来。对获取到的人体示教信息进行恰当的表征，以应用到机器人端，是模仿学习的重要环节。表征环节需要确立对示教动作的表征方式以及将观察到的动作映射到机器人端。传统的方法是根据示教动作末端执行器的位置使用数值方法解决逆运动学问题，从而得到待驱动的机器人关节角度。这种方法可以较好地控制机器人末端在工作空间的位置，但获取关节角度的方式是不直接和不精确的，因此会影响模仿姿态的相似度，并且，该类方法的计算量较大。另外一些研究人员通过几何分析的解析法直接得到人体映射关节角度，以驱动机器人。这类方法可以得到对应于示教姿态的较为精确的关节角度，使得机器人的模仿姿态达到与人较高的相似度，并且计算量较小。目前，应用几何分析的解析法的研究大多没有结合人体特点和机器人关节结构特点对关节角度的计算进行精确的分析，因此在一定程度上限制了人形机器人模仿人体姿态动作的相似性。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种应用于人形机器人动作模仿的人体姿态映射方法。本专利技术的目的可以通过采取如下技术方案达到：一种应用于人形机器人动作模仿的人体姿态映射方法，包括如下步骤：S1、通过深度摄像头获取人体骨骼节点的三维位置信息；S2、根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；S3、建立基于人体骨骼模型各连杆的连杆参考坐标系；S4、根据机器人关节结构特点利用人体连杆骨骼向量计算人体映射关节角度；S5、根据机器人各关节角度限制，将人体映射关节角度应用到相应的机器人关节上。进一步地，所述的步骤S1中提取示教人员的四肢末端节点和各关节点的信息。进一步地，所述的步骤S2中根据人体骨骼节点的三维信息构成了组成人体骨骼模型的人体骨骼向量。进一步地，所述的步骤S2中将人形机器人与人体骨骼模型的躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、左脚、右上臂、右下臂、右手、右大腿、右小腿、右脚定义为连杆；将靠近躯干的连杆定义为远离躯干的连杆的母连杆；将远离躯干的连杆定义为靠近躯干的连杆的子连杆；将颈部、左肩、左肘、左腕、左髋、左膝、左踝、右肩、右肘、右腕、右髋、右膝、右踝定义为主关节；将人形机器人主关节所具有的不同自由度定义为该主关节的次关节；将靠近躯干的主关节或次关节定义为远离躯干的主关节或次关节的母关节，将远离躯干的主关节或次关节定义为靠近躯干的主关节或次关节的子关节。进一步地，所述的步骤S2中将与一个关节相连的两个连杆中靠近躯干的连杆定义为该关节的母连杆，远离躯干的连杆定义为该关节的子连杆。将与一个连杆相连的两个关节中靠近躯干的关节定义为该连杆的母关节，远离躯干的关节定义为该连杆的子关节。进一步地，所述的步骤S2中在人体骨骼模型中建立与人形机器人数量与类型(翻滚、俯仰、偏航)相同的虚拟关节。根据一般人形机器人的关节特点，在初始姿态(定义为双臂下垂的直立姿态)时，虚拟关节的次关节旋转轴与该关节的母连杆的骨骼向量共线或垂直，若两个次关节同属一个主关节，则两个次关节相互垂直。本专利技术只考虑主关节的次关节为一个或两个的情况。进一步地，所述的步骤S3中建立人体骨骼模型连杆参考坐标系的具体过程为：对于子关节是含有两个次关节的主关节的连杆，其参考坐标系的两个轴分别与两个子关节的旋转轴共线，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方；对于子关节是含有一个次关节的主关节的连杆，其参考坐标系的一个坐标轴与子关节的旋转轴共线，一个坐标轴与该连杆骨骼向量共线或垂直，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方。连杆坐标系的坐标原点均位于连杆末端点，即连杆的子关节中心点处。进一步地，所述的步骤S4中将两连杆之间的主关节的旋转轴定义为次母关节的旋转轴。进一步地，所述的步骤S4中对于每一个主关节的次母关节，人体映射关节角度通过该关节的人体子连杆骨骼向量在母连杆参考坐标系中的和机器人主关节旋转轴垂直的坐标系平面上的投影角计算得到；对于每一个主关节的次子关节，人体映射关节角度通过该关节人体子连杆骨骼向量与母连杆参考系中的和机器人主关节旋转轴垂直的坐标系平面的夹角计算得到。本专利技术相对于现有技术具有如下的优点及效果：1、本专利技术将人体躯干划分为四部分；建立了基于人体骨骼模型各连杆的连杆参考坐标系，可以精确确定人体各连杆的姿态；根据机器人关节结构特点确立不同的人体映射关节角度解析计算方法。以上方法均提高了人形机器人各连杆姿态的模仿相似度。2、本专利技术使用基于几何分析的解析法获取对应于示教姿态的机器人关节角度，计算损耗小，计算速度快。附图说明图1是本专利技术公开的一种应用于人形机器人动作模仿的人体姿态映射方法的流程图；图2(a)是Nao机器人的左上肢各关节定义及角度范围示意图1；图2(b)是Nao机器人的左上肢各关节定义及角度范围示意图2；图2(c)是Nao机器人的左上肢各关节定义及角度范围示意图3；图3(a)是Nao机器人的左下肢各关节定义及角度范围示意图1；图3(b)是Nao机器人的左下肢各关节定义及角度范围示意图2；图4是由KinectⅡ获取的人体骨骼节点名称及编号示意图；图5是Nao机器人与人体骨骼模型全身关节和连杆坐标系示意图；图6是人体左上躯干参考坐标系及肩映射关节角度计算示意图；图7是人体左大臂参考坐标系及肘映射关节角度计算示意图；图8是人体左小臂参考坐标系及髋映射关节角度计算示意图；图9是人体左大腿参考坐标系及膝映射关节角度计算示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例本实施例公开了一种应用于人形机器人动作模仿的人体姿态映射方法，使用KinectⅡ作为深度摄像头，使用Nao机器人作为人形机器人模仿者和人体姿态的映射对象。应用于人形机器人动作模仿的人体姿态映射方法的具体实施方式，流程图如图1所示，包括如下步骤：S1、通过KinectⅡ深度摄像头获取人体骨骼节点的三维位置信息；S2、根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；S3、建立基于人体骨骼模型各连杆的连杆参考坐标系；S4、根据Nao机器人关节结构特点利用人体连杆骨骼向量本文档来自技高网...

【技术保护点】
一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的人体姿态映射方法包括下列步骤：S1、通过深度摄像头获取人体骨骼节点的三维位置信息；S2、根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；S3、建立基于人体骨骼模型各连杆的连杆参考坐标系；S4、根据机器人关节结构特点利用人体连杆骨骼向量计算人体映射关节角度；S5、根据机器人各关节角度限制，将人体映射关节角度应用到相应的机器人关节上。

【技术特征摘要】
1.一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的人体姿态映射方法包括下列步骤：S1、通过深度摄像头获取人体骨骼节点的三维位置信息；S2、根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；S3、建立基于人体骨骼模型各连杆的连杆参考坐标系；S4、根据机器人关节结构特点利用人体连杆骨骼向量计算人体映射关节角度；S5、根据机器人各关节角度限制，将人体映射关节角度应用到相应的机器人关节上。2.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S1中提取示教人员的四肢末端节点和各关节点的信息。3.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S2中将人形机器人与人体骨骼模型的躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、左脚、右上臂、右下臂、右手、右大腿、右小腿、右脚定义为连杆；将靠近躯干的连杆定义为远离躯干的连杆的母连杆；将远离躯干的连杆定义为靠近躯干的连杆的子连杆；将颈部、左肩、左肘、左腕、左髋、左膝、左踝、右肩、右肘、右腕、右髋、右膝、右踝定义为主关节；将人形机器人主关节所具有的不同自由度定义为该主关节的次关节；将靠近躯干的主关节或次关节定义为远离躯干的主关节或次关节的母关节，将远离躯干的主关节或次关节定义为靠近躯干的主关节或次关节的子关节。4.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S2中将与一个关节相连的两个连杆中靠近躯干的连杆定义为该关节的母连杆，远离躯干的连杆定义为该关节的子连杆；将与一个连杆相连的两个关节中靠近躯干的关节定义为该连杆的母关节，远离躯干的关节定义为该连杆的子关节。5.根据权利要求1所述的一种应用于人形机器人动作模仿的人体姿态映射方法，其特征在于，所述的步骤S2中在人体骨骼模型中建立与人形机器人数量和类型相同的虚拟关节，其...

【专利技术属性】
技术研发人员：张智军，牛雅儒，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44