一种人形机器人模仿相似度评价方法技术

本发明专利技术公开了一种人形机器人模仿相似度评价方法，包括以下步骤：1)获取人体骨骼节点的三维位置信息；2)构建人体骨骼向量，并根据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；3)建立基于人体骨骼模型各连杆的连杆参考坐标系；4)将人体骨骼模型的连杆骨骼向量转换到其母连杆参考坐标系中；5)计算机器人各连杆在其母连杆坐标系中的向量坐标；6)根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆在其母连杆坐标系中的向量坐标计算人形机器人与人体姿态的相似度。本发明专利技术利用连杆在其母连杆坐标系中的连杆向量量化评价姿态相似度，具有表征充分、侧重局部、评价准确的特点。

An imitation similarity evaluation method for humanoid robot

The present invention discloses imitation similarity evaluation method of a humanoid robot, which comprises the following steps: 1) the three-dimensional position information acquiring human skeleton nodes; 2) construction of human skeleton vector, and based on the establishment of virtual human skeleton joint vector and the robot joint structure, forming a human skeleton model; 3) the establishment of the human skeleton model of connecting rod the connecting rod coordinate system based on reference; 4) connecting rod skeletal vector human skeleton model conversion to the parent link reference coordinate system; 5) the calculation of the vector coordinate robot of each link in the parent link coordinate system; 6) to calculate the similarity of humanoid robot and pose according to the coordinates of a vector model of human bone link in its parent Link Coordinate in the skeleton vector coordinates in the parent link and the robot coordinate system in the. The invention uses the connecting rod vector in the connecting rod coordinate system of the connecting rod to quantify the gesture similarity, and has the characteristics of full characterization, partial emphasis and accurate evaluation.

【技术实现步骤摘要】
一种人形机器人模仿相似度评价方法
本专利技术涉及人机交互
，尤其涉及一种人形机器人模仿相似度评价方法。
技术介绍
近年来，机器人技术快速发展，并越来越广泛地应用于工业、医疗、科学研究、教育培训以及家庭日常生活等领域当中。与此同时，越来越复杂多样的应用环境对机器人的适应性和智能化提出了更高的要求。而机器人模仿学习技术可以提高机器人学习效率，提升机器人智能化程度，将开发者从繁重的编程工作中解脱出来。因此，对机器人模仿姿态与人体姿态的相似度进行恰当的评价，对于机器人模仿系统的优化具有重要的作用。当前一些研究使用主观评价的方法，该种方法需要发放问卷来搜集信息，过程较为繁琐，难以获取精确的量化评价指标。另外一些研究使用量化评价方法对机器人模仿相似度进行评价，这些方法大多基于关节角度或身体关键节点。而关节角度或者身体关键节点无法直接表征模仿或演示的姿态，因而难以有效评价人形机器人动作模仿的相似度。
技术实现思路
为了解决现有技术中基于关节角度或身体关键节点无法直接表征机器人模仿或演示的姿态，而难以有效评价人形机器人动作模仿相似度的不足，本专利技术提供一种利用连杆向量对机器人与人体的姿态进行表征的人形机器人模仿相似度评价方法。本专利技术的目的可以通过以下技术方案实现：一种人形机器人模仿相似度评价方法，包括如下步骤：1、通过深度摄像头获取人体骨骼节点的三维位置信息；2、根据上述人体骨骼节点的三维位置信息构造人体骨骼向量，并依据人体骨骼向量以及机器人关节结构建立人体虚拟关节，形成人体骨骼模型；3、建立基于人体骨骼模型各连杆的连杆参考坐标系；4、利用转换矩阵将人体骨骼模型的连杆骨骼向量转移到其母连杆参考坐标系中；5、根据机器人各关节角度及相应旋转矩阵计算机器人各连杆在其母连杆坐标系中的向量坐标；6、根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆在其母连杆坐标系中的向量坐标计算人形机器人与人体姿态的相似度。进一步地，所述人体骨骼节点是指骨骼中能够发生旋转的关节点以及骨骼末端节点。具体可包括：脊椎底部、脊椎中部、脊椎顶部、颈部、头部、左肩、左肘、左腕、左手、左手尖、左拇指、右肩、右肘、右腕、右手、右手尖、右拇指、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚。进一步地，所述机器人关节结构是指人形机器人结构中能够发生旋转的关节旋转轴数量及位置特点，建立人体虚拟关节是指在人体骨骼节点基础上，建立与机器人关节数量与类型相对应的虚拟关节，这些虚拟关节构成人体骨骼模型中的关节。从而便于后续姿态相似度的比对。进一步地，人体骨骼模型定义如下：将躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、左脚、右上臂、右下臂、右手、右大腿、右小腿、右脚定义为连杆；将靠近躯干的连杆定义为远离躯干连杆的母连杆；将远离躯干的连杆定义为靠近躯干连杆的子连杆；将颈部、左肩、左肘、左腕、左髋、左膝、左踝、右肩、右肘、右腕、右髋、右膝、右踝定义为主关节；将人形机器人主关节所具有的不同自由度定义为该主关节的次关节；将靠近躯干的主关节或次关节定义为远离躯干的主关节或次关节的母关节；将远离躯干的主关节或次关节定义为靠近躯干的主关节或次关节的子关节；与一个关节相连的两个连杆中靠近躯干的连杆定义为该关节的母连杆，远离躯干的连杆定义为该关节的子连杆；将与一个连杆相连的两个关节中靠近躯干的关节定义为该连杆的母关节，远离躯干的关节定义为该连杆的子关节。进一步地，所述依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型，具体包括：在人体骨骼模型中建立与人形机器人数量与类型相同的虚拟关节。根据一般人形机器人的关节特点，在初始姿态时，虚拟关节的次关节旋转轴与该关节的母连杆的骨骼向量共线或垂直，若两个次关节同属一个主关节，则两个次关节相互垂直。本专利技术只考虑主关节的次关节为一个或两个的情况。进一步地，所述虚拟关节类型包括：翻滚、俯仰、偏航；所述初始姿态定义为双臂下垂的直立姿态。进一步地，所述建立基于人体骨骼模型各连杆的连杆参考坐标系，具体包括：对于子关节是含有两个次关节的主关节的连杆，其参考坐标系的两个轴分别与两个子关节在初始关节角度时的旋转轴共线，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系；在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方。对于子关节是含有一个次关节的主关节的连杆，其参考坐标系的一个坐标轴与子关节的旋转轴共线，一个坐标轴与该连杆骨骼向量共线或垂直，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系；在初始姿态时，X轴指向人体骨骼模型的正上方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方。连杆坐标系的坐标原点均位于连杆末端点，即连杆的子关节中心点处。进一步地，所述将人体骨骼模型的连杆骨骼向量转移到其母连杆参考坐标系中，具体包括：利用转换矩阵Rm将深度摄像头坐标系中的连杆骨骼向量转换到其母连杆的连杆坐标系中，转换矩阵Rm为：其中分别为在深度摄像头坐标系中与深度摄像头坐标系X轴、Y轴、Z轴正向同向的向量，分别为在深度摄像头坐标系中与目标连杆母连杆的连杆参考坐标系X轴、Y轴、Z轴正向同向的向量；对于第k个用于计算姿态相似度的人体骨骼模型连杆，在其母连杆的连杆参考系中的连杆骨骼向量(列向量)为：其中Rmk为相应的转换矩阵，为在深度摄像头坐标系中的连杆骨骼向量。进一步地，所述根据机器人各关节角度计算机器人各连杆在母连杆坐标系中的向量坐标，具体包括：令机器人各连杆在其母连杆坐标系中的初始姿态连杆向量坐标均为(0,0,1)T，根据其母关节各次关节的旋转角度θmki，利用相应旋转矩阵R(θmki)，得到当前姿态的连杆向量坐标其中，n为目标连杆母关节的次关节个数，i的数值越小表示该次关节在连杆‐关节链中越靠近母连杆。进一步地，所述根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆在其母连杆坐标系中的向量坐标计算人形机器人与人形姿态的相似度，具体包括：根据转换坐标系后的连杆向量，利用人体骨骼模型连杆骨骼向量和相应机器人连杆向量的夹角的余弦值计算两连杆姿态的相关系数，之后计算各组连杆相关系数的算术平均值，得到机器人动作模仿的相似度指标。本专利技术相对于现有技术，具有如下的有益效果：1、建立了人体骨骼模型各连杆的连杆参考坐标系，可以精确地确定人体各连杆的姿态。2、使用定量评价方法，可以得到机器人姿态与人体姿态相似度的精确量化指标。3、使用连杆向量对机器人与人体的姿态进行表征是更加充分而有效的，可以得到更为准确的姿态相似度评价。4、利用连杆在其母连杆坐标系中的连杆向量，可以有效评价局部姿态相似度。附图说明图1是本专利技术的一种人形机器人模仿相似度评价方法的流程图；图2是由KinectII获取的人体骨骼节点名称及编号示意图；图3是Nao机器人与人体骨骼模型全身关节和连杆坐标系示意图。具体实施方式下面将结合本专利技术的实施例及附图对本专利技术作进一步的描述，但本专利技术的作用不限于此：实施例本专利技术公开了一种人形机器人模仿相似度的评价方法，使用KinectII作为深度摄像头，使用Nao机器人作为人形机器人。人形机器人模仿相似度评价方法的具体实施方式，实施的步骤流程图如图1所示，具体包括如下本文档来自技高网...

【技术保护点】
一种人形机器人模仿相似度评价方法，其特征在于：所述方法包括如下步骤：1)通过深度摄像头获取人体骨骼节点的三维位置信息；2)根据人体骨骼节点的三维位置信息构造人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；3)建立基于人体骨骼模型各连杆的连杆参考坐标系；4)将人体骨骼模型的连杆骨骼模型向量转换到其母连杆参考坐标系中；5)根据机器人各关节角度计算机器人各连杆在其母连杆坐标系中的向量坐标；6)根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆在其母连杆坐标系中的向量坐标计算人形机器人与人体姿态的相似度。

【技术特征摘要】
1.一种人形机器人模仿相似度评价方法，其特征在于：所述方法包括如下步骤：1)通过深度摄像头获取人体骨骼节点的三维位置信息；2)根据人体骨骼节点的三维位置信息构造人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；3)建立基于人体骨骼模型各连杆的连杆参考坐标系；4)将人体骨骼模型的连杆骨骼模型向量转换到其母连杆参考坐标系中；5)根据机器人各关节角度计算机器人各连杆在其母连杆坐标系中的向量坐标；6)根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆在其母连杆坐标系中的向量坐标计算人形机器人与人体姿态的相似度。2.根据权利要求1所述的一种人形机器人模仿相似度评价方法，其特征在于：所述人体骨骼节点是指骨骼中能够发生旋转的关节点以及骨骼末端节点。3.根据权利要求1所述的一种人形机器人模仿相似度评价方法，其特征在于：所述根据人体骨骼节点的三维位置信息构造人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型，具体包括：在人体骨骼模型中建立与人形机器人关节数量和类型相同的虚拟关节，根据人形机器人的关节特点，在初始姿态时，虚拟关节的次关节旋转轴与该关节的母连杆的骨骼向量共线或垂直，若两个次关节同属一个主关节，则两个次关节相互垂直。4.根据权利要求3所述的一种人形机器人模仿相似度评价方法，其特征在于：所述虚拟关节类型包括：翻滚、俯仰、偏航；所述初始姿态定义为双臂下垂的直立姿态，所对应的关节角度定义为初始关节角度。5.根据权利要求1所述的一种人形机器人模仿相似度评价方法，其特征在于：所述人形机器人与人形骨骼模型的构成部分，具体包括：将人形机器人与人形骨骼模型的躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、左脚、右上臂、右下臂、右手、右大腿、右小腿、右脚定义为连杆；将靠近躯干的连杆定义为远离躯干的连杆的母连杆；将远离躯干的连杆定义为靠近躯干的连杆的子连杆；将颈部、左肩、左肘、左腕、左髋、左膝、左踝、右肩、右肘、右腕、右髋、右膝、右踝定义为主关节；将人形机器人主关节所具有的不同自由度定义为该主关节的次关节；将靠近躯干的主关节或次关节定义为远离躯干的主关节或次关节的母关节；将远离躯干的主关节或次关节定义为靠近躯干的主关节或次关节的子关节；将与一个关节相连的两个连杆中靠近躯干的连杆定义为该关节的母连杆，远离躯干的连杆定义为该关节的子连杆；将与一个连杆相连的两个关节中靠近躯干的关节定义为该连杆的母关节，远离躯干的关节定义为该连杆的子关节。6.根据权利要求5所述的一种人形机器人模仿相似度评价方法，其特征在于：所述根据连杆或关节与躯干的距离来判断靠近或远离，其判断依据为：在连杆‐关节链中衡量连杆或关节与躯干的距离，而非在全空间中衡量连杆或关节与躯干的距离。7.根据权利要求1所述的一种人形机器人模仿相似度评价方法，其特征在于：所述建立人体骨骼模型各连杆的连杆参考坐标系，具体包括：对于子关节是含有两个次关节的主关节的连杆，其参考坐标系的两个轴分别与两个子关节在初始关节角度时的旋转轴共线，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方；对于子关节是含有一个次关节的主关节的连杆，其参考坐标系的一个坐标轴与子关节的旋转轴共线，一个坐标轴与该连杆骨骼向量共线或垂直，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系，在初始姿态时，X轴指向人体骨骼模型的正前方，Y轴指向人体骨骼模型的正左方，Z轴指向人体骨骼模型的正上方；连杆坐标系的坐标原点均位于连杆末端点，即连杆的子关节中心点处。8.根据权利要求1所述的一种人形机器人模仿相似度评价方法，其特征在于：所述将人体骨骼模型的连杆骨骼向量转换到其母连杆参考坐标系中，具体包...

【专利技术属性】
技术研发人员：张智军，牛雅儒，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44