一种人体肢体语言识别方法及系统技术方案

本发明专利技术公开了一种人体肢体语言识别方法及系统。所述识别方法包括：构建虚拟世界环境，基于Kinect摄像头获取人体的肢体特征点；根据肢体特征点构建肢体语义集合；以任一条肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系；根据相对三维坐标系确定任一条肢体语义基于所述肢体语义特征点的方向向量；根据方向向量建立肢体语义触发机制；根据肢体语义触发机制识别人体肢体语言。本发明专利技术所提供的识别方法及系统通用性强，能够准确识别人体肢体语言。

A Human Body Language Recognition Method and System

【技术实现步骤摘要】
一种人体肢体语言识别方法及系统
本专利技术涉及人机交互领域，特别是涉及一种人体肢体语言识别方法及系统。
技术介绍
本专利技术的技术背景是三维虚拟世界中的人机交互技术，在虚拟世界的人机交互中，计算机通过摄像头识别人的肢体动作，判断人的操作意图，即判断人传送给机器的命令，机器接收到命令后从而做出反馈，完成现实世界的人与虚拟世界的机的交互过程。在这个人机交互过程中，机器检测到人体的肢体动作，并且识别肢体动作所代表的语义，是整个人机交互过程的关键。手势语义设计的方法很多，总体而言，现有的基于人体特征的语义设计方法大多没有遵循固定的思维逻辑，有些是基于人体特征点位置信息改变的思维逻辑，有些是基于特征点的时序逻辑，有些则是思维逻辑和时序逻辑的组合。因为没有遵循固定的逻辑，导致语义设计这领域的研究没有形成体系化以及特别有影响力的理论和应用，每个研究课题组都有自己的方法，效果参差不齐，彼此不能通用，传播性能较弱；且关于虚拟世界中的人体肢体的语义设计较少，仅根据手势语义无法精确识别现实中人的具体操作指令。
技术实现思路
本专利技术的目的是提供一种人体肢体语言识别方法及系统，以解决传统的手势语义识别通用性差，传播性能弱，无法精确识别操作指令的问题。为实现上述目的，本专利技术提供了如下方案：一种人体肢体语言识别方法，包括：构建虚拟世界环境，基于Kinect摄像头获取人体的肢体特征点；所述肢体特征点包括头部特征点、颈部特征点、脊柱特征点、指尖特征点、手指特征点、手腕特征点、手肘特征点、肩部特征点、臀部特征点、膝盖特征点、踝关节特征点以及脚部特征点；根据所述肢体特征点构建肢体语义集合；所述肢体语义集合包括基于所述肢体语义特征点的多条肢体语义；每条所述肢体语义至少对应两个相关的所述肢体特征点；以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系；根据所述相对三维坐标系确定任一条所述肢体语义基于所述肢体语义特征点的方向向量；根据所述方向向量建立肢体语义触发机制；根据所述肢体语义触发机制识别人体肢体语言。可选的，所述以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系，具体包括：以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，当人体处于“十”字状态下，以人体水平方向为X轴，以身体为Y轴，X轴与Y轴的交点为O点，以垂直于XOY平面的轴为Z轴，建立相对三维坐标系。可选的，所述以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系之后，还包括：获取任一所述肢体语义内与所述任一肢体语义特征点相关的肢体语义特征点的相对坐标。可选的，所述根据所述相对三维坐标系确定任一条所述肢体语义基于所述肢体语义特征点的方向向量，具体包括：根据所述任一肢体语义特征点的坐标以及所述相对坐标确定任一条所述肢体语义基于所述肢体语义特征点的方向向量。可选的，所述根据所述方向向量建立肢体语义触发机制，具体包括：比较所述方向向量与0的大小，确定比较结果；所述比较结果为：当或时，确定当前运动的肢体特征点沿着X轴的正方向运动或负方向运动；当或时，确定当前运动的肢体特征点沿着Y轴的正方向运动或负方向运动；当或时，确定当前运动的肢体特征点沿着Z轴的正方向运动或负方向运动；其中，Rx1为所述任一肢体语义特征点的x轴坐标，Ry1为所述任一肢体语义特征点的y轴坐标，Rz1为所述任一肢体语义特征点的z轴坐标；Rx2为与所述任一肢体语义特征点相关的肢体语义特征点的x轴坐标，Ry2为与所述任一肢体语义特征点相关的肢体语义特征点的y轴坐标，Rz2为与所述任一肢体语义特征点相关的肢体语义特征点的z轴坐标；根据所述比较结果确定肢体运动方向；根据所述肢体运动方向建立肢体语义触发机制。一种人体肢体语言识别系统，包括：肢体特征点获取模块，用于构建虚拟世界环境，基于Kinect摄像头获取人体的肢体特征点；所述肢体特征点包括头部特征点、颈部特征点、脊柱特征点、指尖特征点、手指特征点、手腕特征点、手肘特征点、肩部特征点、臀部特征点、膝盖特征点、踝关节特征点以及脚部特征点；肢体语义集合构建模块，用于根据所述肢体特征点构建肢体语义集合；所述肢体语义集合包括基于所述肢体语义特征点的多条肢体语义；每条所述肢体语义至少对应两个相关的所述肢体特征点；相对三维坐标系建立模块，以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系；方向向量确定模块，用于根据所述相对三维坐标系确定任一条所述肢体语义基于所述肢体语义特征点的方向向量；肢体语义触发机制建立模块，用于根据所述方向向量建立肢体语义触发机制；人体肢体语言识别模块，用于根据所述肢体语义触发机制识别人体肢体语言。可选的，所述相对三维坐标系建立模块具体包括：相对三维坐标系建立单元，用于以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，当人体处于“十”字状态下，以人体水平方向为X轴，以身体为Y轴，X轴与Y轴的交点为O点，以垂直于XOY平面的轴为Z轴，建立相对三维坐标系。可选的，还包括：相对坐标获取模块，用于获取任一所述肢体语义内与所述任一肢体语义特征点相关的肢体语义特征点的相对坐标。可选的，所述方向向量确定模块具体包括：方向向量确定单元，用于根据所述任一肢体语义特征点的坐标以及所述相对坐标确定任一条所述肢体语义基于所述肢体语义特征点的方向向量。可选的，所述肢体语义触发机制建立模块具体包括：比较结果确定单元，用于比较所述方向向量与0的大小，确定比较结果；所述比较结果为：当或时，确定当前运动的肢体特征点沿着X轴的正方向运动或负方向运动；当或时，确定当前运动的肢体特征点沿着Y轴的正方向运动或负方向运动；当或时，确定当前运动的肢体特征点沿着Z轴的正方向运动或负方向运动；其中，Rx1为所述任一肢体语义特征点的x轴坐标，Ry1为所述任一肢体语义特征点的y轴坐标，Rz1为所述任一肢体语义特征点的z轴坐标；Rx2为与所述任一肢体语义特征点相关的肢体语义特征点的x轴坐标，Ry2为与所述任一肢体语义特征点相关的肢体语义特征点的y轴坐标，Rz2为与所述任一肢体语义特征点相关的肢体语义特征点的z轴坐标；肢体运动方向确定单元，用于根据所述比较结果确定肢体运动方向；肢体语义触发机制建立单元，用于根据所述肢体运动方向建立肢体语义触发机制。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供了一种人体肢体语言识别方法及系统，以基于方向向量的方向余弦作为语义设计的理论基础，以整个人体的肢体特征点为基础，建立肢体语义触发机制，从而更精确识别人体的操作指令，采用统一的肢体语义，解决了传统的手势语义识别通用性差，传播性能弱的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所提供的人体肢体语言识别方法流程图；图2为本专利技术所提供的25个肢体特征点在人体肢体的空间位置示意图；图3为本专利技术所提供的虚拟世界环境中的人体模型示意图；图4为本专利技术所提供的用户与虚拟世界中的物体进行交互的多张视频序列帧示意图；图4(a)为本发本文档来自技高网...

【技术保护点】
1.一种人体肢体语言识别方法，其特征在于，包括：构建虚拟世界环境，基于Kinect摄像头获取人体的肢体特征点；所述肢体特征点包括头部特征点、颈部特征点、脊柱特征点、指尖特征点、手指特征点、手腕特征点、手肘特征点、肩部特征点、臀部特征点、膝盖特征点、踝关节特征点以及脚部特征点；根据所述肢体特征点构建肢体语义集合；所述肢体语义集合包括基于所述肢体语义特征点的多条肢体语义；每条所述肢体语义至少对应两个相关的所述肢体特征点；以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系；根据所述相对三维坐标系确定任一条所述肢体语义基于所述肢体语义特征点的方向向量；根据所述方向向量建立肢体语义触发机制；根据所述肢体语义触发机制识别人体肢体语言。

【技术特征摘要】
1.一种人体肢体语言识别方法，其特征在于，包括：构建虚拟世界环境，基于Kinect摄像头获取人体的肢体特征点；所述肢体特征点包括头部特征点、颈部特征点、脊柱特征点、指尖特征点、手指特征点、手腕特征点、手肘特征点、肩部特征点、臀部特征点、膝盖特征点、踝关节特征点以及脚部特征点；根据所述肢体特征点构建肢体语义集合；所述肢体语义集合包括基于所述肢体语义特征点的多条肢体语义；每条所述肢体语义至少对应两个相关的所述肢体特征点；以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系；根据所述相对三维坐标系确定任一条所述肢体语义基于所述肢体语义特征点的方向向量；根据所述方向向量建立肢体语义触发机制；根据所述肢体语义触发机制识别人体肢体语言。2.根据权利要求1所述的人体肢体语言识别方法，其特征在于，所述以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系，具体包括：以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，当人体处于“十”字状态下，以人体水平方向为X轴，以身体为Y轴，X轴与Y轴的交点为O点，以垂直于XOY平面的轴为Z轴，建立相对三维坐标系。3.根据权利要求2所述的人体肢体语言识别方法，其特征在于，所述以任一条所述肢体语义内任一肢体语义特征点的坐标为原点，建立相对三维坐标系之后，还包括：获取任一所述肢体语义内与所述任一肢体语义特征点相关的肢体语义特征点的相对坐标。4.根据权利要求3所述的人体肢体语言识别方法，其特征在于，所述根据所述相对三维坐标系确定任一条所述肢体语义基于所述肢体语义特征点的方向向量，具体包括：根据所述任一肢体语义特征点的坐标以及所述相对坐标确定任一条所述肢体语义基于所述肢体语义特征点的方向向量。5.根据权利要求4所述的人体肢体语言识别方法，其特征在于，所述根据所述方向向量建立肢体语义触发机制，具体包括：比较所述方向向量与0的大小，确定比较结果；所述比较结果为：当或时，确定当前运动的肢体特征点沿着X轴的正方向运动或负方向运动；当或时，确定当前运动的肢体特征点沿着Y轴的正方向运动或负方向运动；当或时，确定当前运动的肢体特征点沿着Z轴的正方向运动或负方向运动；其中，Rx1为所述任一肢体语义特征点的x轴坐标，Ry1为所述任一肢体语义特征点的y轴坐标，Rz1为所述任一肢体语义特征点的z轴坐标；Rx2为与所述任一肢体语义特征点相关的肢体语义特征点的x轴坐标，Ry2为与所述任一肢体语义特征点相关的肢体语义特征点的y轴坐标，Rz2为与所述任一肢体语义特征点相关的肢体语义特征点的z轴坐标；根据所述比较结果确定肢体运动方向；根据所述肢体运动方向建立肢体语义触发机制。6.一种人体肢体语言识别系统，其特征在于，包括...

【专利技术属性】
技术研发人员：伍穗颖，柯茂旭，王筠，
申请(专利权)人：广州凡拓数字创意科技股份有限公司，
类型：发明
国别省市：广东,44