基于深度相机Kinect的体感交互转换方法及装置制造方法及图纸

本发明专利技术公开一种基于深度相机Kinect的体感交互转换方法及装置，能够实现非体感应用的体感化操作。该方法包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；S3、基于转换后的空间信息构建人体骨架三维模型；S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

Method and apparatus for somatosensory interaction conversion based on depth camera Kinect

The invention discloses a body sense mutual conversion method and device based on a deep camera Kinect, which can realize the somatosensory operation of non somatosensory applications. The method includes: S1, spatial information through Kinect to obtain the depth camera human bones and joints; S2, creating a user space coordinate system, the spatial information into the user space coordinate system; S3, three-dimensional model of human skeleton building spatial information conversion based on S4; and through according to the human skeleton the 3D model of the definition of attitude, attitude to establish template library, among them, the attitude of the template library includes at least one gesture definition description and the attitude the attitude type; S5, for the user to make a gesture analysis, the analytical results of the attitude and the attitude of template matching, recognition a type of attitude the user to make a gesture which, according to the attitude type keyboard response message corresponding mechanism to stimulate the attitude through the message type.

【技术实现步骤摘要】
基于深度相机Kinect的体感交互转换方法及装置
本专利技术涉及人机交互
，具体涉及一种基于深度相机Kinect的体感交互转换方法及装置。
技术介绍
体感交互的出现是人与机器对话方式回归自然的重要转折，体现了人们对“以人为中心”设计理念的不懈追求。体感游戏是体感交互的一个重要的应用领域，突破了以往单纯以手柄按键输入的操作方式，使人们可以通过肢体动作控制计算机。作为一种新兴的游戏体验模式，体感游戏将用户从控制设备中解放出来，从人机交互角度上来说，可以使玩家自然直观的沉浸在游戏中，带动全身同时运动，让玩家在游戏中得到锻炼，同时也给玩家带来更高的游戏乐趣。Kinect作为新一代的新型人机交互设备，可以实现将实时捕捉到的人的动作、面部表情以及语音作为机器输入指令，这一强大的特性也使得Kinect成为人机交互领域的一个热点。但目前开发团队开发出优秀的基于Kinect体感游戏存在一定的困难，如游戏开发成本高，设计水平及质量参差不齐，制作周期长，开发效率低等，而制作精良的非体感交互的游戏，游戏数量庞大，资源较为丰富，却不能支持体感化操作。
技术实现思路
有鉴于此，本专利技术要解决的问题：提出一种有效的体感交互转换工具，实现非体感应用的体感化操作。一方面，本专利技术实施例提出一种基于深度相机Kinect的体感交互转换方法，包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；S3、基于转换后的空间信息构建人体骨架三维模型；S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。另一方面，本专利技术实施例提出一种基于深度相机Kinect的体感交互转换装置，包括：获取单元，用于通过深度相机Kinect获取人体骨骼及关节点的空间信息；转换单元，用于建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；构建单元，用于基于转换后的空间信息构建人体骨架三维模型；建立单元，用于通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；匹配单元，用于对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。本专利技术实施例提供的基于深度相机Kinect的体感交互转换方法及装置，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。经实验证明，本专利技术所提出的方法能够使用户通过姿态控制的方式来控制原本基于电脑键盘交互的应用，达到了丰富体感游戏资源的目的。附图说明图1为本专利技术基于深度相机Kinect的体感交互转换方法一实施例的流程示意图；图2为图1中步骤S3得到的人体骨架三维模型的示意图；图3为本专利技术基于深度相机Kinect的体感交互转换装置一实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参看图1，本实施例公开一种基于深度相机Kinect的体感交互转换方法，包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；S3、基于转换后的空间信息构建人体骨架三维模型；S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。当用户在Kinect设备前做出特定的动作时，若该动作刚好可以被动作模板库中的动作所匹配，则相对应的动作类型则会检索出来，至此则完成了动作识别过程。之后识别出的动作类型会触发特定的按键消息，从而使用户通过直接做出特定动作控制键盘，实现了键盘交互到体感交互的转换。本专利技术实施例提供的基于深度相机Kinect的体感交互转换方法，通过上述技术方案，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。在前述方法实施例的基础上，所述S1中获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体20个关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息，通过微软提供的KinectforWindowsSDK中的BodyFrameSource，BodyFrameReader，BodyFrameReference，BodyFrame和Body类来获取基本骨架数据信息。这些信息基于Kinect设备空间坐标系。20个关节点分别包括脊椎关节集合(头部、颈部、肩部中央、盆骨中央)，右臂集合(右肩、右肘、右腕，右手)，左臂集合(左肩、左肘、左腕，左手)，右腿集合(右臀、右膝、右踝、右脚)，左腿集合(左臀、左膝、左踝、左脚)。在前述方法实施例的基础上，所述S2，可以包括：S21、以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；S22、将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。在前述方法实施例的基础上，所述人体骨架三维模型的构成特征可以包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。构建骨架模型的基本几何要素包括：点，线段。点对应于骨架模型中的关节点，线段对应于骨架模型中的骨骼段。如图2所示为人体骨架三维模型的示意图，20个圆点表示20个关节，圆点连线表示骨骼段。在前述方法实施例的基础上，所述S4，可以包括：根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。本实施例中，基于关节点位置的描述：采用阈值触发机制，如定义“举右手”这个动作时，只需要使右手关节坐标的z坐标减去右肩关节坐标的z坐标大于一定阈值便可实现；基于骨骼段之间角度的描述：每一个骨骼段在3D空间坐标系中表现为一个有长度、有方向的向量，两个向量形成的夹角可以用来描本文档来自技高网...

【技术保护点】
一种基于深度相机Kinect的体感交互转换方法，其特征在于，包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；S3、基于转换后的空间信息构建人体骨架三维模型；S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

【技术特征摘要】
1.一种基于深度相机Kinect的体感交互转换方法，其特征在于，包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；S3、基于转换后的空间信息构建人体骨架三维模型；S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。2.根据权利要求1所述的方法，其特征在于，所述S1中获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息。3.根据权利要求2所述的方法，其特征在于，所述S2，包括：S21、以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；S22、将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。4.根据权利要求3所述的方法，其特征在于，所述人体骨架三维模型的构成特征包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。5.根据权利要求4所述的方法，其特征在于，所述S4，包括：根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。6.一种基于深度相机K...

【专利技术属性】
技术研发人员：王庆，许常蕾，陈洪，梅树立，朱德海，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京,11