一种配置体感动作与虚拟操作间映射关系的方法及装置制造方法及图纸

本发明专利技术提供一种配置体感动作与虚拟操作间映射关系的方法及装置，所述方法包括：S1，利用Kinect设备采集目标应用所需的各样本体感动作数据，并生成相应的动作数据文件；S2，对所述动作数据文件进行训练，获得动作识别文件，并加载所述动作识别文件所对应的体感动作，生成动作库；S3，根据目标应用的体感交互需求，构建所述动作库中的每个体感动作与虚拟操作消息之间的映射关系，生成体感动作与虚拟操作映射集。本发明专利技术可以自定义设计体感动作，实现用户体感动作行为与传统键盘和鼠标事件的实时映射，并且支持对连续动作的识别，可方便地实现传统交互方式应用的体感化操作，提高开发效率。

Method and device for configuring mapping relationship between somatosensory action and virtual operation

The invention provides a method and a device for configuring the mapping relationship between somatosensory action and virtual operation. The method includes: S1, collecting the somatosensory action data of each sample required for target application by Kinect device, and generating corresponding motion data files; S2, training the motion data files to obtain motion recognition text. Part 3 builds the mapping relationship between each somatosensory action and virtual operation message in the action library according to the somatosensory interaction requirements of the target application, and generates the mapping set of somatosensory action and virtual operation. The invention can customize the design of somatosensory action, realize the real-time mapping of user's somatosensory action behavior with traditional keyboard and mouse events, and support the recognition of continuous action. It can conveniently realize the somatosensory operation of traditional interactive application and improve the development efficiency.

【技术实现步骤摘要】
一种配置体感动作与虚拟操作间映射关系的方法及装置
本专利技术涉及人机交互
，更具体地，涉及一种配置体感动作与虚拟操作间映射关系的方法及装置。
技术介绍
目前人与计算机的交互方式依旧局限于鼠标与键盘，这种交互方式在很长一段时间内制约了人机交互的进一步发展。随着科学技术的高速发展，更高层次的人机交互理念对交互方式提出了巨大的需求，众多科研人员开始对新的交互技术的多通道界面展开研究。Kinect的出现开启了新一代人机交互方式的新篇章，这种基于计算机视觉的体感交互因其相比穿戴式交互更具直观性、自然性而成为最有前景的一种方法。由于体感交互方式更加自然，尤其适合玩运动类的游戏，体感交互方式目前在游戏领域得到了广泛的应用。但体感交互游戏的开发需要大量的专业知识，导致体感交互游戏制作成本高，制作周期长，开发效率低。除此之外还有很多适合用体感方式进行交互的传统应用，如何使这些传统应用快速地实现高契合度的体感交互方式是当前研究热点。目前，FAAST(FlexibleActionandArticulatedSkeletontoolkit)是介于Kinect软件开发工具包和应用程序之间的体感操作中间件，主要采用事件触发方式对角度、距离、速度等事件进行识别，开发人员利用FAAST进行二次开发能够实现应用由传统交互方式向体感交互方式的转换。但基于FAAST进行二次开发本身具有局限性，对连续动作的识别较困难，同时不能实现体感动作的自定义和使用，另外，FAAST的使用门槛较高，开发人员需要花费大量时间了解身体25个可识别关节点的位置和各种复杂的动作描述限制后，才能够使用它进行开发。
技术实现思路
为了解决将应用从传统交互方式转换为体感交互方式的开发过程中存在的开发门槛较高、开发周期长且对连续体感动作识别较困难，不能实现体感动作的自定义和使用的问题，本专利技术提供一种配置体感动作与虚拟操作间映射关系的方法及装置。根据本专利技术的一个方面，提供一种配置体感动作与虚拟操作间映射关系的方法，包括：S1，利用Kinect设备采集目标应用所需的各样本体感动作数据，并生成相应的动作数据文件；S2，对所述动作数据文件进行训练，获得动作识别文件，并加载所述动作识别文件所对应的体感动作，生成动作库；S3，根据目标应用的体感交互需求，构建所述动作库中的每个体感动作与虚拟操作消息之间的映射关系，生成体感动作与虚拟操作映射集。其中，在所述步骤S3之后，还包括：S4，实时采集用户的目标体感动作并与所述动作库中的体感动作进行匹配以获取所述用户的目标体感动作所属的动作类别，根据所述体感动作与虚拟操作映射集，获取并激发所述动作类别所对应的虚拟操作消息。其中，所述步骤S1进一步包括：S11，连接Kinect设备，选择需要录制的数据源；S12，采集开始计时后，等待所述Kinect设备所录制的图像显示出人体骨架后开始采集目标应用所需的各样本体感动作数据；S13，对所采集的各样本体感动作数据进行是否完整显示人体骨骼和完整采集的检查，若检查结果为是，则对所述体感动作数据进行命名并保存，获得各xef格式的动作数据文件。其中，所述步骤S2进一步包括：S21，创建动作工程，选择离散姿势或连续动作训练算法，并对训练过程进行设置；S22，载入所生成的多个动作数据文件，分别对各个动作数据文件进行是否符合目标应用需求的标记；S23，根据所选择的训练算法对标记后的动作数据文件进行训练，在预设时间后生成gba格式的动作识别文件；S24，对训练好的动作识别文件进行实时预览并对训练的效果进行分析，若达到目标应用的使用标准则训练成功，否则重新进行标记后再训练；S25，加载训练成功的动作识别文件所对应的体感动作，生成动作库。其中，所述步骤S3进一步包括：S31，从动作库中选择一个体感动作作为输入，从虚拟操作消息中选择一个事件作为输出，对所建立的映射关系进行命名；S32，重复步骤S31直至所获得的映射关系符合目标应用的体感交互需求，获得体感动作与虚拟操作映射集，并将所述体感动作与虚拟操作映射集存储为xml文件。根据本专利技术的另一个方面，提供一种配置体感动作与虚拟操作间映射关系的装置，包括：体感动作采集单元，用于利用Kinect设备采集目标应用所需的各样本体感动作数据，并生成相应的动作数据文件；动作库生成单元，用于对所述动作数据文件进行训练，获得动作识别文件，并加载所述动作识别文件所对应的体感动作，生成动作库；映射构建单元，用于根据目标应用的体感交互需求，构建所述动作库中的每个体感动作与虚拟操作消息之间的映射关系，生成体感动作与虚拟操作映射集。其中，还包括：动作匹配单元，用于实时采集用户的目标体感动作并与所述动作库中的体感动作进行匹配以获取所述用户的目标体感动作所属的动作类别，根据所述体感动作与虚拟操作映射集，获取并激发所述动作类别所对应的虚拟操作消息。其中，所述体感动作采集单元具体用于：连接Kinect设备，选择需要录制的数据源；采集开始计时后，等待所述Kinect设备所录制的图像显示出人体骨架后开始采集目标应用所需的各样本体感动作数据；对所采集的各样本体感动作数据进行是否完整显示人体骨骼和完整采集的检查，若检查结果为是，则对所述体感动作数据进行命名并保存，获得各xef格式的动作数据文件。其中，所述动作库生成单元具体用于：创建动作工程，选择离散姿势或连续动作训练算法，并对训练过程进行设置；载入所生成的多个动作数据文件，分别对各个动作数据文件进行是否符合目标应用需求的标记；根据所选择的训练算法对标记后的动作数据文件进行训练，在预设时间后生成gba格式的动作识别文件；对训练好的动作识别文件进行实时预览并对训练的效果进行分析，若达到目标应用的使用标准则训练成功，否则重新进行标记后再训练；加载训练成功的动作识别文件所对应的体感动作，生成动作库。其中，所述映射构建单元具体用于：从动作库中选择一个体感动作作为输入，从虚拟操作消息中选择一个事件作为输出，对所建立的映射关系进行命名；重复映射关系的建立直至所获得的映射关系符合目标应用的体感交互需求，获得体感动作与虚拟操作映射集，并将所述体感动作与虚拟操作映射集存储为xml文件。本专利技术提出的一种配置体感动作与虚拟操作间映射关系的方法及装置，开发人员可以自定义设计体感动作，快速有效地构建体感动作与虚拟操作之间的映射关系集，实现了用户体感动作行为与传统键盘和鼠标事件的实时映射，并且支持对连续动作的识别，可方便地实现传统交互方式应用的体感化操作，提高开发效率。附图说明图1为根据本专利技术一实施例提供的一种配置体感动作与虚拟操作间映射关系的方法的流程示意图；图2为根据本专利技术一实施例提供的描述图1中各步骤具体实现过程的简要说明图；图3为根据本专利技术一实施例提供的人体骨架三维模型的示意图；图4为根据本专利技术另一实施例提供的一种配置体感动作与虚拟操作间映射关系的装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本专利技术保护的范围本文档来自技高网...

【技术保护点】
1.一种配置体感动作与虚拟操作间映射关系的方法，其特征在于，包括：S1，利用Kinect设备采集目标应用所需的各样本体感动作数据，并生成相应的动作数据文件；S2，对所述动作数据文件进行训练，获得动作识别文件，并加载所述动作识别文件所对应的体感动作，生成动作库；S3，根据目标应用的体感交互需求，构建所述动作库中的每个体感动作与虚拟操作消息之间的映射关系，生成体感动作与虚拟操作映射集。

【技术特征摘要】
1.一种配置体感动作与虚拟操作间映射关系的方法，其特征在于，包括：S1，利用Kinect设备采集目标应用所需的各样本体感动作数据，并生成相应的动作数据文件；S2，对所述动作数据文件进行训练，获得动作识别文件，并加载所述动作识别文件所对应的体感动作，生成动作库；S3，根据目标应用的体感交互需求，构建所述动作库中的每个体感动作与虚拟操作消息之间的映射关系，生成体感动作与虚拟操作映射集。2.根据权利要求1所述的方法，其特征在于，在所述步骤S3之后，还包括：S4，实时采集用户的目标体感动作并与所述动作库中的体感动作进行匹配以获取所述用户的目标体感动作所属的动作类别，根据所述体感动作与虚拟操作映射集，获取并激发所述动作类别所对应的虚拟操作消息。3.根据权利要求1或2所述的方法，其特征在于，所述步骤S1进一步包括：S11，连接Kinect设备，选择需要录制的数据源；S12，采集开始计时后，等待所述Kinect设备所录制的图像显示出人体骨架后开始采集目标应用所需的各样本体感动作数据；S13，对所采集的各样本体感动作数据进行是否完整显示人体骨骼和完整采集的检查，若检查结果为是，则对所述体感动作数据进行命名并保存，获得各xef格式的动作数据文件。4.根据权利要求1或2所述的方法，其特征在于，所述步骤S2进一步包括：S21，创建动作工程，选择离散姿势或连续动作训练算法，并对训练过程进行设置；S22，载入所生成的多个动作数据文件，分别对各个动作数据文件进行是否符合目标应用需求的标记；S23，根据所选择的训练算法对标记后的动作数据文件进行训练，在预设时间后生成gba格式的动作识别文件；S24，对训练好的动作识别文件进行实时预览并对训练的效果进行分析，若达到目标应用的使用标准则训练成功，否则重新进行标记后再训练；S25，加载训练成功的动作识别文件所对应的体感动作，生成动作库。5.根据权利要求1或2所述的方法，其特征在于，所述步骤S3进一步包括：S31，从动作库中选择一个体感动作作为输入，从虚拟操作消息中选择一个事件作为输出，对所建立的映射关系进行命名；S32，重复步骤S31直至所获得的映射关系符合目标应用的体感交互需求，获得体感动作与虚拟操作映射集，并将所述体感动作与虚拟操作映射集存储...

【专利技术属性】
技术研发人员：程新荣，张一航，陈洪，王庆，郭浩，朱德海，于景华，王述，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京,11