一种虚拟现实环境中的手势动作控制系统和方法技术方案

本发明专利技术公开了一种虚拟现实环境中的手势动作控制系统和方法，该系统包括：手势捕捉模块、数据传递模块、解析识别模块和交互控制模块。本发明专利技术的技术方案通过采集手部主要关节处的动作数据，通过有线和无线连接相结合的方式传输给解析识别模块，提高手势识别效率与准确性；利用安卓系统和Unity游戏引擎结合的方式构建手势动作和虚拟现实环境中的动作指令的对应关系表，查询该对应关系表获得所述手势动作在所述虚拟现实环境中的动作指令，实现虚拟现实环境的手势动作交互控制，让使用者可以身临其境般地在虚拟现实环境中进行控制，给使用者带来真实、舒适、准确的操作体验。

【技术实现步骤摘要】

本专利技术涉及人机交互
，特别涉及。
技术介绍
近年来，随着虚拟现实技术的逐步成熟，各种虚拟现实相关的硬件，软件产品陆续出现，但是虚拟现实相关的操作技术还十分不成熟，现在主流方式仍是借助传统交互方式如键盘，鼠标，手柄等，但是这些交互方式在虚拟现实环境中都无法达到良好的交互效果与用户体验。尽管基于虚拟现实环境的新兴技术有所发展，如手势识别的交互方式的产生，但是目前市面上还没有成熟的将手势识别与虚拟现实紧密结合起来的交互控制系统。
技术实现思路
鉴于现有技术缺少成熟的将手势识别与虚拟现实紧密结合起来的交互控制系统的问题，提出了本专利技术的，以便克服上述问题或者至少部分地解决上述问题。依据本专利技术的一个方面，提供了一种虚拟现实环境中的手势动作控制系统，该系统包括:手势捕捉模块、数据传递模块、解析识别模块和交互控制模块；所述手势捕捉模块，利用安装在使用者手部主要关节处的体感捕捉器，实时捕捉有效区域内的手势动作，并记录下动作数据；所述数据传递模块，通过有线连接和无线连接相结合的方式，将所述实时记录的动作数据传输给所述解析识别模块；所述解析识别模块，用于解析所述实时记录的动作数据，识别对应的手势动作；所述交互控制模块，预设有手势动作和虚拟现实环境中的动作指令的对应关系表，查询该对应关系表获得所述手势动作在所述虚拟现实环境中的动作指令，依据所述动作指令与所述虚拟现实环境进行交互控制。可选地，所述解析识别模块包括剔除单元；所述剔除单元，用于在解析所述实时记录的动作数据之前，剔除冗余与无效的数据，所述冗余与无效的数据包括重复数据、与之前已有的数据曲线偏差很大的数据、传输过程中产生的错误数据和时间戳不符的数据。 可选地，所述解析识别模块还包括分组单元和解析单元；所述分组单元，用于根据计算能力，将所述剔除单元剔除处理后的数据分组放入手势数据缓存序列内；所述解析单元，用于对分组后的缓存序列内的手势数据进行解析，识别出一个有效的手势动作。可选地，所述手势动作在安卓系统下获取，所述手势动作和虚拟现实环境中的动作指令的对应关系表利用Unity游戏引擎预设。可选地，所述手势动作和虚拟现实环境中的动作指令的对应关系表可以根据不同的虚拟现实环境进行修改。依据本专利技术的另一个方面，提供了一种虚拟现实环境中的手势动作控制方法，该方法包括:利用安装在使用者手部主要关节处的体感捕捉器，实时捕捉有效区域内的手势动作，并记录下动作数据；通过有线连接和无线连接相结合的方式，传输所述实时记录的动作数据；解析所述实时记录的动作数据，识别对应的手势动作；查询预设的手势动作和虚拟现实环境中的动作指令的对应关系表，获得所述手势动作在虚拟现实环境中的动作指令，依据所述动作指令与所述虚拟现实环境进行交互控制。可选地，所述解析所述实时记录的动作数据，识别对应的手势动作包括:在解析所述实时记录的动作数据之前，剔除冗余与无效的数据，所述冗余与无效的数据包括重复数据、与之前已有的数据曲线偏差很大的数据、传输过程中产生的错误数据和时间戳不符的数据。可选地，所述解析所述实时记录的动作数据，识别对应的手势动作还包括:根据计算能力，将剔除处理后的数据分组放入手势数据缓存序列内；对分组后的缓存序列内的手势数据进行解析，识别出一个有效的手势动作。可选地，在安卓系统下获取所述手势动作，利用Unity游戏引擎预设所述手势动作和虚拟现实环境中的动作指令的对应关系表。可选地，根据不同的虚拟现实环境对所述手势动作和虚拟现实环境中的动作指令的对应关系表进行修改。综上所述，本专利技术的技术方案通过体感捕捉器采集手部主要关节处的动作数据，通过有线连接和无线连接相结合的方式传输实时记录的动作数据来提高手势动作识别速度和精度；通过查询虚拟现实环境中预设的手势动作和动作指令的对应关系表，获得手势动作在虚拟现实环境中的动作指令，依据该动作指令与虚拟现实环境进行交互控制，让使用者可以身临其境般的在虚拟现实环境中进行操作，给使用者带来真实、舒适、准确的操作体验。【附图说明】图1为本专利技术一个实施例提供的一种虚拟现实环境中的手势动作控制系统示意图；图2为本专利技术一个实施例提供的一种虚拟现实环境中的手势动作控制系统中解析识别模块示意图；图3为本专利技术一个实施例提供的一种虚拟现实环境中的手势动作控制方法流程图；【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。图1为本专利技术一个实施例提供的一种虚拟现实环境中的手势动作控制系统示意图，如图1所示，该虚拟现实环境中的手势动作控制系统100包括:手势捕捉模块110、数据传递模块120、解析识别模块130和交互控制模块140。手势捕捉模块110，利用安装在使用者手部主要关节处的体感捕捉器，实时捕捉有效区域内的手势动作，并记录下动作数据。由于人体的手部动作十分复杂，在短时间内，人体的手部各部分都在位置，角度，大小，形状等方面均发生了大量的变化，完全以人物手部全部的数据作为手势数据，在现阶段是不现实的。本专利技术采用关键点截取，在人物手部的多个主要关节上安装了捕捉器，由于人体各个关节之间的部分为刚体，因此可以通过关节的数据变化抽象出整个手部的整体动作；同时定义了手部动作在有效可操作区域内才有效，有效的手部动作才会被记录下来。这样在不减少动作识别的基础上减少数据采集量，可以在较短时间内采集更多真实、有效的数据，提高手势动作捕捉的速度和精度。数据传递模块120，通过有线连接和无线连接相结合的方式，将实时记录的动作数据传输给解析识别模块。物理连接线传输有着高速、稳定和抗干扰等优点，能够提高数据传输的速度，并且能够应对大量数据的并发传输。但是物理连接线有长度限制，且物理连接线占用了一定的物理空间区域，导致使用者的活动区域受到限制，因此，我们同时提供无线传输数据的方式，如蓝牙传输和紫蜂(ZigBee)传输等，相比物理连接线传输，无线传输在稳定性与速度上有部分牺牲，但是在使用灵活性上有了很大的提高，可操作范围与可活动区域得到了很大的提高，在特定的虚拟现实应用场景内可以提供更好的体验。解析识别模块130，用于解析实时记录的动作数据，识别对应的手势动作。交互控制模块140，预设有手势动作和虚拟现实环境中的动作指令的对应关系表，查询该对应关系表获得手势动作在虚拟现实环境中的动作指令，依据动作指令与虚拟现实环境进行交互控制。将实时捕捉到的手势动作模拟为虚拟现实环境中人物或物体的某个具体动作，让使用者可以身临其境般地在虚拟现实环境中进行交互控制，给使用者带来真实、舒适、准确的操作体验。图2为本专利技术一个实施例提供的一种虚拟现实环境中的手势动作控制系统中解析识别模块示意图。如图2所示，解析识别模块130包括剔除单元131、分组单元132和解析单元133。剔除单元131，用于在解析实时记录的动作数据之前，剔除冗余与无效的数据，冗余与无效的数据包括重复数据、与之前已有的数据曲线偏差很大的数据、传输过程中产生的错误数据和时间戳不符的数据。分组单元132，用于根据计算能力，将剔除单元131剔除处理后的数据分组放入手势数据缓存序列内。解析单元133，用于对分组后的缓存序列内的手势数据进行解析，识别出一个有效的手势动作。由于在数据解析识别之前剔除了大量的冗余本文档来自技高网...

【技术保护点】
一种虚拟现实环境中的手势动作控制系统，其特征在于，该系统包括：手势捕捉模块、数据传递模块、解析识别模块和交互控制模块；所述手势捕捉模块，利用安装在使用者手部主要关节处的体感捕捉器，实时捕捉有效区域内的手势动作，并记录下动作数据；所述数据传递模块，通过有线连接和无线连接相结合的方式，将所述实时记录的动作数据传输给所述解析识别模块；所述解析识别模块，用于解析所述实时记录的动作数据，识别对应的手势动作；所述交互控制模块，预设有手势动作和虚拟现实环境中的动作指令的对应关系表，查询该对应关系表获得所述手势动作在所述虚拟现实环境中的动作指令，依据所述动作指令与所述虚拟现实环境进行交互控制。

【技术特征摘要】

【专利技术属性】
技术研发人员：李为，张瑞生，张建，
申请(专利权)人：北京小鸟看看科技有限公司，
类型：发明
国别省市：北京;11