一种面向虚拟现实的交互系统及其方法技术方案

一种面向虚拟现实的交互系统，包括动作追踪模块、EOG信号采集模块和显示模块；在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式。

【技术实现步骤摘要】
一种面向虚拟现实的交互系统及其方法
本专利技术涉及虚拟现实
，具体涉及一种面向虚拟现实的交系统及其方法。
技术介绍
多媒体应用包括能够向用户传送多媒体体验的设备。这些设备包括例如电视机、多媒体播放器、平板电脑、计算机、移动电话、膝上型电脑、盘播放器等。具体地，大屏电视机变得非常普及。目前的大屏电视机(TV)通常由红外(IR)遥控器来控制。通过使用IR遥控器上的导航键来控制TV的图形用户界面(GUI)。还可以通过第二屏幕(例如平板电脑)来控制GUI，其通过允许TV的用户(例如观看者)通过在平板电脑上输入用于在GUI中导航的指令来在GUI中导航。通常，在平板电脑的触摸屏上的所谓划动将被发送为用于在GUI中侧向移动的指令，即，类似于当用户按下遥控器上的方向键时的情况。使用平板电脑相较于IR遥控器控制GUI的一个优势在于，可以利用触摸屏特定的输入特征(通常是平板电脑所固有的，例如划动和两指命令)。此外，现有的TV可以配备有相机，该相机可以捕捉用户的手势。手势可以是用户挥手来控制GUI。此外，现有的TV可以配备有麦克风，该麦克风可以捕捉用户的语音命令。随后语音命令可以控制TV的GUI。
技术实现思路
本专利技术针对现有技术的不足，目的在于提供一种能够以同步方式进行信息确认和传输，能够确保信号采集和输出的效率和成功率最大化，因此，针对该专利技术提供了一种面向虚拟现实的交互系统及其方法；如下为本专利技术具体技术方案；其中，一种面向虚拟现实的交互系统如下所示：一种面向虚拟现实的交互方法，具体技术方案如下：一种面向虚拟现实的交互系统，其特征在于：包括动作追踪模块、EOG信号采集模块和显示模块；在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式；控制器通知EOG信号采集模块进行EOG信号提取；所述EOG信号采集模块将提取的EOG信号传递到所述控制器，所述控制器根据所述EOG信号用于执行对应的图形用户界面组件命令。其中，一种面向虚拟现实的交互方法如下所示：一种面向虚拟现实的交互方法，其特征在于：采用以下步骤，步骤1：用户穿戴所述动作追踪模块，将所述动作追踪模块的数据端口与所述显示模块的数据端口相连；步骤2：对触发装置位置进行初始化设置，选定触发装置在现实空间中的一个坐标作为初始坐标；同时，在虚拟空间中对应设置一个原点坐标，建立初始坐标与虚拟空间中的原点坐标的关联；步骤3：感应组件等待接受触发装置触发信号，处理器判断感应组件是否接受到匹配的触发信号，如果存在对应的触发信号，则进入下一步骤；步骤4：处理器通知图形用户界面组件由隐藏状态转换为可视化状态；步骤5：图形用户界面组件进入到同步模式，该同步模式为在每个GUI组件闪烁时，EOG信号采集模块同步采集该GUI组件对应的信号段；EOG检测模块检测采集该信号段中是否存在EOG信号，如果存在EOG信号，则进入步骤6，否则，回到步骤3；步骤6：控制器根据该EOG信号确定用户选择的图形界面组件，且执行图形界面组件对应的指令；步骤7：按照步骤3至步骤6重复执行。进一步地：所述步骤5包括如下步骤：步骤5-1：在显示模块上分布的N个GUI组件中，设置闪烁轮数为x，x>1；步骤5-2：在每轮中，每个GUI组件以间隔时间T0随机闪烁一次；针对的每一轮按照步骤S1至步骤S4执行；步骤5-3：针对闪烁轮数x中均出现的候选GUI组件，作为目标GUI组件；S1：在当前轮数中，设置有初始时间集合T1和EOG特征向量集合M1，每个GUI组件均闪烁完成后，记录该GUI组件闪烁开始时间为ti，将ti加入到集合T1；同时，EOG信号采集模块同步地提取该GUI组件闪烁时，对应的EOG信号段si，该EOG信号段si的起止区间为[ti，ti+r]；其中，1<i<N，ti为GUI组件闪烁的起止时间点，r为EOG信号段的持续时间；S2：设置有过滤集合特征集L，对所述EOG特征向量集合M1中的每个EOG信号段si进行数字带通滤波后，得到对应的滤波信号特征向量li,将滤波信号特征向量li加入到过滤集合L；S3：对过滤集合L中的滤波信号特征向量li的差分采用一阶差值近似，得到如下表达式：F'(n)＝F(n)-F(n-1)其中F(n)是滤波信号向量li中第n个采样点的值，F'(n)是滤波信号段li对应的差分值；当F'(n)的取值为当前时间段最大值时，则为滤波信号段信号段si的速度峰值，记为Smax；S4：对滤波信号向量li进行波形检测，确定候选GUI组件。所述S4包括如下步骤：S41：在滤波信号向量li的波形中存在一个波峰tm1和一个波谷tm2，波峰tm1出现在波谷tm2之后；S42：利用幅度，持续时间tp和速度Smax来指示是否有闪烁波形，如下所示，将滤波信号向量li利用以下不等式进行检测：其中Smax为幅度峰值，Son为幅度阈值，tmin为持续时间最小的阈值，tmax为持续时间最大的阈值，tp为持续时间；S43：通过判断bi的取值来确定滤波信号向量li是否通过了波形检测，如果bi＝1，则进入S44，否则，进入S45；S44：表示滤波信号向量li对应的GUI组件i的波形检测已经通过，将该GUI组件i设置为候选值；S45：滤波信号向量li对应的GUI组件i设置为不识别候选值；S46：当该轮有a个候选按钮时，a>1，通过比较以下等式：e＝|tp-Tp|其中e是评估值，Tp表示平均延迟，tp持续时间，a>1；从a个候选按钮中，选择具有最小评估值e的按钮作为该轮的潜在目标。本专利技术的有益效果为：本专利技术可以为VR/AR等新一代显示技术提供新的非手动交互方法，通过头瞄实现类似鼠标的移动方式，EOG实现类似鼠标点击的确定方式，执行效率高，优于现有单一的手柄、头瞄和手势等交互方式。附图说明图1为本专利技术的工作流程图；图2为差分EOG波形图；图3为头瞄设备与感应组件的作用示意图。具体实施方式下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。一种面向虚拟现实的交互系统，包括动作追踪模块、EOG信号采集模块和显示模块；在显示模块上分别有图形用户界面组件，图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；在动作追踪模块上设置有触发装置，在显示模块上设置有与触发装置对应的感应组件；触发装置发出激活信号，当感应组件感应到激活信号，图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式；控制器通知EOG信号采集模块进行EOG信号提取；EOG信号采集模块将提取的EOG信号传递到控制器，控制器根据EOG信号用于执行对应的图形用户界面组件命令。其中，一种面向虚拟现实的交互方法实施例如下所示：一种面向虚拟现实的交互方法，采用以下步骤，步骤1：用户穿戴动作追踪模块本文档来自技高网...

【技术保护点】
1.一种面向虚拟现实的交互系统，其特征在于：包括动作追踪模块、EOG信号采集模块和显示模块；在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式；控制器通知EOG信号采集模块进行EOG信号提取；所述EOG信号采集模块将提取的EOG信号传递到所述控制器，所述控制器根据所述EOG信号用于执行对应的图形用户界面组件命令。

【技术特征摘要】
1.一种面向虚拟现实的交互系统，其特征在于：包括动作追踪模块、EOG信号采集模块和显示模块；在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式；控制器通知EOG信号采集模块进行EOG信号提取；所述EOG信号采集模块将提取的EOG信号传递到所述控制器，所述控制器根据所述EOG信号用于执行对应的图形用户界面组件命令。2.一种面向虚拟现实的交互方法，其特征在于：采用以下步骤，步骤1：用户穿戴所述动作追踪模块，将所述动作追踪模块的数据端口与所述显示模块的数据端口相连；步骤2：对触发装置位置进行初始化设置，选定触发装置在现实空间中的一个坐标作为初始坐标；同时，在虚拟空间中对应设置一个原点坐标，建立初始坐标与虚拟空间中的原点坐标的关联；步骤3：感应组件等待接受触发装置触发信号，处理器判断感应组件是否接受到匹配的触发信号，如果存在对应的触发信号，则进入下一步骤；步骤4：处理器通知图形用户界面组件由隐藏状态转换为可视化状态；步骤5：图形用户界面组件进入到同步模式，该同步模式为在每个GUI组件闪烁时，EOG信号采集模块同步采集该GUI组件对应的信号段；EOG检测模块检测采集该信号段中是否存在EOG信号，如果存在EOG信号，则进入步骤6，否则，回到步骤3；步骤6：控制器根据该EOG信号确定用户选择的图形界面组件，且执行图形界面组件对应的指令；步骤7：按照步骤3至步骤6重复执行。3.根据权利要求2所述一种面向虚拟现实的交互方法，其特征在于：所述步骤5包括如下步骤：步骤5-1：在显示模块上分布的N个GUI组件中，设置闪烁轮数为x，x>1；步骤5-2：在每轮中，每个GUI组件以间隔时间T0随机闪烁一次；针对的每一轮按照步骤S1至步骤S4执行；步骤5-3：针对闪烁轮数x中均出现的候选GUI组件，作...

【专利技术属性】
技术研发人员：李远清，肖景，瞿军，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44