一种虚拟现实中基于手眼数据进行指向预测的方法技术

本发明专利技术公开了一种虚拟现实中基于手眼数据进行指向预测的方法，涉及计算机技术领域，解决了基于手眼数据的交互目标预测准确性不高的技术问题，其技术方案要点是通过手、眼双模态数据在指向运动中的规律性，提出了手眼协同运动模型，并基于该手眼协同运动模型进行交互意图判断。该方法可以提升交互目标进行预测的准确性和时效性，为机器更好地理解用户的操作，并做出及时的反馈提供了技术基础。并做出及时的反馈提供了技术基础。并做出及时的反馈提供了技术基础。

【技术实现步骤摘要】
一种虚拟现实中基于手眼数据进行指向预测的方法


[0001]本申请涉及计算机
，尤其涉及一种虚拟现实中基于手眼数据进行指向预测的方法。

技术介绍

[0002]近些年来，沉浸式显示技术——虚拟现实技术的出现和发展为界面交互设计提供了新的机会，促进了用户体验的发展。虚拟现实是一种可以创建和体验虚拟世界的计算机系统,它由计算机生成，通过视、听、触、嗅觉等作用于用户,为用户产生身临其境的感觉的交互式视景仿真。沉浸感、交互性和构想性是虚拟现实系统的三个基本特征。且三维场景中的交互关系更复杂，交互的输入输出方式更多样，涉及人的视觉、听觉、触觉等多个感官通道。
[0003]多模态交互捕获多个通道下人的显性行为信息，组合并分辨多个模态信息的不同形式，已经被应用在了虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下，需要对这些场景下的人机交互进行优化，而手眼协同是一种多模态交互的典型模式。在手眼协同的交互技术中，依据人手眼的生理特性，手和眼往往被划分了不同的职责。手是人输出信息的重要通道，因此手常被用于指向、确认等具有空间语义的任务中；眼是人输入信息最重要的通道，眼在筛选输入信息时表现出的生理特征，例如凝视、瞳孔直径变化等可以有效地反映人的注意力倾向，并且手眼行为数据在时间维度上具有协同性，可用于预测用户交互意图。因此，利用手眼协同技术可以有机的组合来自不同通道、关注于任务的不同方面的多维信息，用于提升人机交互的体验。
[0004]因此，如何对手眼数据进行指向预测是本申请需要解决的问题。

技术实现思路
<br/>[0005]本申请提供了一种虚拟现实中基于手眼数据进行指向预测的方法，其技术目的是提高基于手眼数据的交互意图判断和交互目标预测的准确性。
[0006]本申请的上述技术目的是通过以下技术方案得以实现的：
[0007]一种虚拟现实中基于手眼数据进行指向预测的方法，包括：
[0008]S1：获取眼动生理成分和手动生理成分；
[0009]S2：对眼动生理成分和手动生理成分进行检测，并通过手眼协同运动模型对交互意图进行判断，以确定是否有明确交互意图；
[0010]S3：有明确交互意图时，通过LSTM神经网络模型对明确交互意图进行预测，得到预测交互目标点的水平方位角和竖直方位角；
[0011]S4：根据预测交互目标点的水平方位角和竖直方位角实现指向预测。
[0012]本申请的有益效果在于：本申请所述的虚拟现实中基于手眼数据进行指向预测的方法，通过手、眼双模态数据在指向运动中的规律性，提出了手眼协同运动模型，不仅丰富了三维人机交互中人的行为模型，基于该手眼协同运动模型进行交互意图判断和对交互目
标进行预测的准确性也得到了提高，为机器更好地理解用户的操作，并做出及时的反馈提供了基础。
附图说明
[0013]图1为本申请所述虚拟现实中基于手眼数据进行指向预测的方法流程图；
[0014]图2为手眼协同运动模型的示意图；
[0015]图3为根据手眼协同运动模型的多阶段特征进行交互意图判断的流程图；
[0016]图4为LSTM神经网络模型的结构示意图。
具体实施方式
[0017]下面将结合附图对本申请技术方案进行详细说明。
[0018]如图1所示，本申请所述的一种虚拟现实中基于手眼数据进行指向预测的方法，包括：
[0019]S1：获取眼动生理成分和手动生理成分。
[0020]本申请实施例中，所述眼动生理成分和所述手动生理成分均通过方位角进行表示，若z轴延伸的正方向被配置为正前方，则手部射线或眼的朝向被表示为其各自在x﹣z平面和y﹣z平面形成的水平方位角和竖直方位角，则水平方位角和竖直方位角分别表示为：
[0021][0022][0023]其中，表示物体空间角朝向的三维单位向量，以弧度值表示；表示的x坐标，表示的y坐标，表示的z坐标；ω
horizontal
表示水平方位角，ω
vertical
表示竖直方位角。
[0024]S2：对眼动生理成分和手动生理成分进行检测，并通过手眼协同运动模型对交互意图进行判断，以确定是否有明确交互意图。
[0025]本申请实施例中，如图3所示，步骤S2包括：
[0026]S21：对眼动生理成分进行检测，对其是否出现扫视行为进行判断，若是转至步骤S22，否则转至步骤S24；
[0027]S22：在扫视行为出现后的0.5s内对眼动生理成分是否出现注视行为进行判断，若是且无新的扫视行为出现则转至步骤S23，否则转至步骤S24；
[0028]S23：对手动生理成分进行检测，对其是否满足连续55ms检测出手部定向运动行为进行判断,若是且无新的扫视行为出现，则表明有明确的交互意图，否则转至步骤S24；
[0029]S24：没有明确的交互意图，重新开始下一个判断。
[0030]基于手、眼各自在指向运动中的多阶段运动及其协同关系，本申请构建了VR环境下手眼协同运动模型，如图2所示。在该手眼协同运动模型中，手、眼的指向行为均被划分为三个阶段，分别为准备阶段、弹道阶段和调整阶段。具体地，该手眼协同运动模型包括眼运动模块和手运动模块，所述眼运动模块包括眼准备阶段、眼弹道阶段和眼调整阶段，所述手运动模块均包括手准备阶段、手弹道阶段和手调整阶段；眼弹道阶段表示扫视的眼运动阶
段，眼调整阶段表示凝视的眼运动阶段；手弹道阶段表示先加速后减速的手的定向运动，手调整阶段表示精确指向的手运动阶段。
[0031]从眼动行为来看，在指向任务中，眼弹道阶段首先出现，反应人的注意力产生了转移，而后出现的眼调整阶段中具有较为稳定的凝视，反映了人的注意力的集中，通过上述眼的行为即可判断用户是否存在指向任务中典型的注意力特征。从手的行为来看，手弹道阶段能够很好的反应意图的存在，此该阶段内的运动往往符合动作经济原则，行为特征上更具稳定性。因此，在指向运中，眼的扫视(注意力转移，即眼弹道阶段)、眼的注视(注意力集中，即眼调整阶段)、手部定向运动(弹道运动，即手弹道阶段)将依次出现，即可以通过上述三者是否按照典型的指向任务模式依次出现判断指向交互意图是否出现。
[0032]由图3可知，在检测到扫视行为的0.5s内，如果检测到了注视行为，则认为用户的注意力发生了转移。该时间范围表明了眼弹道阶段的结束，但仍处于手弹道阶段。随后，在注视行为下且无新的扫视行为发生时，若连续5帧发现了手部定向运动且无新的扫视行为发生，则认为用户正处于指向动作中，由此判断用户此时具有明确的指向交互意图。
[0033]该流程中，眼连续发生扫视与注视的模式，规避了由于无意运动(如手臂下垂、调整手腕姿势)引起的定向运动错误判断，从而提高判断准确率。经实验验证，该方法实现了在运动的弹道阶段后期对超过90％的指向交互意图状态的准确判别。
[0034]具体地，所述眼动生理成分通过降噪后每帧的空间转动总速度V'进行检测，以
°
...

【技术保护点】

【技术特征摘要】
1.一种虚拟现实中基于手眼数据进行指向预测的方法，其特征在于，包括：S1：获取眼动生理成分和手动生理成分；S2：对眼动生理成分和手动生理成分进行检测，并通过手眼协同运动模型对交互意图进行判断，以确定是否有明确交互意图；S3：有明确交互意图时，通过LSTM神经网络模型对明确交互意图进行预测，得到预测交互目标点的水平方位角和竖直方位角；S4：根据预测交互目标点的水平方位角和竖直方位角实现指向预测。2.如权利要求1所述的方法，其特征在于，所述手眼协同运动模型包括眼运动模块和手运动模块，所述眼运动模块包括眼准备阶段、眼弹道阶段和眼调整阶段，所述手运动模块均包括手准备阶段、手弹道阶段和手调整阶段；手准备阶段和眼准备阶段均表示运动潜伏期；眼弹道阶段表示眼快速运动的阶段，能够检测出扫视行为；眼调整阶段表示眼稳定停留的阶段，能够检测出注视行为；手弹道阶段表示先加速后减速的手运动阶段，能够检测出手部定向运动行为；手调整阶段表示低速稳定的手运动阶段，以完成指向选择为结束。3.如权利要求2所述的方法，其特征在于，所述步骤S2包括：S21：对眼动生理成分进行检测，对其是否出现扫视行为进行判断，若是转至步骤S22，否则转至步骤S24；S22：在扫视行为出现后的0.5s内对眼动生理成分是否出现注视行为进行判断，若是且无新的扫视行为出现则转至步骤S23，否则转至步骤S24；S23：对手动生理成分进行检测，对其是否满足连续55ms检测出手部定向运动行为进行判断,若是且无新的扫视行为出现，则表明有明确的交互意图，否则转至步骤S24；S24：没有明确的交互意图，重新开始下一个判断。4.如权利要求3所述的方法，其特征在于，所述眼动生理成分和所述手动生理成分均通过方位角进行表示，若z轴延伸的正方向被配置为正前方，则手部射线或眼的朝向被表示为其各自在x﹣z平面和y﹣z平面形成的水平方位角和竖直方位角，则水平方位角和竖直方位角分别表示为：分别表示为：其中，表示物体空间角朝向的三维单位向量，以弧度值表示；表示的x坐标，表示的y坐标，表示的z坐标；ω
horizontal
表示水平方位角，ω
vertical
表示竖直方位角。5.如权利要求4所述的方法，其特征在于，步骤S1中，所述眼动生理成分通过降噪后每帧的空间转动总速度V'进行检测，以
°
/s表示，包括：当100
°
/s&lt;V'≤200
°
/s，且V'大于100
°
/s的时间超过50ms时，则检测到扫视行为的眼动成分；当V'&lt;30
°
/s且该状态持续时间超过100ms时，则检测到注视行为的眼动成分；其中，表示在时间窗口n帧内水平方向上的速度；r
hi
＝ω
horizontal
(i)
‑
ω
horizontal
(i
‑
1)，表示第i帧在水平方向上的位移；表示在时间窗口n帧内竖直方向上的速度；r
vi
＝
ω
vertical
(i)
...

【专利技术属性】
技术研发人员：周小舟，蒋厚泽，朱隽宇，韩己臣，宗承龙，
申请(专利权)人：东南大学，
类型：发明
国别省市：