头戴式显示器中利用眼睛跟踪的用户交互制造技术

一种虚拟现实(VR)系统包括控制台、成像设备、头戴式显示器(HMD)和用户输入设备。控制台包括虚拟现实(VR)引擎、跟踪模块和应用储存器。HMD包括被配置为向佩戴HMD的用户显示内容的显示元件。虚拟现实引擎被配置成响应于来自用户的物理输入来确定向目标处投掷的虚拟对象的向量、用户的眼睛的凝视向量和目标的虚拟对象位置向量，并且基于凝视向量和虚拟对象位置向量中的至少一个来修改虚拟对象的向量。虚拟现实引擎还可以被配置为确定要向目标处投掷的虚拟对象的虚拟对象位置向量、用户的眼睛的凝视向量和用户的手的虚拟渲染的虚拟对象位置向量，并且基于凝视向量和用户的手的虚拟渲染的虚拟对象位置向量中的至少一个，启用用户输入来拾取虚拟对象。

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器中利用眼睛跟踪的用户交互
本说明书总体上涉及头戴式显示器(HMD)，且具体涉及在具有用户交互的HMD中使用眼睛跟踪。背景头戴式显示器(HMD)可用于向用户呈现虚拟场景，或者用动态信息、数据或虚拟对象来增强真实场景。虚拟现实(VR)或增强现实(AR)场景可以是三维的，以增强体验并使虚拟对象与用户观察到的真实对象相匹配。可以实时跟踪用户在空间中的眼睛位置(position)和凝视方向和/或定向(orientation)，并且可以根据用户的头部定向和凝视方向来动态地调整显示的场景，以提供沉浸在模拟或增强的环境中的更好体验。眼睛跟踪可以通过用专用眼睛跟踪相机获得双眼的实时图像来操作。实时眼睛图像被处理以确定每只眼睛的位置和定向，允许AR/VR系统确定凝视方向和凝视距离，即凝视向量。手跟踪也可用于VR系统，以跟踪用户手的位置和定向。手跟踪往往具有较低的保真度和较大的位置误差和时间滞后。这对于需要快速的手移动(例如投掷虚拟对象)的AR/VR任务来说可能具有挑战性。概述本申请使用用户眼睛的凝视方向来确定会聚点(本文档来自技高网...

【技术保护点】
1.一种AR/VR系统，包括：/n头戴式显示器(HMD)，其包括眼睛跟踪系统和用于向佩戴所述HMD的用户显示内容的显示模块；和/n控制台，其具有AR/VR引擎，所述AR/VR引擎被配置为：/n响应于来自用户的物理输入，确定向目标处投掷的虚拟对象的位移向量，/n使用所述眼睛跟踪系统确定用户的眼睛的凝视向量；和/n基于所述凝视向量修改所述位移向量。/n

【技术特征摘要】
【国外来华专利技术】20181227 US 62/785,622;20190501 US 16/400,9481.一种AR/VR系统，包括：
头戴式显示器(HMD)，其包括眼睛跟踪系统和用于向佩戴所述HMD的用户显示内容的显示模块；和
控制台，其具有AR/VR引擎，所述AR/VR引擎被配置为：
响应于来自用户的物理输入，确定向目标处投掷的虚拟对象的位移向量，
使用所述眼睛跟踪系统确定用户的眼睛的凝视向量；和
基于所述凝视向量修改所述位移向量。


2.根据权利要求1所述的AR/VR系统，其中，所述AR/VR引擎被配置为基于所述凝视向量的方向分量来修改所述位移向量。


3.根据权利要求1所述的AR/VR系统，其中，所述AR/VR引擎被配置为确定所述位移向量和所述凝视向量之间的差，并且修改所述位移向量以减小所述差；并且，可选地，
其中，所述AR/VR引擎被配置为修改所述位移向量，以将所述位移向量和所述凝视向量之间的所述差减小所述差的预定百分比。


4.根据权利要求1所述的AR/VR系统，其中，所述目标包括移动目标，并且其中，当用户看着所述移动目标的前方时，确定凝视向量。


5.根据权利要求1所述的AR/VR系统，其中，所述AR/VR引擎还被配置为确定要拾取的所述虚拟对象的虚拟对象位置向量，使用所述眼睛跟踪系统确定用户的眼睛的凝视向量，并且基于以下项启用用户输入来拾取所述虚拟对象：
所述凝视向量和用户的手的位置在预定距离内；或者
所述凝视向量和所述虚拟对象的位置向量在预定距离内。


6.一种在包括头戴式显示器(HMD)和控制台的AR/VR系统中的方法，所述头戴式显示器包括眼睛跟踪系统和用于向佩戴所述HMD的用户显示内容的显示模块，所述控制台具有AR/VR引擎，所述方法包括：
响应于来自用户的物理输入，确定向目标处投掷的虚拟对象的位移向量，
使用所述眼睛跟踪系统确定用户的眼睛的凝视向量；和
基于所述凝视向量修改所述位移向量。


7.根据权利要求6所述的方法，其中，修改所述位移向量的步骤基于所述凝视向量的方向分...

【专利技术属性】
技术研发人员：塞巴斯蒂安·什图克，哈维尔·圣阿古斯丁洛佩斯，马丁·亨里克·塔尔，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US