AR/VR环境中用户注意力的视觉指示器制造技术

提供了一种在增强现实/虚拟现实(AR/VR)系统中向用户通知来自另一用户的注意力的方法。该方法包括在第一电子显示器上向AR/VR系统的第一用户显示第一图像，并且在检测到第一用户在AR/VR系统的第二用户或第一图像中的第二用户的化身处的凝视时，通过在第二电子显示器上向第二用户显示第二图像来向第二用户通知第一用户的凝视，第二图像具有第一用户的凝视的视觉提示。

【技术实现步骤摘要】
【国外来华专利技术】AR/VR环境中用户注意力的视觉指示器
本公开涉及视觉显示器和显示系统，且尤其涉及可佩戴显示器和用于可佩戴显示器的方法。背景可佩戴显示器可用于向用户呈现虚拟图像，或者用动态信息、数据或虚拟对象来增强真实世界的图像。虚拟现实(VR)或增强现实(AR)场景可以是三维的，以增强体验并使虚拟对象与用户观察到的真实对象相匹配。可以实时跟踪用户在空间中的眼睛定位(position)和凝视方向和/或定向(orientation)，并且可以根据用户的头部定向和凝视方向来动态地调整显示的场景，以提供沉浸在模拟或增强的环境中的更好体验。可佩戴显示器可用于模拟或增强用户之间的社交互动。例如，在虚拟会议应用中，由虚拟会议房间中的化身表示的用户可以通过互相交谈、向一群用户呈现信息等来彼此交互。社交聚会事件的AR/VR模拟的一个缺点是，用户可能会因AR/VR环境而感到孤立或迷失方向，从而使用户之间的社交联系不那么直接。概述本文公开的方法和系统可用于使用户能够吸引AR/VR环境中其他用户的注意力。AR/VR系统可以包括控制器和由不同的用户佩戴的多个可佩戴显示器。这些可佩戴显示器可以各自包括视觉显示模块、眼睛跟踪系统和音频系统，该视觉显示模块用于向用户显示VR图像和/或用AR图像和标志来增强观察到的外部世界，该眼睛跟踪系统用于实时地确定诸如用户的凝视方向、聚散度(vergence)、眼睛扩张(eyedilation)等的参数，该音频系统用于与其他用户的音频通信。控制器可以包括远程或分布式计算系统和通信网络，该通信网络将控制器连接到可穿戴显示器，使得可穿戴显示器与控制器通信地耦合。本文使用的术语AR/VR包括AR系统、VR系统及其任意组合，包括混合现实(MR)系统。AR/VR系统的示例将在下面进一步给出。特定用户的可佩戴显示器可以显示表示系统的其他用户的图像。该方法使AR/VR系统的用户能够在该系统的另一个用户看着他们时注意到。屏幕上表示的用户可以位于很远的地方，并且对于佩戴特定可佩戴显示器的用户不可见，并且可以由化身来表示。在一些AR实施例中，用户可以通过他们的AR头戴式装置(headset)直接查看其他用户。根据本专利技术的第一方面，提供了一种在增强现实/虚拟现实(AR/VR)系统的可穿戴显示器中的方法，该方法包括：使用可穿戴显示器向AR/VR系统的第二用户显示图像，该图像包括AR/VR系统的第一用户指向第二用户或第二用户的化身的凝视的视觉提示(visualcue)，其中，第一用户指向第二用户或第二用户的化身的凝视已经被执行指令以处理第一用户的眼睛跟踪数据的处理器检测到。根据本专利技术的实施例，当处理器执行指令以确定第一用户的眼睛已经看着第二用户或第二用户的化身达至少预定义的时间间隔时，显示包括视觉提示的图像。根据本专利技术的实施例，当检测到第一用户在第二用户处的凝视方向时，显示包括视觉提示的图像，或者当检测到第一用户在第二用户处的凝视聚散度或第一用户的瞳孔扩张中的至少一个时，显示包括视觉提示的图像。根据本专利技术的实施例，在第一用户的凝视之前，图像已经缺少视觉提示。根据本专利技术的实施例，当一个或更多个处理器以规则的时间间隔确定了第一用户的凝视方向或凝视聚散度中的至少一个时，向第二用户显示包括视觉提示的图像。根据本专利技术的实施例，当凝视已经被撤回达至少预定义的时间间隔时，修改图像以移除视觉提示。根据本专利技术的第二方面，提供了一种其上存储有指令的非暂时性存储器，所述指令在被一个或更多个处理器执行时，使一个或更多个处理器使用AR/VR系统的可穿戴显示器向AR/VR系统的第二用户显示图像，该图像包括AR/VR系统的第一用户指向第二用户或第二用户的化身的凝视的视觉提示，其中，第一用户指向第二用户或第二用户的化身的凝视已经被执行指令以处理第一用户的眼睛跟踪数据的处理器检测到。根据本专利技术的实施例，当执行指令的一个或更多个处理器确定了第一用户的眼睛已经看着第二用户或第二用户的化身达至少预定义的时间间隔时，显示包括视觉提示的图像。根据本专利技术的实施例，当已经检测到第一用户在第二用户处的凝视方向时，显示包括视觉提示的图像，或者其中，当已经检测到第一用户在第二用户处的凝视聚散度或第一用户的瞳孔扩张中的至少一个时，显示包括视觉提示的图像。根据本专利技术的实施例，在第一用户的凝视之前，图像已经缺少视觉提示。根据本专利技术的实施例，当凝视已经被撤回达至少预定义的时间间隔时，修改图像以移除视觉提示。根据本专利技术的第三方面，还提供了一种AR/VR系统，包括：第一可穿戴显示器，其包括眼睛跟踪系统和用于向第一用户显示第一图像的第一电子显示器；第二可穿戴显示器，其包括用于向第二用户显示第二图像的第二电子显示器；和控制器，其通信地耦合到第一可穿戴显示器和第二可穿戴显示器，并被配置为向第一可穿戴显示器提供用于显示第一图像的数据，该控制器包括注意力监视器，该注意力监视器被配置为从第一可穿戴显示器接收与第一用户的眼睛跟踪相关的数据，并识别第一用户指向第二用户或第一图像中的第二用户的化身的凝视，该控制器被配置为，在检测到凝视时，向第二可穿戴显示器提供用于向第二用户显示第二图像的数据，第二图像包括第一用户的凝视的视觉提示。根据本专利技术的实施例，注意力监视器被配置为确定第一用户的眼睛看着第二用户或第一图像中的第二用户的化身达至少预定义的时间间隔，或者其中，注意力监视器被配置为确定第一用户的凝视方向，或者其中，注意力监视器被配置为确定第一用户的凝视聚散度，或者其中，注意力监视器被配置为以规则的时间间隔确定第一用户的凝视方向、凝视聚散度或瞳孔扩张中的至少一个。根据本专利技术的实施例，注意力监视器被配置为随着时间的推移监视第一用户的凝视，并且当凝视已经被撤回达至少预定义的时间间隔时，修改第二图像以移除视觉提示。附图简述现在将结合附图描述示例性实施例，其中：图1是根据本公开的AR/VR系统的框图；图2是图1的AR/VR系统中的方法的流程图；图3是示出图2的方法的一个实施例的图；图4是用于图1的AR/VR系统的注意力监视器的示例性方法的流程图；图5A是眼镜形状因子的近眼增强现实(AR)/虚拟现实(VR)可佩戴显示器实施例的等距视图；图5B是图5A的AR/VR可佩戴显示器的侧视横截面图；图6A是本公开的头戴式显示器头戴式装置的等距视图；图6B是包括图6A的头戴式装置的虚拟现实系统的框图；图7是眼睛凝视屏幕的示意图；图8是根据实施例的图1的AR/VR系统的示例网络环境的框图；图9是用于实现本公开的方法的计算机系统的框图。详细描述虽然结合各种实施例和示例描述了本教导，但是意图并不是本教导被限制到这样的实施例。相反，如本领域技术人员将理解的，本教导包括各种替代物和等同物。本文中叙述本公开的原理、方面和实施例以及其特定示例的所有陈述旨在包括其结构和功能等同物。另外本文档来自技高网...

【技术保护点】
1.一种在AR/VR系统的可穿戴显示器中的方法，所述方法包括：/n使用所述可穿戴显示器向所述AR/VR系统的第二用户显示图像，所述图像包括所述AR/VR系统的第一用户指向所述第二用户或所述第二用户的化身的凝视的视觉提示，/n其中，所述第一用户指向所述第二用户或所述第二用户的化身的凝视已经被执行指令以处理所述第一用户的眼睛跟踪数据的处理器检测到。/n

【技术特征摘要】
【国外来华专利技术】20181227 US 62/785,642;20190716 US 16/512,9521.一种在AR/VR系统的可穿戴显示器中的方法，所述方法包括：
使用所述可穿戴显示器向所述AR/VR系统的第二用户显示图像，所述图像包括所述AR/VR系统的第一用户指向所述第二用户或所述第二用户的化身的凝视的视觉提示，
其中，所述第一用户指向所述第二用户或所述第二用户的化身的凝视已经被执行指令以处理所述第一用户的眼睛跟踪数据的处理器检测到。


2.根据权利要求1所述的方法，其中，当所述处理器执行指令以确定所述第一用户的眼睛已经看着所述第二用户或所述第二用户的化身达至少预定义的时间间隔时，显示包括所述视觉提示的所述图像。


3.根据权利要求1所述的方法，其中，当检测到所述第一用户在所述第二用户处的凝视方向时，显示包括所述视觉提示的所述图像，或者其中，当检测到所述第一用户在所述第二用户处的凝视聚散度或所述第一用户的瞳孔扩张中的至少一个时，显示包括所述视觉提示的所述图像。


4.根据权利要求1所述的方法，其中，在所述第一用户的所述凝视之前，所述图像已经缺少所述视觉提示。


5.根据权利要求1所述的方法，其中，当所述处理器以规则的时间间隔确定了所述第一用户的凝视方向或凝视聚散度中的至少一个时，向所述第二用户显示包括所述视觉提示的所述图像。


6.根据权利要求1所述的方法，还包括当所述凝视已经被撤回达至少预定义的时间间隔时，修改所述图像以移除所述视觉提示。


7.一种非暂时性存储器，其上存储有指令，所述指令在被一个或更多个处理器执行时，使所述一个或更多个处理器使用AR/VR系统的可穿戴显示器向所述AR/VR系统的第二用户显示图像，所述图像包括所述AR/VR系统的第一用户指向所述第二用户或所述第二用户的化身的凝视的视觉提示，
其中，所述第一用户指向所述第二用户或所述第二用户的化身的凝视已经被执行指令以处理所述第一用户的眼睛跟踪数据的处理器检测到。


8.根据权利要求7所述的非暂时性存储器，其中，当执行所述指令的所述一个或更多个处理器已经确定所述第一用户的眼睛已经看着所述第二用户或所述第二用户的化身达至少预定义的时间间隔时，显示包括所述视觉提示的所述图像。


...

【专利技术属性】
技术研发人员：塞巴斯蒂安·什图克，哈维尔·圣阿古斯丁洛佩斯，安德斯·博·佩德森，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US