【技术实现步骤摘要】
本公开总体上涉及人工现实，例如，虚拟现实和增强现实。
技术介绍
1、人工现实是在呈现给用户之前已经以某种方式调整过的现实形式，可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕捉的内容(例如，现实世界照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任何一个都可以在单个渠道或多个渠道中呈现(例如，向观看者产生三维效果的立体视频)。人工现实可以与应用程序、产品、附件、服务或其某种组合相关联，这些应用程序、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或用于人工现实中(例如，在其中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式显示器(hmd)、独立hmd、移动装置或计算系统或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
技术实现思路
1、在本文中描述的具体实施例涉及一种使用基于眼睛跟踪的方法(例如，3d眼睛跟踪、基于机器学习的眼睛跟踪)、基于身体的方法(例如，头部位置/运动、手位置/运动、身体位置/运动)和基于内容的方法(例如，z缓冲区、面部检测、应用程序开发者提供的信息)的组合来确定用户的视觉辐辏的方法。具体实施例检测眼睛跟踪系统的故障(例如，数据超出范围或者根本没有来自眼睛跟踪系统的数据)，并且在检测到故障时，使用这些方法的组合来近似用户视觉辐辏。在具体实施例中，融合算法对来
2、在本文中公开的实施例仅仅是示例，并且本公开的范围不限于这些实施例。具体实施例可以包括上面公开的实施例的所有、一些或不包括组件、元件、特征、功能、操作或步骤。在所附权利要求中特别公开根据本专利技术的实施例，涉及一种方法、存储介质、系统和计算机程序产品，其中，一个权利要求类别(例如，方法)中提到的任何特征也可以在另一权利要求类别(例如，系统)中要求保护。仅出于形式原因而选择所附权利要求中的从属关系或引用。然而，也可以要求保护由对任何先前权利要求(特别是多个从属关系)的有意引用而产生的任何主题，从而公开权利要求及其特征的任何组合，并且可以要求保护，而与所附权利要求中选择的从属关系无关。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，还包括权利要求中的特征的任何其他组合，其中，权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合结合。此外，在本文中描述或描绘的任何实施例和特征可以在单独的权利要求中和/或与在本文中描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中要求保护。
3、本申请提供了以下内容：
4、1)一种方法，包括：
5、由计算系统确定眼睛跟踪系统的性能度量低于第一性能阈值，其中，所述眼睛跟踪系统与用户佩戴的头戴式显示器相关联；
6、由所述计算系统接收与所述用户的身体相关联的一个或多个第一输入；
7、由所述计算系统基于接收到的与所述用户的身体相关联的一个或多个所述第一输入，估计所述用户正在看所述头戴式显示器的视场内的区域；
8、由所述计算系统至少基于与所述用户的身体相关联的一个或多个所述第一输入、所估计的所述用户正在看的区域、以及所述头戴式显示器显示的场景中的一个或多个对象的位置，确定所述用户的视觉辐辏距离；并且
9、由所述计算系统基于所确定的所述用户的视觉辐辏距离，调整所述头戴式显示器的一个或多个配置。
10、2)根据1)所述的方法，其中，所述头戴式显示器的一个或多个配置包括以下各项中的一项或多项：
11、渲染图像；
12、显示屏幕的位置；或
13、光学块的位置。
14、3)根据2)所述的方法，进一步包括：
15、确定所述眼睛跟踪系统的性能度量高于第二性能阈值；
16、从所述眼睛跟踪系统接收眼睛跟踪数据；并且
17、基于所述眼睛跟踪数据以及与所述用户的身体相关联的一个或多个第一输入，确定所述用户的视觉辐辏距离。
18、4)根据3)所述的方法，进一步包括：
19、接收与所述头戴式显示器显示的场景中的一个或多个显示元素相关联的一个或多个第二输入；并且
20、至少基于所述眼睛跟踪数据、与所述用户的身体相关联的一个或多个第一输入、以及与所述场景的一个或多个所述显示元素相关联的一个或多个第二输入，确定所述用户的所述视觉辐辏距离。
21、5)根据4)所述的方法，进一步包括：
22、将与所述用户的身体相关联的一个或多个第一输入馈送给融合算法，其中，所述融合算法将加权得分分配给一个或多个所述第一输入的每个输入；并且
23、基于与所述用户的身体相关联的一个或多个所述第一输入，确定置信度得分和所述显示屏幕的z深度。
24、6)根据5)所述的方法，进一步包括：
25、将所述置信度得分与置信度阈值进行比较；
26、当所述置信度得分低于所述置信度阈值时，将与所述场景的一个或多个所述显示元素相关联的一个或多个所述第二输入馈送给所述融合算法；并且
27、基于与所述用户的身体相关联的一个或多个第一输入以及与所述场景的一个或多个所述显示元素相关联的一个或多个所述第二输入，使用所述融合算法确定所述显示屏幕的所述z深度。
28、7)根据6)所述的方法，进一步比较：
29、通过所述融合算法，比较基于多个输入组合所确定的置信度得分；并且
30、通过所述融合算法，基于具有最高置信度得分的输入的组合，确定所述显示屏幕的所述z深度。
31、8)根据5)所述的方法，其中，由所述融合算法使用一个或多个所述第一输入与一个或多个所述第二输入的分段比较来确定所述z深度和所述置信度得分。
32、9)根据5)所述的方法，其中，基于一个或多个所述第一输入的两个或更多个输入与一个或多个所述第二输入之间的相关性，确定所述z深度和所述置信度得分。
33、10)根据5)所述的方法，其中，所述融合算法包括机器学习(ml)算法，其中，所述机器学习(ml)算法确定输入组合。
34、11)根据4)所述的方法，其中，与所述用户的身体相关联的一个或多个所述第一输入包括以下各项中的一项或多项：
35、手的位置；
本文档来自技高网...【技术保护点】
1.一种方法，包括由计算系统执行的以下步骤：
2.根据权利要求1所述的方法，进一步包括：
3.根据权利要求2所述的方法，其中，确定所述眼睛跟踪系统的性能度量低于所述第二性能阈值包括：确定所述眼睛跟踪系统不存在或无法提供眼睛跟踪数据。
4.根据权利要求2所述的方法，进一步包括：
5.根据权利要求1所述的方法，进一步包括：
6.根据权利要求5所述的方法，其中，与所述用户的身体相关联的一个或更多个输入包括以下各项中的一项或更多项：手的位置、手的方向、手运动、手势、头部位置、头部方向、头部运动、头部姿势、注视角度、身体姿势、身体姿态、身体运动、所述用户的行为、或者一个或更多个相关参数的加权组合。
7.根据权利要求6所述的方法，其中，从以下各项中的一项或更多项接收与所述用户的身体相关联的一个或更多个输入：控制器、传感器、相机、麦克风、加速度计、所述用户佩戴的头盔、或移动装置。
8.根据权利要求1所述的方法，进一步包括：
9.根据权利要求8所述的方法，进一步包括：
10.根据权利要求9
11.根据权利要求10所述的方法，其中，由所述融合算法使用所述输入的第一组合中的两个或更多个输入的分段比较来确定所述Z深度、所述第一置信度得分和所述第二置信度得分。
12.根据权利要求10所述的方法，其中，基于所述输入的第一组合中的两个或更多个输入之间的相关性，确定所述Z深度、所述第一置信度得分和所述第二置信度得分。
13.根据权利要求8所述的方法，其中，所述融合算法包括机器学习(ML)算法，并且其中，馈送给所述融合算法的所述输入的第一组合由所述机器学习算法确定。
14.根据权利要求1所述的方法，其中，所显示的一个或更多个内容的所述一个或更多个属性包括以下各项中的一项或更多项：与显示元素相关联的Z缓冲值、由开发者标记的显示元素、图像分析结果、显示元素的形状、人脸识别结果、对象识别结果、在显示内容中识别的人、在显示内容中识别的对象、两个或更多个显示元素的相关性、或者一个或更多个第二输入的加权组合。
15.根据权利要求1所述的方法，其中，所述眼睛跟踪系统的性能度量包括以下各项中的一项或更多项：来自所述眼睛跟踪系统的参数的准确性、来自所述眼睛跟踪系统的参数的精度、来自所述眼睛跟踪系统的参数值、瞳孔的可检测性、基于与所述用户相关联的一个或更多个参数的度量、参数变化、参数变化趋势、数据可用性、或者一个或更多个性能参数的加权组合。
16.根据权利要求15所述的方法，其中，与所述用户相关联的一个或更多个参数包括以下各项中的一项或更多项：所述用户的眼睛距离、瞳孔位置、瞳孔状态、所述用户的两个瞳孔的相关性、所述用户的头部尺寸、所述用户佩戴头盔的位置、所述用户佩戴所述头盔的角度、所述用户佩戴所述头盔的方向、所述用户的眼睛的对准、或者与所述用户相关联的一个或更多个相关参数的加权组合。
17.根据权利要求1所述的方法，其中，所述性能阈值与以下各项中的一项或更多项相关联：预定值、预定范围、数据的状态、数据的变化速度或者数据变化的趋势。
18.根据权利要求1所述的方法，其中，与所述头戴式显示器相关联的一个或更多个配置与以下各项中的一项或更多项相关联：渲染图像、显示屏幕的位置、或者光学块的位置。
19.一种或更多种包含软件的计算机可读非暂时性存储介质，所述软件在被执行时能够操作来：
20.一种系统，包括：
21.一种方法，包括由计算系统执行的以下步骤：
22.根据权利要求21所述的方法，进一步包括：
23.一种或更多种包含软件的计算机可读非暂时性存储介质，所述软件在被执行时能够操作来：
24.根据权利要求23所述的一种或更多种包含软件的计算机可读非暂时性存储介质，所述软件还能够操作来：
25.一种系统，包括：
26.根据权利要求25所述的系统，其中，所述指令进一步包含实现以下步骤的指令：
...【技术特征摘要】
1.一种方法，包括由计算系统执行的以下步骤：
2.根据权利要求1所述的方法，进一步包括：
3.根据权利要求2所述的方法，其中，确定所述眼睛跟踪系统的性能度量低于所述第二性能阈值包括：确定所述眼睛跟踪系统不存在或无法提供眼睛跟踪数据。
4.根据权利要求2所述的方法，进一步包括：
5.根据权利要求1所述的方法，进一步包括：
6.根据权利要求5所述的方法，其中，与所述用户的身体相关联的一个或更多个输入包括以下各项中的一项或更多项：手的位置、手的方向、手运动、手势、头部位置、头部方向、头部运动、头部姿势、注视角度、身体姿势、身体姿态、身体运动、所述用户的行为、或者一个或更多个相关参数的加权组合。
7.根据权利要求6所述的方法，其中，从以下各项中的一项或更多项接收与所述用户的身体相关联的一个或更多个输入：控制器、传感器、相机、麦克风、加速度计、所述用户佩戴的头盔、或移动装置。
8.根据权利要求1所述的方法，进一步包括：
9.根据权利要求8所述的方法，进一步包括：
10.根据权利要求9所述的方法，进一步包括：
11.根据权利要求10所述的方法，其中，由所述融合算法使用所述输入的第一组合中的两个或更多个输入的分段比较来确定所述z深度、所述第一置信度得分和所述第二置信度得分。
12.根据权利要求10所述的方法，其中，基于所述输入的第一组合中的两个或更多个输入之间的相关性，确定所述z深度、所述第一置信度得分和所述第二置信度得分。
13.根据权利要求8所述的方法，其中，所述融合算法包括机器学习(ml)算法，并且其中，馈送给所述融合算法的所述输入的第一组合由所述机器学习算法确定。
14.根据权利要求1所述的方法，其中，所显示的一个或更多个内容的所述一个或更多个属性包括以下各项中的一项或更多项：与显示元素相关联的z缓冲值、由开发者标记的显示元素、图像分析结果、显示元素的形状、人脸识别结果、对象识别...
【专利技术属性】
技术研发人员：拉梅什·拉斯卡，内拉伊·舒培，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。