减少深度平面之间切换的多深度平面显示系统技术方案

公开了用于减少多深度平面显示系统的深度平面之间的切换的方法和系统。显示系统可以是增强现实显示系统，其被配置为使用不同的波前发散在多个深度平面上提供虚拟内容。该系统可以基于每只用户眼睛的注视来监视注视点，每个注视点是用户视野中的三维位置。获得待呈现给用户的虚拟对象的位置信息，其中，每个虚拟对象与深度平面相关联。在一些实施例中，基于用户的眼睛的注视点来修改待呈现虚拟对象的深度平面。例如，在用户在两个不同深度平面上的虚拟对象之间切换其注视的情况下，显示系统可以被配置为修改所述对象中的一个对象的呈现，使得两个对象都被放置在相同的深度平面上。

Multi-Depth Plane Display System for Reducing Switching Between Depth Planes

A method and system for reducing switching between depth planes of a multi-depth plane display system are disclosed. The display system can be an augmented reality display system, which is configured to provide virtual content on multiple depth planes using different wavefront divergence. The system can monitor the gaze points based on the gaze of each user's eye, and each gaze point is the three-dimensional position in the user's field of vision. The location information of the virtual object to be presented to the user is obtained, where each virtual object is associated with the depth plane. In some embodiments, the depth plane of the virtual object to be rendered is modified based on the user's eye gaze. For example, in the case of a user switching his gaze between virtual objects on two different depth planes, the display system can be configured to modify the presentation of one of the objects so that both objects are placed on the same depth plane.

【技术实现步骤摘要】
【国外来华专利技术】减少深度平面之间切换的多深度平面显示系统相关申请的交叉引用本申请根据35U.S.C.§119(e)要求以下申请的优先权的权益：2016年2月11日提交的序列号为62/294,147，名称为“AUGMENTEDREALITYSYSTEMSANDMETHODSUTILIZINGVIEWERREFLECTIONS(利用观看者映像的增强现实系统和方法)”的美国临时申请；2016年7月25日提交的序列号为62/366,533，名称为“AUGMENTEDREALITYSYSTEMSANDMETHODSUTILIZINGREFLECTIONS(利用映像的增强现实系统和方法)”的美国临时申请；2016年12月29日提交的序列号为62/440,336，名称为“AUGMENTEDREALITYSYSTEMSANDMETHODSUTILIZINGREFLECTIONS利用映像的增强现实系统和方法”的美国临时申请；2017年1月12日提交的序列号为62/445,630，名称为“AUGMENTEDREALITYSYSTEMSANDMETHODSUTILIZINGREFLECTIONS(利用映像的增强现实系统和方法)”的美国临时申请；2016年7月25日提交的序列号为62/366,599，名称为“IMAGINGMODIFICATION,DISPLAYANDVISUALIZATIONUSINGAUGMENTEDANDVIRTUALREALITYEYEWEAR(使用增强和虚拟现实眼镜的成像修改、显示及可视化)”的美国临时申请；2016年9月16日提交的序列号为62/396,071，名称为“IMAGINGMODIFICATION,DISPLAYANDVISUALIZATIONUSINGAUGMENTEDANDVIRTUALREALITYEYEWEAR(使用增强和虚拟现实眼镜的成像修改、显示及可视化)”的美国临时申请；2016年12月29日提交的序列号为62/440,332，名称为“IMAGINGMODIFICATION,DISPLAYANDVISUALIZATIONUSINGAUGMENTEDANDVIRTUALREALITYEYEWEAR(使用增强和虚拟现实眼镜的成像修改、显示及可视化)”的美国临时申请，为了所有目的，上述专利申请中的每一个的全部内容通过引用并入此文。另外，本申请通过引用包含以下专利申请中的每一个的全部内容：2014年11月27日提交的序列号为14/555,585的美国申请；2015年4月18日提交的序列号为14/690,401的美国申请；2014年3月14日提交的序列号为14/212,961的美国申请；以及2014年7月14日提交的序列号为14/331,218的美国申请。
本公开涉及显示系统，包括增强现实成像和可视化系统。
技术介绍
相关技术的描述现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以它们看起来是真实的或感觉为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的真实世界的可视化的增强。混合现实或“MR”场景是“AR”类型的场景，并且通常涉及被整合到自然世界中且响应于自然世界的虚拟对象。例如，MR场景可以包括看起来被真实世界中的对象阻挡或者被感知为与真实世界中的对象交互的AR图像内容。参考图1，描绘了增强现实场景10。AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界的公园状设置20。用户还感知他/她“看到”站在真实世界平台30上的机器人雕像40，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色50。这些元素50、40是虚拟的，因为它们在真实世界中不存在。因为人类的视觉感知系统是复杂的，所以产生促进除其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适的、感觉自然的、丰富的呈现的AR技术是具有挑战性的。本文公开的系统和方法解决了关于AR和VR技术的各种挑战。
技术实现思路
一些非限制性实施例包括一种系统，该系统包括一个或多个处理器和存储指令的一个或多个计算机存储介质，当所述指令被所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行操作。所述操作包括确定用户眼睛的注视点，其中，所述注视点是所述用户的视野中的三维位置；获得与要呈现给所述用户的第一虚拟对象相关联的位置信息，其中，所述第一虚拟对象具有距所述用户的相关深度；调整所述第一虚拟对象的一个或多个深度线索，以减小所述第一虚拟对象的深度线索与用于所述注视点的深度线索之间的差异；以及使得具有调整后的一个或多个深度线索的所述第一虚拟对象经由显示设备呈现给所述用户。在一些其他实施例中，提供了一种显示系统。该显示系统包括：显示设备，该显示设备被配置为向用户呈现虚拟对象，每个虚拟对象在多个深度平面中的一个或多个深度平面上；一个或多个处理器；存储指令的一个或多个计算机存储介质，当所述指令由所述显示系统执行时，所述指令使得所述显示系统执行操作。所述操作包括监视与用户的眼睛运动相关联的信息；基于所监视到的信息，确定所述用户的眼睛的注视点，每个注视点指示随时间追踪的被所述用户的眼睛注视的三维位置；以及基于所确定的注视点，调整至少一个虚拟对象，使得对于大于阈值度量，所述至少一个虚拟对象被显示在与所确定的注视点所落入的深度平面区域相对应的同一深度平面上。在调整至少一个虚拟对象之前，对于大于阈值度量，确定所确定的注视点落入深度平面区域内。描述了一种方法的实施例。该方法由包括一个或多个处理器的系统执行。该方法包括确定用户的眼睛的注视点，其中，所述注视点是所述用户的视野中的三维位置；获得与要呈现给所述用户的第一虚拟对象相关联的位置信息，其中，所述第一虚拟对象具有距所述用户的相关深度；调整所述第一虚拟对象的一个或多个深度线索，以减小所述第一虚拟对象的深度线索与用于所述注视点的深度线索之间的差异；以及使得具有调整后的一个或多个深度线索的所述第一虚拟对象经由显示设备呈现给所述用户。附图说明图1示出了用户通过AR设备的增强现实(AR)视图；图2示出了可穿戴显示系统的示例；图3示出了用于为用户模拟三维图像的常规显示系统；图4示出了使用多个深度平面模拟三维图像的方法的各方面；图5A至图5C示出了曲率半径与焦半径之间的关系；图6示出了用于向用户输出图像信息的波导堆叠的示例；图7示出了由波导输出的出射光束的示例；图8示出了堆叠波导组件的示例，其中，每个深度平面包括使用多种不同组分颜色形成的图像；图9A示出了堆叠波导组的示例的横截面侧视图，每个堆叠波导包括耦入(incoupling)光学元件；图9B示出了图9A的多个堆叠波导的示例的透视图；图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图；图10A示出了由显示系统呈现的用户观看内容的表示的示例；图10B示出了用户观看内容的表示的另一示例；图11示出了显示系统的用户的视野的表示；图12示出了用于调整与虚拟对象相关联的感知深度平面的示例过程的流程图；图13示出了用于调整与虚拟对象相关联的感知深度平面的另一示例过本文档来自技高网...

【技术保护点】
1.一种系统，包括一个或多个处理器和存储指令的一个或多个计算机存储介质，当所述指令被所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行操作，所述操作包括：确定用户眼睛的注视点，其中，所述注视点是所述用户的视野中的三维位置；获得与要呈现给所述用户的第一虚拟对象相关联的位置信息，其中，所述第一虚拟对象具有距所述用户的关联深度；调整所述第一虚拟对象的一个或多个深度线索，以减小所述第一虚拟对象的深度线索与用于所述注视点的深度线索之间的差异；以及使得具有调整后的一个或多个深度线索的所述第一虚拟对象经由显示设备呈现给所述用户。

【技术特征摘要】
【国外来华专利技术】2016.02.11 US 62/294,147;2016.07.25 US 62/366,533;1.一种系统，包括一个或多个处理器和存储指令的一个或多个计算机存储介质，当所述指令被所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行操作，所述操作包括：确定用户眼睛的注视点，其中，所述注视点是所述用户的视野中的三维位置；获得与要呈现给所述用户的第一虚拟对象相关联的位置信息，其中，所述第一虚拟对象具有距所述用户的关联深度；调整所述第一虚拟对象的一个或多个深度线索，以减小所述第一虚拟对象的深度线索与用于所述注视点的深度线索之间的差异；以及使得具有调整后的一个或多个深度线索的所述第一虚拟对象经由显示设备呈现给所述用户。2.根据权利要求1所述的系统，其中，所述深度线索包括尺寸、调节线索和/或双目线索。3.根据权利要求1所述的系统，其中，调整一个或多个深度线索包括使对应于所述调整后的一个或多个深度线索的深度平面与所述注视点的深度平面相匹配。4.根据权利要求3所述的系统，其中，所述操作进一步包括确定所述用户在所述第一虚拟对象与第二对象之间以大于阈值频率交替注视，其中，所述注视点与所述第二对象的三维位置一致，其中，所述第二对象是虚拟对象或真实世界对象。5.根据权利要求1所述的系统，其中，所述操作进一步包括：基于用户偏好的指示、或者与第二虚拟对象相比所述第一虚拟对象较少被注视的确定，识别出所述第一虚拟对象的所述一个或多个深度线索将被调整，所述第二对象具有与所述第一虚拟对象相关联的深度不同的深度，其中，所述第二对象是虚拟对象或真实世界对象。6.根据权利要求1所述的系统，其中，调整所述一个或多个深度线索包括调整调节线索，并且其中，所述操作进一步包括：确定与具有调整后的调节线索的所述第一虚拟对象的呈现相关联的调节聚散度失配；以及响应于所述调节聚散度失配超过阈值，调整双目线索。7.根据权利要求1所述的系统，进一步包括显示设备，所述显示设备包括：多个堆叠的波导，其形成显示区域并通过所述显示区域提供周围环境的视图，其中，所述多个波导中的至少一些波导被配置为输出具有与其他波导不同的波前发散的光，每个波导与深度平面相关联。8.根据权利要求7所述的系统，其中，调整一个或多个深度线索包括改变用于形成所述第一虚拟对象的波导输出光。9.一种显示系统，包括：显示设备，其被配置为向用户呈现虚拟对象，每个虚拟对象在多个深度平面中的一个或多个深度平面上；一个或多个处理器；以及存储指令的一个或多个计算机存储介质，当所述指令由所述显示系统执行时，所述指令使得所述显示系统执行操作，所述操作包括：监视与用户的眼睛运动相关联的信息；基于所监视到的信息，确定...

【专利技术属性】
技术研发人员：N·E·萨梅茨，N·U·罗柏纳，C·M·哈利西斯，M·拜伦洛特，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US