用于计算机生成的对象的注意力驱动渲染制造技术

本文所公开的各种具体实施包括能够调整计算机生成的对象(例如，增强)的外观的设备、系统和方法，这些计算机生成的对象被预测为在光学透视HMD用户的当前注意力焦点之外。在一些具体实施中，一种方法包括在HMD的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象。在一些具体实施中，基于用户注意力指向第一计算机生成的对象的预测来标识第一计算机生成的对象，并且调整第二计算机生成的对象的外观以从第一状态改变为第二状态。态。态。

【技术实现步骤摘要】
【国外来华专利技术】用于计算机生成的对象的注意力驱动渲染


[0001]本公开一般涉及基于计算机生成的对象的渲染，并且涉及基于预测的用户注意力来调整计算机生成的对象的外观的系统、方法和设备。

技术介绍

[0002]在各种电子设备诸如使用光学透视(OST)显示器的那些中，可视地显示虚拟内容的显示系统需要足够的光量才可确保所显示的内容能够被用户看见。对于其中OST显示系统半透明的设备而言，会向所显示的内容添加背景光强度。内容必须以足够的亮度显示才可确保即使在存在大量背景光的情况下(诸如，在存在来自阳光照射的白色墙壁的背景光的情况下)，所显示的内容也可见。一般来讲，减少此类设备的渲染和显示部件的能耗的尝试主要集中在去除用户无法感知的所显示的内容的细节。

技术实现思路

[0003]本文所公开的各种具体实施包括调整计算机生成的对象(例如，增强)的外观的设备、系统和方法，这些计算机生成的对象被预测为在光学透视(OST)设备用户的当前注意力焦点之外。在一些具体实施中，基于用户的动作(例如，注视、背景、选择、历史活动倾向、语音等)，计算机生成的对象被预测为在用户的当前注意力焦点之外。例如，如果用户的注视指示该用户正在查看一组三个对象中的第一对象，则可以预测该第一对象是当前焦点，并且可以预测第二对象和第三对象在当前焦点之外。在一些具体实施中，可调整在当前焦点之外的一个或多个计算机生成的对象的外观，以减少用于渲染和/或显示该一个或多个计算机生成的对象的能耗。在一些具体实施中，经调整的外观是特定于对象的而非特定于显示区域的。在一些具体实施中，调整一个或多个计算机生成的对象的外观以提供感知上不同的外观(例如，用户注意到外观差异)。例如，基于预测该多个计算机生成的对象中的第一计算机生成的对象在用户的当前焦点之外来标识第一计算机生成的对象，并且调整第一计算机生成的对象的外观以从第一状态改变为第二状态。与处于第一状态的外观相比，第一计算机生成的对象的处于第二状态的外观减少了渲染和/或显示第一计算机生成的对象的能耗或其他资源。
[0004]在一些具体实施中，第一计算机生成的对象的外观从第一状态到第二状态的改变瞬时发生。另选地，从第一状态到第二状态的改变发生在一段时间间隔内，在该时间间隔期间，显示第一计算机生成的对象的一个或多个中间状态。在一些具体实施中，经调整的外观与注视点显示(foveated display)技术一起使用。例如，可使用不同的显示特性来显示不同区域中(例如，在注视点区域和非注视点区域中)的内容，并且两个计算机生成的对象可分别以对应的第一状态和第二状态显示在相同的注视点区域或非注视点区域中。
[0005]在一些具体实施中，一旦用户的当前焦点(例如，注意力)被预测为将返回到(例如，指向)第一计算机生成的对象，第一计算机生成的对象的外观调整将从第二状态返回到第一状态(例如，返回到预期的显示质量)。在一些具体实施中，从第二状态到第一状态的改
变可以是瞬时的(例如，通过维持高质量的内容可随时显示)或在预设时间段内实现。
[0006]在一些具体实施中，一种方法包括在头戴式设备(HMD)的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象。在一些具体实施中，基于用户注意力指向第一计算机生成的对象的预测来标识第一计算机生成的对象，并且调整第二计算机生成的对象的外观以从第一状态改变为第二状态。
附图说明
[0007]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0008]图1例示了根据一些具体实施的示例性操作环境。
[0009]图2是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。
[0010]图3是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。
[0011]图4是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。
[0012]图5是根据一些具体实施的示意图，该示意图示出了包括多个计算机生成的对象的表示的环境，这些多个计算机生成的对象的表示具有基于光学透视设备的用户的注意力而调整的外观。
[0013]图6是根据一些具体实施的示出了调整计算机生成的对象的外观的示例性方法的流程图，这些计算机生成的对象被预测为在光学透视HMD用户的当前注意力焦点之外。
[0014]图7示出了根据一些具体实施的示例性电子设备。
[0015]图8示出了根据一些具体实施的示例性HMD。
[0016]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0017]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0018]图1示出了在物理环境105中使用电子设备120的示例性操作环境100。人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动
物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。
[0019]在图1的示例中，设备120被示出为单个设备。设备120的一些具体实施是手持式的。例如，设备120可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，设备120由用户穿戴。例如，设备120可以是手表、头戴式设备(HMD)等。在一些具体实施中，设备120的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、CPU能力、GPU能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备120的功能的多个设备可经由有线或无线通信彼此通信。
[0020]在一些具体实施中，设备120被配置为在扩展现实(XR)环境中为用户115管理和协调计算机生成的对象的外观。在一些具体实施中，基于预测用户注意力指向设备120处的多个计算机生成的对象中的第一计算机生成的对象来标识第一计算机生成的对象，并且调整第二计算机生成的对象的外观以从第一状态改变为第二状态。在一些具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在处理器处：在头戴式设备(HMD)的光学透视显示器上显示第一计算机生成的对象和第二计算机生成的对象；基于用户注意力指向所述第一计算机生成的对象的预测来标识所述第一计算机生成的对象；以及调整所述第二计算机生成的对象的外观以从第一状态改变为第二状态，所述第二状态具有比所述第一状态低的渲染质量。2.根据权利要求1所述的方法，还包括：基于所述用户注意力指向所述第二计算机生成的对象而非所述第一计算机生成的对象的预测来标识所述第二计算机生成的对象；以及调整所述第二计算机生成的对象的所述外观以从所述第二状态改变为所述第一状态，同时调整所述第一计算机生成的对象的外观以从所述第一状态改变为所述第二状态。3.根据权利要求1至2中任一项所述的方法，其中基于确定注视方向与所述第一计算机生成的对象相交来预测所述用户注意力未指向所述第二计算机生成的对象。4.根据权利要求1至3中任一项所述的方法，其中基于确定头部姿势朝向所述第一计算机生成的对象来预测所述用户注意力未指向所述第二计算机生成的对象。5.根据权利要求1至4中任一项所述的方法，其中基于对应于所述第一计算机生成的对象的用户输入来预测所述用户注意力指向所述第一计算机生成的对象。6.根据权利要求1至5中任一项所述的方法，其中基于使用机器学习模型来预测用户注意力指向所述第一计算机生成的对象，所述机器学习模型使用所述用户或其他用户的行为数据进行训练。7.根据权利要求1至6中任一项所述的方法，其中所述第一状态和所述第二状态之间的差异是可检测的。8.根据权利要求1至7中任一项所述的方法，其中从所述第一状态到所述第二状态的所述改变发生在一段时间间隔内，在所述时间间隔期间，显示所述第二计算机生成的对象的一个或多个中间状态。9.根据权利要求1至8中任一项所述的方法，其中调整所述外观包括减少显示所述第二计算机生成的对象所需的计算。10.根据权利要求8所述的方法，其中调整所述外观包括：降低所述计算机生成的对象的渲染质量；减少所述计算机生成的对象的移动量；降低用于显示所述第二计算机生成的对象的表示的复杂度；降低用于显示所述第二计算机生成的对象的视...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：