用于对便携式计算设备中的沉浸式多媒体工作负载的智能调整的系统和方法技术方案

公开了用于对便携式计算设备(“PCD”)中的沉浸式多媒体工作负载(诸如虚拟现实(“VR”)或增强现实(“AR”)工作负载)的智能调整的方法和系统。示例性实施例监测一个或多个性能指标，其包括与沉浸式多媒体工作负载相关联的运动到光子延时。调整与热侵害处理组件相关联的性能参数，以降低对功率的需求，同时确保运动到光子延时被优化和/或保持优化。可以被调整的性能参数包括但不限于包括：眼部缓冲区分辨率、眼部缓冲区MSAA、时间扭曲CAC、眼部缓冲区FPS、显示器FPS、时间扭曲输出分辨率、纹理LOD、6DOF相机FPS和中央凹大小。

System and method for intelligent adjustment of immersive multimedia workload in portable computing devices

【技术实现步骤摘要】
【国外来华专利技术】用于对便携式计算设备中的沉浸式多媒体工作负载的智能调整的系统和方法
技术介绍
便携式计算设备(“PCD”)正在成为人们在个人层面和专业层面上的必需品。这些设备可以包括蜂窝电话、便携式数字助理(“PDA”)、便携式游戏控制台、掌上计算机以及其它便携式电子设备。PCD的一个独特方面在于它们通常不具有诸如风扇的有源冷却设备，这些有源冷却设备经常出现在诸如膝上型计算机和台式计算机的较大型计算设备中。代替使用风扇，PCD可以依赖于电子封装的空间布置，以使得两个或更多个有源和发热组件不会彼此相邻放置。许多PCD还可以依赖于诸如散热器的无源冷却设备来管理在共同形成相应PCD的电子组件之间的热能。现实是PCD通常在大小方面是受限的，并且因此，用于PCD内的组件的空间通常非常宝贵。因此，在PCD内几乎没有足够的空间供工程师和设计者通过使用对无源冷却组件的巧妙空间布置或战略性布置来减轻处理组件的热降解或故障。因此，当前的系统和方法依赖于嵌入在PCD芯片上和其它地方的各种温度传感器来监测热能的耗散，并且然后使用这些测量结果来触发对调整工作负载分配、处理速度等的热功率管理技术的应用，以减少热能产生。例如，在与沉浸式多媒体游戏用例(例如，虚拟现实或增强现实用例)相关联的繁重的处理工作负载下，当前的系统和方法对多个组件的电压和频率进行节制(throttle)以保持在防止过多的热能产生的总功率预算内。这样做时，并不减少与沉浸式多媒体游戏用例相关联的处理工作负载，而是减慢了工作负载被处理的速度。不可避免的结果是，以用户感知的服务质量(“QoS”)所测量的用户体验(“Ux”)为代价，避免了过多的热能产生。实际上，在沉浸式多媒体用例中，造成帧丢失和/或降低的帧速率的处理带宽的减少可能使用户出现晕动症。这样，当PCD经受沉浸式多媒体用例时，用于减轻PCD中的处理组件的过多的热能产生的当前系统和方法是不足的。因此，本领域需要用于在PCD中的智能沉浸式多媒体工作负载调整的系统和方法。更具体地，本领域需要如下的系统和方法：所述系统和方法经由对组件性能设置的选择性调整以避免帧丢失和/或有害的帧速率降低，从而管理PCD中的沉浸式多媒体工作负载。
技术实现思路
公开了用于对便携式计算设备(“PCD”)中的沉浸式多媒体工作负载(诸如虚拟现实(“VR”)或增强现实(“AR”)工作负载)的智能调整的方法和系统的各种实施例。示例性实施例监测一个或多个性能指标，其包括与沉浸式多媒体工作负载相关联的运动到光子延时。还可以监测一个或多个热传感器，其中，来自一个或多个热传感器的读数可以用于指示在PCD中的热能产生。该示例性方法可以基于来自一个或多个热传感器的读数来确定在PCD中的热事件的可能性。值得注意的是，因为热事件可能触发热缓解措施(除了其它措施以外)，热缓解措施会降低活动地处理沉浸式多媒体工作负载的各种处理组件的处理速度，从而增加严重影响用户对沉浸式多媒体内容的体验(“Ux”)的帧丢失或帧速率降低的可能性，所以该解决方案的示例性实施例可以试图采取先发制人的措施，这些措施减轻将来热事件的可能性或完全避免将来热事件。在确定将来热事件的可能性之后，示例性实施例可以基于与PCD中的热侵害处理组件相关联的功率轨测量来识别该组件。接下来，并且根据热事件的相对可能性，该方法可以识别与热侵害处理组件相关联的性能参数，并且然后调整所识别的性能参数的设置以降低热侵害处理组件对于功率的需求。这样做时，该方法可以降低热事件的可能性，同时确保运动到光子延时被优化和/或保持优化。可以根据该解决方案的实施例进行调整的性能参数包括但不限于包括：眼部缓冲区分辨率、眼部缓冲区MSAA、时间扭曲CAC、眼部缓冲区FPS、显示器FPS、时间扭曲输出分辨率、纹理LOD、6DOF相机FPS和中央凹大小。有利地，通过调整热侵害处理组件的不会直接地或至少不会显著地影响针对沉浸式多媒体用例的Ux的参数设置，即不会对运动到光子延时和/或帧速率产生负面影响的参数，该解决方案的实施例致力于降低功耗并且减轻热能产生，而不会面临严重地或过度地影响针对沉浸式多媒体内容的Ux的热缓解动作的风险。附图说明在附图中，除非另外指示，否则遍及各个视图，相似的附图标记指代相似的部分。对于具有诸如“102A”或“102B”的字母字符命名的附图标记，字母字符命名可以区分出现在同一附图中的两个相似的部分或元素。当旨在使附图标记涵盖在所有附图中具有相同附图标记的所有部分时，可以省略附图标记的字母字符命名。图1示出了被配置为并且被编程为呈现沉浸式多媒体输出的便携式计算设备(“PCD”)与使得用户能够感知沉浸式多媒体输出的示例性虚拟现实头戴式耳机的耦合；图2是示出片上系统的实施例的功能方块图，该片上系统用于经由对组件性能设置的选择性调整以避免帧丢失和/或有害的帧速率降低，从而实现对便携式计算设备(“PCD”)中的沉浸式多媒体工作负载的智能管理；图3示出了可调整性能设置以及其对根据沉浸式多媒体工作负载进行操作的示例性处理组件的功耗的相对影响的示例性记录；图4A、图4B、图4C和图4D示出了用于给定的沉浸式多媒体用例的示例性GPU处理组件的示例性分布曲线图，每个分布曲线图示出了性能设置、与该设置相关的用户体验以及与该设置相关联的功耗之间的关系；图5描绘了逻辑流程图，该逻辑流程图示出了用于经由对组件性能设置的选择性调整以避免帧丢失和/或有害的帧速率降低，来智能管理便携式计算设备(“PCD”)中的沉浸式多媒体工作负载的方法；图6是以无线电话形式示出图1和2中的PCD的示例性非限制性方面的功能方块图，该PCD用于实现用于对沉浸式多媒体工作负载的智能管理的方法和系统；以及图7是示出图6中的用于对沉浸式多媒体工作负载的智能管理的PCD的示例性软件架构的示意图。具体实施方式本文使用词语“示例性”意指“用作示例、实例或说明”。本文中被描述为“示例性”的任何方面未必被解释为排它性的、优选于其它方面或者相对于其它方面有优势。在本描述中，术语“应用”还可以包括具有可执行内容(诸如：对象代码、脚本、字节代码、标记语言文件以及补丁)的文件。另外，本文中所引用的“应用”还可以包括本质上不可执行的文件(诸如可能需要被打开的文档或需要被访问的其它数据文件)。如在本描述中所使用的，术语“组件”、“数据库”、“模块”、“系统”、“热能产生组件”、“处理组件”等旨在指代计算机相关的实体，要么是硬件、固件、硬件和软件的组合、软件，要么是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过说明的方式，在计算设备上运行的应用和计算设备二者可以是组件。一个或多个组件可以驻留在进程和/或执行的线程中，并且组件可以位于一个计算机中和/或分布在两个或更多个计算机之间。此外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质中执行。组件可以诸如根据具有一个或多个数据分组(例如，来自与本地本文档来自技高网...

【技术保护点】
1.一种用于对便携式计算设备(“PCD”)中的沉浸式多媒体工作负载的智能调整的方法，所述方法包括：/n监测一个或多个性能指标，所述一个或多个性能指标包括与所述沉浸式多媒体工作负载相关联的运动到光子延时；/n监测一个或多个热传感器，其中，所述一个或多个热传感器指示在所述PCD中的热能产生；/n基于所述一个或多个热传感器来确定热事件的可能性；/n识别所述PCD中的热侵害处理组件，其中，所述热侵害处理组件正在活动地处理所述沉浸式多媒体工作负载的一部分；/n基于所述热事件的可能性，来识别与所述热侵害处理组件相关联的性能参数；/n调整所识别的性能参数的设置，其中，调整所述设置对所述热侵害处理组件的总体功耗进行修改，以使得所述热事件的可能性被降低，并且所述运动到光子延时被优化。/n

【技术特征摘要】
【国外来华专利技术】20170511 US 15/592,6641.一种用于对便携式计算设备(“PCD”)中的沉浸式多媒体工作负载的智能调整的方法，所述方法包括：
监测一个或多个性能指标，所述一个或多个性能指标包括与所述沉浸式多媒体工作负载相关联的运动到光子延时；
监测一个或多个热传感器，其中，所述一个或多个热传感器指示在所述PCD中的热能产生；
基于所述一个或多个热传感器来确定热事件的可能性；
识别所述PCD中的热侵害处理组件，其中，所述热侵害处理组件正在活动地处理所述沉浸式多媒体工作负载的一部分；
基于所述热事件的可能性，来识别与所述热侵害处理组件相关联的性能参数；
调整所识别的性能参数的设置，其中，调整所述设置对所述热侵害处理组件的总体功耗进行修改，以使得所述热事件的可能性被降低，并且所述运动到光子延时被优化。


2.根据权利要求1所述的方法，还包括：监测一个或多个电源轨，并且其中，所述热侵害处理组件是基于所述一个或多个电源轨的功率电平来识别的。


3.根据权利要求1所述的方法，其中，所识别的热侵害处理组件是以下各项中的一项：图形处理单元、中央处理单元、显示器单元和双数据速率存储器单元。


4.根据权利要求1所述的方法，其中，所识别的性能参数是以下各项中的一项：眼部缓冲区分辨率、眼部缓冲区MSAA、时间扭曲CAC、眼部缓冲区FPS、显示器FPS、时间扭曲输出分辨率、纹理LOD、6DOF相机FPS和中央凹大小。


5.根据权利要求1所述的方法，其中，所述热事件的可能性是不显著的，并且调整所识别的性能参数的所述设置包括增大所述设置。


6.根据权利要求1所述的方法，其中，确定热事件的可能性包括：估计以帧为单位的用于节制的时间。


7.根据权利要求6所述的方法，其中，调整所识别的性能参数的设置包括：基于所估计的用于节制的时间来对所述调整进行定时。


8.根据权利要求1所述的方法，其中，所述PCD具有无线电话的形式。


9.一种用于对便携式计算设备(“PCD”)中的沉浸式多媒体工作负载的智能调整的计算机系统，所述系统包括：
性能水平估计器(“PLE”)模块和VR/AR工作负载调整(“VWA”)模块，其被共同配置为进行以下操作：
监测一个或多个性能指标，所述一个或多个性能指标包括与所述沉浸式多媒体工作负载相关联的运动到光子延时；
监测一个或多个热传感器，其中，所述一个或多个热传感器指示在所述PCD中的热能产生；
基于所述一个或多个热传感器来确定热事件的可能性；
识别所述PCD中的热侵害处理组件，其中，所述热侵害处理组件正在活动地处理所述沉浸式多媒体工作负载的一部分；
基于所述热事件的可能性，来识别与所述热侵害处理组件相关联的性能参数；以及
调整所识别的性能参数的设置，其中，调整所述设置对所述热侵害处理组件的总体功耗进行修改，以使得所述热事件的可能性被降低，并且所述运动到光子延时被优化。


10.根据权利要求9所述的计算机系统，其中，所述性能水平估计器(“PLE”)模块和所述VR/AR工作负载调整(“VWA”)模块进一步被共同配置为监测一个或多个电源轨，并且其中，所述热侵害处理组件是基于所述一个或多个电源轨的功率电平来识别的。


11.根据权利要求9所述的计算机系统，其中，所识别的热侵害处理组件是以下各项中的一项：图形处理单元、中央处理单元、显示器单元和双数据速率存储器单元。


12.根据权利要求9所述的计算机系统，其中，所识别的性能参数是以下各项中的一项：眼部缓冲区分辨率、眼部缓冲区MSAA、时间扭曲CAC、眼部缓冲区FPS、显示器FPS、时间扭曲输出分辨率、纹理LOD、6DOF相机FPS和中央凹大小。


13.根据权利要求9所述的计算机系统，其中，所述热事件的可能性是不显著的，并且调整所识别的性能参数的所述设置包括增大所述设置。


14.根据权利要求9所述的计算机系统，其中，确定热事件的可能性包括：估计以帧为单位的用于节制的时间。


15.根据权利要求14所述的计算机系统，其中，调整所识别的性能参数的设置包括：基于所估计的用于节制的时间来对所述调整进行定时。


16.根...

【专利技术属性】
技术研发人员：M·塔瓦科利，I·米尔，M·卡恩，R·奥尔顿，G·卡斯卡瓦尔，R·维贾雅库马尔，M·蒙达尔，M·里布尔，M·伦施勒，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US