一种基于指令流截取的应用程序透明化的分辨率控制制造技术

提供一种用于图形系统在运行时控制图像分辨率的方法。在使用时，运行程序的指令流及着色器会被实时地截取并分析。当一个需要即时生成的分辨率变化事件请求时，所述变化会由着色器汇编代码或者图形库指令的修改来完成。

【技术实现步骤摘要】
相关专利申请的交叉引用本申请要求享有以下优先权：于2012年3月10日提交的第61/609268号美国临时专利申请，其专利技术名称为″DynamicResolutionRenderingbyWayofCommandStreamInterception(基于指令流截取的动态分辨率渲染)″，以及于2012年12月31日提交的第61/747630号美国临时专利申请，其专利技术名称为″Playability-AwarePowerConservationManagementofGraphicsSystem(基于播放性能感知的图形系统节能管理)″。本申请是下列美国专利申请的部分延续案(CIP)：于2008年8月20日提提交的第12/229215号美国专利申请，名为″MultimodeParallelGraphicsRenderingSystemsandMethodsSupportingTask-ObjectDivision(支持任务目标分割的多模式并行图形渲染系统和方法)″，于2012年4月2日提交的第13/437869号美国专利申请，名为″VirtualizationMethodofVertical-SynchronizationinGraphicsSystems(图形系统中垂直同步的虚拟化方法)″，以及于2013年3月7日提交的第13/789518美国专利申请，名为″Application-TransparentResolutionControlbyWayofCommandStreamInterception(采用指令流截取方式的应用程序透明的分辨率控制)″，上述每个专利由LucidLogix公司共同拥有，并且在此通过引证并入本文。
一般地，本专利技术涉及计算机图形渲染领域，而且尤其是，涉及支持基于GPU的、跨平台的3D图形渲染流程的性能提升途径和手段。
技术介绍
节能管理在图形系统使用电池或其他类似的易耗电源时是至关重要的。具体的，当代游戏产业中顶级视频游戏应用程序对于图形处理能耗要求是非常苛刻的。这些应用程序通常在台式电脑上，借助强大的独立GPU以50-300fps(帧每秒，下同)的高帧率运行。独立GPU在计算机系统中是耗电极大的模块，因此在无外接电源的情况下主要做法是更换一个集成GPU。集成GPU的耗电要小得多。但是，在电池供电的设备，如笔记本电脑，平板电脑和移动电话越来越多地使用集成GPU时，要求优化集成GPU的功率消耗以实现更高的使用效率。对于实时图形应用程序，例如视频游戏而言这一点特别重要，因为人们特别需要这些应用程序能够在上述电池供电的设备中播放。鉴于此，本专利技术的实施目标主要是集成GPU，虽然也适用于独立GPU。集成GPU(也称作iGPU)是一款集成在主板上的图形处理器，它也可以图形元素嵌在多核的CPU芯片上，与一个或多个CPU核心协同工作。集成GPU并不使用独立的图形存储，而是与计算机系统共享内存。通常情况下，集成GPU比独立GPU更为廉价，但在性能和操作上往往表现不佳。集成GPU应用于嵌入式系统，移动电话，个人电脑，工作站，和游戏机当中。超过90％的新台式机和笔记本电脑都搭载集成GPU，它们的性能通常远远没有专用的视频卡强大。搭载集成图形处理器的电脑占据了所有PC和笔记本电脑的90％。这些集成图形处理器的配置方案与独立图形处理器方案相比来说成本更低，但也导致了性能的缺失。据以往经验，集成GPU通常并不适合运行3D游戏。然而，现代的集成图形处理器也能够尽力运行新游戏。像Intel公司的HDGraphics3000和AMD公司的FusionIGPs这两款集成GPU就增强了性能，可以与廉价的独立显卡相抗衡，但仍与昂贵的独立显卡相去甚远。旧平台的iGPU集成在主板上，而新的平台(例如英特尔酷睿i系列和AMDFusion)则将GPU整合在CPU芯片中。游戏玩家的满意度是判断视频游戏产品使用优劣性的主要决定因素。它是基于在整个游戏过程中的用户体验效果，而这又取决于帧速率、图像分辨率、响应性和最小枯燥等待时间(如加载时间)。不幸的是，电源能耗管理却时常危害着用户体验，它通过自动降低帧速率、分辨率或背光亮度来减少功耗，导致游戏的宜玩指数(playability)受到严重影响。我们将宜玩指数定义为图形系统的处理能力，即使功率降低，也能够满足玩家在视频游戏中需要的用户体验。游戏玩家的体验受到以下多个因素的影响：帧速率、分辨率、响应时延、资源加载时间和图像质量。宜玩指数划定了每一个因素的临界值，在某种程度上也保障了用户体验不低于规定阈值的节能底线。宜玩指数的区域如图1所示，该区域描述了最好的和可忍受的用户体验的范围。宜玩指数的下限指定了所允许的最低功耗，即阈值1，以防止用户体验的恶化。在现有技术中有多种管理图形功耗的方法。他们都是基于手动启动到节能模式，或者由帧持续时间或电池状态触发，而自动启动到节能模式。以上方法没有一款是如本专利技术所述的通过权衡游戏应用的节能及宜玩指数所驱动的。通常情况下，现有技术中的功耗管理解决方案是通过降低性能、时钟速度和频率、刷新率或调整屏幕亮度来解决功耗问题。根据Wyatt等人在专利US2008/0143729中所述，图形子系统的刷新率调整是以省电为目的，且只能在省电模式下，没有与用户体验相结合。Lin等人在专利US2003/0233592实施了图形系统的两个节能的实施方案，一个是通过禁用图形系统来获得选通时间，另一个是以通过计算一个时钟比例因子来降低图形渲染引擎的时钟频率。两者都是通过测量帧持续时间所触发。Fan等人在US2009/0295794专利中，公开了GPU的节能方法，该方法是当图形处理单元处于省电模式时，通过禁用一些流处理器来实现。Wyatt等人在US2012/0206461专利中教导了在自刷新模式下操作自刷新显示装置来节能。连接到显示设备的图形控制器中设置了一个或多个省电状态。Woo-UpKwon在US2012/0280921专利中，公开了一种通过发送屏幕触摸动作来控制屏幕亮度的节能方法。HassanAzar等人在US2010/0123725专利中公开了一种调整事先由独立GPU或者集成GPU所产生图形的方法。当屏幕背光降低时，这一调整方法可用于节能技术与保持图像质量相融合。Hassan这一专利的目标是调整视频图像的同时最大限度地减少本文档来自技高网...

【技术保护点】
一种计算机实施方法，其基于用户体验因素对图形系统中的帧的渲染进行优化并进行展示，所述方法包括下列步骤：从图形系统中接收一个或多个帧；接收并储存用户体验因素；基于一个或多个帧的用户体验因素定义阈值；基于所定义的阈值对一个或多个帧的自身因素和系统因素进行分析；提供调整模块，利用该模块对帧的用户体验因素进行调整；基于调整后的用户体验因素，选择性的呈现经过调整的后缓冲区中的内容；确定屏幕是否可以用于显示；如果屏幕可以用于显示，将调整后或未经调整的后缓冲区中的内容传送到位于前面的帧中显示出来。

【技术特征摘要】
2014.12.19 US 14/576,2481.一种计算机实施方法，其基于用户体验因素对图形系统中的
帧的渲染进行优化并进行展示，所述方法包括下列步骤：
从图形系统中接收一个或多个帧；
接收并储存用户体验因素；
基于一个或多个帧的用户体验因素定义阈值；
基于所定义的阈值对一个或多个帧的自身因素和系统因
素进行分析；
提供调整模块，利用该模块对帧的用户体验因素进行调
整；
基于调整后的用户体验因素，选择性的呈现经过调整的
后缓冲区中的内容；
确定屏幕是否可以用于显示；
如果屏幕可以用于显示，将调整后或未经调整的后缓冲
区中的内容传送到位于前面的帧中显示出来。
2.根据权利要求1所述的方法，如果屏幕不能用于显示，则将
后缓冲区中的内容存放到图形管道队列中。
3.根据权利要求1所述的方法，其中将调整后的后缓冲区的内
容传送到帧缓冲区的步骤包括发送一个当前命令或者交换
缓冲区的命令，以此来显示调整后的后缓冲区的内容。
4.根据权利要求1所述的方法，进一步包括：
在完成一个后缓冲区之前，提前评估屏幕的可用性；以
及如果后缓冲区的内容可以被显示，激活数据收集模块，使
得所述数据收集模块监视内部帧的用户体验因素以及用户
输入。
5.根据权利要求4所述的方法，其中监视的因素包括帧的自身
因素、系统因素和用户输入的一种或多种。
6.根据权利要求5所述的方法，其中所述的帧的自身因素包括
帧频、图像分辨率、GPU利用率、GPU频率、CPU利用率
和背光的一种或多种。
7.根据权利要求5所述方法，其中所述的系统因素包括响应延
迟、资源加载时间、热度、功耗、温度、充电器可用性和电
量的一种或多种。
8.根据权利要求5所述的方法，其中所述的用户输入来自鼠标、
键盘、操纵杆、任何形式的控制器和头戴式跟踪装置中的一
种或多种。
9.根据权利要求4所述的方法，其中所述的数据收集模块从与
某一帧相关联的其他帧中分离当前帧的自身因素，并且其定
义阈值的步骤包括对至少一个因素的最低允许等级进行定
义。
10.根据权利要求1所述的系统，其中所述的分析步骤包括将帧
的自身因素与阈值进行比较，以此确定用于调整所述帧的自
身因素的允许的调整范围。
11.根据权利要求1所述的方法，其中所述的调整模块在一组调
整因素所允许的范围内对帧的自身因素进行调整。
12.根据权利要求1所述的方法，其中所述的数据收集模块进一
步接收输入从而减少后缓冲区中的帧在显示过程中的延迟。
13.一种用于优化渲染及展示基于用户体验因素的图形系统中
的已渲染帧的系统，所述系统包括：
图形处理单元，其提供一个或多个用来渲染的帧；
非暂时性存储器，用来接收并存储用户体验因素；
当从图形系统中接收到一个或多个帧后，所述的非暂时
性存储器发出如下指示：
基于一个或多个帧的用户体验因素定义一个阈值；
基于所述定义的阈值对一个或多个帧的自身因素和系统
因素进行分析；
提供调整模块，利用该模块对帧的用户体验因素进行调
整；
基于调整后的用户体验因素，选择性的呈现调整后的后
缓冲区中的内容；
确定屏幕是否可以用于显示；
如果屏幕可以用于显示，将调整后或未经调整的后缓冲
区中的内容传送到位于前面的帧中显示出来。
14.根据权利要求13所述的系统，其中，如果屏幕不能用于显
示，将后缓冲区中的内容存放到图形管道队列中。
15.根据权利要求13所述的系统，其中将调整后或未经调整的
后缓冲区的内容传送到前面帧包括发送一个当前命令或者
交换缓冲区的命令，以此来显示调整后或未经调整的后缓冲
区中的内容。
16.根据权利要求13所述的系统，进一步包括：
在完成一个后缓冲区之前，提前评估屏幕的可用性；以
及
如果缓冲区的内容可以被显示，激活数据收集模块，使
得所述的数据收集模块监视内部帧的用户体验因素以及用
户输入。...

【专利技术属性】
技术研发人员：尤因·烁杉，
申请(专利权)人：卢茨洛格斯技术有限公司，
类型：发明
国别省市：以色列;IL