用于提高程序执行期间的处理器资源利用率的方法和装置制造方法及图纸

本申请涉及用于提高程序执行期间的处理器资源利用率的方法和装置。用于提高程序在执行期间利用处理器资源的程度的系统和方法。接收程序的多个不同版本，以及描述程序版本的期望性能的一组性能度量。然后分析程序以确定在执行程序时在特定处理器上使用的处理器资源的量以满足性能度量。在运行时，满足其性能度量且不超过可用处理器资源的程序版本被选择用于由处理器执行。程序版本可以是被编写为以不同方式利用处理器的版本，诸如通过调整执行或存储操作的数值精度。如果没有程序版本在不超过可用处理器资源的情况下满足其性能度量，则可以降低性能度量，并且程序选择可以基于这些降低的性能度量。些降低的性能度量。些降低的性能度量。

【技术实现步骤摘要】
用于提高程序执行期间的处理器资源利用率的方法和装置

技术介绍

[0001]本公开的实施例一般涉及电子计算系统。更具体地，本公开的实施例涉及提高电子计算系统的运行时资源利用率。

技术实现思路

[0002]计算机处理器技术的进步已经提高了处理器性能的几乎每个方面。各个处理器类型(诸如中央处理单元(CPU)和图形处理单元(GPU))继续在架构、处理速度、存储器容量和使用以及许多其他度量方面提高。然而，软件应用——即使在开发时可用的最新硬件平台上开发的或为其开发的那些软件应用——可能不总是能够充分利用新处理器的提高的性能能力，因此通常不能最优地运行。
[0003]因此，在此描述了用于提高程序或应用在其执行期间的处理器资源利用率的系统和方法。在本公开的示例性实施例中，特定程序或过程的若干变化的处理器资源利用率被确定。当程序要在特定处理器上运行时，将该处理器的可用计算资源与该程序的各个版本的资源利用率进行比较。最佳地利用处理器的资源的版本是被选择用于执行的版本。
[0004]在本公开的一些实施例中，生成由每个程序变化的执行所消耗的计算资源的表或其他编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高图形处理单元GPU的利用率的方法，所述方法包括：使用处理电路接收与由GPU执行的多个指令集的执行所消耗的计算资源相对应的数据，以及用于所述GPU的一个或更多个性能度量；确定所述GPU的可用计算资源；使用所述数据，将通过所述指令集的执行所消耗的所述计算资源与所述GPU的所述可用计算资源进行比较，以选择所述指令集中的在由所述GPU执行时满足用于所述GPU的所述一个或更多个性能度量且不超过所述GPU的所述计算资源的一个指令集；以及使用所述GPU执行所选择的指令集。2.根据权利要求1所述的方法，还包括：如果没有指令集在由所述GPU执行时满足用于所述GPU的所述一个或更多个性能度量且不超过所述GPU的所述计算资源，则：选择用于所述GPU的一个或更多个降低的性能度量；以及使用所述数据，选择在由所述GPU执行时满足用于所述GPU的所述一个或更多个降低的性能度量且不超过所述GPU的所述计算资源的所述指令集。3.根据权利要求2所述的方法，还包括：如果没有指令集在由所述GPU执行时满足用于所述GPU的所述一个或更多个降低的性能度量且不超过所述GPU的所述计算资源，则：使用所述数据，选择在由所述GPU执行时最接近地满足用于所述GPU的所述一个或更多个降低的性能度量且不超过所述GPU的所述计算资源的所述指令集。4.根据权利要求2所述的方法，其中所述一个或更多个性能度量包括端到端运行时间或生成信息的最小速率中的一个或更多个，并且其中所述一个或更多个降低的性能度量包括增加的端到端运行时间或生成信息的降低的最小速率中的一个或更多个。5.根据权利要求1所述的方法，其中所述计算资源和所述可用计算资源每个包括以下中的一个或更多个：通过执行相应指令集所消耗的GPU存储器的量；在执行相应指令集时每秒执行的浮点运算；或在执行相应指令集时执行的总计算操作。6.根据权利要求1所述的方法，其中所述计算资源还包括所述GPU的存储器资源，并且其中所述比较还包括：使用所述数据，选择所述指令集中的在由所述GPU执行时不超过所述GPU的所述存储器资源的一个指令集。7.根据权利要求6所述的方法，还包括：如果每个指令集在由所述GPU执行时超过所述GPU的所述存储器资源，则选择所述指令集中超过所述GPU的所述存储器资源最少的一个指令集。8.根据权利要求1所述的方法，其中所述计算资源还包括所述GPU的处理器操作资源，并且其中所述比较还包括：使用所述数据，选择所述指令集中的在由所述GPU执行时不超过所述GPU的所述处理器操作资源的一个指令集。9.根据权利要求8所述的方法，还包括：如果每个指令集在由所述GPU执行时超过所述GPU的所述处理器操作资源，则选择所述指令集中超过所述GPU的所述处理器操作资源最少的一个指令集。
10.根据权利要求1所述的方法，其中所述指令集每个包括用于医学图像重建的指令。11.根据权利要求1所述的方法，其中所述指令集中的每个指令集被配置为执行相同的一个或更多个计算过程。12.根据权利要求1所述的方法，其中所述指令集中的至少一个指令集是用于实现一个或更多个神经网络模型的指令集。13.根据权利要求1所述的方法，其中所述GPU包括虚拟GPU，即vGPU。14.根据权利要求13所述的方法，还包括：选择可用于执行所述指令集的多个vGPU。15.一种非暂时性计算机可读介质，在其上具有被编码的数据和包括在其上的用于由处理电路执行的指令，所述数据和指令包括：用于由图形处理单元GPU执行的第一指令集；以及与由所述GPU对所述第一指令集的执行所消耗的计算资源相对应的数据，以及用于所述GPU的一个或更多个性能度量；以及用于由处理电路执行的第...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：