功率管理方法和设备技术

提供了用于改进功率管理的方法和设备。一种功率管理组件接收计算系统的功率封顶命令。所述计算系统包括多个处理组件。所述计算系统包括分布在多个处理组件当中的多个功率域。所述功率管理组件将在第一组功率域上运行的一个或多个实例合并到第二组功率域上。所述功率管理组件对所述计算系统中排除所述第二组功率域的所述多个功率域执行功率封顶。率域的所述多个功率域执行功率封顶。率域的所述多个功率域执行功率封顶。

【技术实现步骤摘要】
【国外来华专利技术】功率管理方法和设备


[0001]本公开涉及功率管理的领域，并且更具体地，涉及用于计算系统的功率管理的方法和设备。

技术介绍

[0002]功率封顶是现代数据中心(DC)中广泛地用于提高机架上服务器部署密度并避免停电的技术。然而，在由供应商提供的硬件和固件所支持的功率封顶期间，由于功率封顶，不同类型的处理组件(例如CPU和GPU)的性能一致地降低了。因此，高优先级的实例/应用的性能在功率封顶期间可能受到负面影响。
[0003]通常，CPU制造商和GPU制造商给CPU和GPU提供功率封顶能力。然而，由制造商提供的功率封顶控制逻辑简单地使整个系统的功耗节流，直到达到功率封顶目标为止。然而，制造商未考虑到在系统上运行的性能重要的实例/应用由于功率封顶而受到影响。
[0004]当前，GPU服务器是昂贵的，并且性能重要的实例/应用如在其上运行的AI训练和推理作业是重要的。因此，云服务提供商不想GPU服务器的性能降级。另一方面，GPU服务器的功耗高。例如，可以将8卡GPU服务器的热设计功率(TDP)定额在3000W。高TDP使得难以将GPU服务器装配到功率紧凑机架中而不增加跳闸风险。因此，从互联网数据中心(IDC)的总拥有成本(TCO)的成本优化的角度来看，功率封顶是必要的。因此，出现困境—不能使由GPU服务器运行的性能重要的实例/应用慢下来，然而IDC需要使用功率封顶来降低成本并避免跳闸风险。
[0005]因此，期望在不显著地损害性能重要的实例/应用的情况下对计算系统执行功率封顶。

技术实现思路
r/>[0006]本
技术实现思路
不旨在标识所要求保护的主题的必要特征，也不意在供在限制所要求保护的主题的范围时使用。
[0007]下文描述功率管理方法和设备的示例实现方式。在实现方式中，功率管理组件接收计算系统的功率封顶命令。计算系统包括多个处理组件。计算系统包括分布在多个处理组件当中的多个功率域。功率管理组件将在第一组功率域上运行的一个或多个实例合并到第二组功率域上。功率管理组件基于功率域的类型不同地执行功率封顶。第二组功率域是重要功率域，然而其他功率域是非重要功率域。在实现方式中，功率管理组件对非重要功率域执行功率封顶而不对重要功率域执行功率封顶。附加地或可替代地，功率管理组件对非重要功率域执行第一功率封顶过程而对重要功率域执行第二功率封顶过程，其中第二功率封顶过程对重要功率域的性能的影响小于第一功率封顶过程对非重要功率域的性能的影响。
[0008]在合并之后，可以不同地管理重要功率域和非重要功率域的功耗。在功率封顶期间，性能重要的实例/应用在其上运行的重要功率域的性能可以不经历降级或比非重要功
率域降级更少。因为重要功率域的性能被保证，所以能够降低功率封顶对计算系统的整体性能的影响。因此，减轻了功率封顶期间的性能影响。
附图说明
[0009]参考附图阐述详细描述。在各图中，附图标记的最左边数字标识附图标记首次出现在其中的图。在不同的图中使用相同的附图标记指示类似或相同的项目或特征。
[0010]图1A图示计算系统的示例框图。
[0011]图1B图示合并/组合之后的计算系统的示例框图。
[0012]图2图示用于在计算系统中合并/组合性能重要的实例/应用的过程的示例流程图。
[0013]图3A图示处于初始状态的计算系统的示例框图。
[0014]图3B图示合并/组合之后的计算系统的示例框图。
[0015]图4图示用于合并/组合性能重要的实例/应用并且基于重要功率域和非重要功率域执行功率封顶的过程的示例流程图。
[0016]图5图示示出了与全局调度器进行通信的计算系统的示例框图。
[0017]图6图示用于实现上述过程和方法的示例系统。
具体实施方式
[0018]本文使用的术语被表示如下。功率封顶是指将系统、组件、资源等的功耗限制为不超过功率上限的做法。功率上限是指系统、组件、资源等的功耗不能超过的功率极限。调度器是指分配并迁移实例的中央或分布式控制器。实例/应用是指进程、虚拟机(VM)、容器、作业、线程等。
[0019]图1A图示计算系统100的示例框图。计算系统100被实现在分布式系统中。
[0020]参考图1A，计算系统100包括不同类型的处理组件，例如M个CPU和P个GPU，其中M和P是正整数。M个CPU包括CPU插槽_0102、
…
CPU插槽_M
‑
1 104。P个GPU包括GPU_0 106、
…
、GPU_P
‑
1 108。相应的CPU或GPU包括一个或多个功率域，其功耗能够被单独地控制。相应的功率域包括一个或多个核心和/或非核心切片。例如，CPU插槽_0 102包括N个功率域，即功率域_0 110、功率域_1 112、
…
、功率域_N
‑
1 114，其中N是正整数。CPU插槽_M
‑
1 104包括N个功率域，即功率域_0 116、功率域_1 118、...、功率域_N
‑
1 120。GPU_0 106包括Q个功率域，即功率域_0 122、功率域_1 124、...、功率域_Q
‑
1 126，其中Q是正整数。GPU_1 108包括Q个功率域，即功率域_0 128、功率域_1 130、
…
、功率域_Q
‑
1 132。
[0021]可以存在不同类型的功率域。例如，功率域可以是重要功率域或非重要功率域。重要功率域是一个或多个性能重要的实例/应用在其上运行的功率域。在功率封顶期间不应该降低重要功率域的功率预算，并且重要功率域不会由于功率封顶而以较低速度运行。非重要功率域是性能重要的实例/应用不在其上运行的功率域。在功率封顶期间能够降低非重要功率域的功率预算，并且由于功率封顶，非重要功率域能够以较低速度运行。
[0022]在实现方式中，性能重要的实例/应用被定义为运行该实例/应用的资源的性能对该实例/应用至关重要或者具有显著影响的实例/应用。例如，性能重要的实例/应用是AI训练或推理作业。在实现方式中，性能重要的实例可以是时延敏感的实例。时延敏感的实例需
要低于第一阈值例如10μs、5μs等的时延。附加地或可替代地，性能重要的实例可以是吞吐量敏感的实例。吞吐量敏感的实例需要高于第二阈值例如每秒200万条指令、每秒500万条指令等的指令执行速率。可以基于实际需要动态地设置和/或调整第一阈值和第二阈值。
[0023]作为示例，图1A示出4个重要功率域，即，CPU插槽_0 102中的功率域_1 112、CPU插槽_M
‑
1 104中的功率域_0 116、GPU_0 106中的功率域_0 122和GPU_P
‑
1 108中的功率域_Q
‑
1 132。其他功率域是非重要功率域。重要功率域以虚线框示出，然而非重要功率域以实心框示出。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：接收计算系统的功率封顶命令，所述计算系统包括多个处理组件，所述计算系统包括分布在所述多个处理组件当中的多个功率域；将在第一组功率域上运行的一个或多个实例合并到第二组功率域上；以及对所述计算系统中排除所述第二组功率域的所述多个功率域执行功率封顶。2.根据权利要求1所述的方法，其中所述第一组功率域分布在第一数目的处理组件当中，而所述第二组功率域分布在第二数目的处理组件当中，并且所述第二数目小于所述第一数目。3.根据权利要求1所述的方法，其中所述多个功率域中的相应的功率域的功率上限被单独地控制。4.根据权利要求1所述的方法，其中将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上包括：检查一个或多个合并规则；基于所述一个或多个合并规则确定所述一个或多个实例被允许合并；以及将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上。5.根据权利要求1所述的方法，其中将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上包括：与调度器进行通信；从所述调度器接收信息；基于来自所述调度器的所述信息确定所述一个或多个实例被允许合并；以及将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上。6.根据权利要求1所述的方法，其中对所述计算系统中排除所述第二组功率域的所述多个功率域执行功率封顶包括：设置所述计算系统中排除所述第二组功率域的所述多个功率域中的相应的功率域的相应的功率上限；以及基于所述相应的功率上限对所述计算系统中排除所述第二组功率域的所述多个功率域中的所述相应的功率域执行功率封顶。7.根据权利要求1所述的方法，其中所述一个或多个实例包括一个或多个性能重要的实例。8.根据权利要求7所述的方法，其中所述一个或多个性能重要的实例需要低于第一阈值的时延。9.根据权利要求7所述的方法，其中所述一个或多个性能重要的实例需要高于第二阈值的指令执行速率。10.一种计算机可读存储介质，所述计算机可读存储介质存储可由一个或多个处理器执行的计算机可读指令，当由所述一个或多个处理器执行时，所述计算机可读指令使所述一个或多个处理器执行操作，所述操作包括：接收计算的功率封顶命令系统，所述计算系统包括多个处理组件，所述计算系统包括分布在多个处理组件当中的多个功率域；将在第一组功率域上运行的一个或多个实例合并到第二组功率域上；以及
对所述计算系统中排除所述第二组功率域的所述多个功率域执行功率封顶。11.根据权利要求10所述的计算机可读存储介质，其中所述第一组功率域分布在第一数目的处理组件当中，而所述第二组功率域分布在第二数目的处理组件当中，并且所述第二数目小于所述第一数目。12.根据权利要求10所述的计算机可读存储介质，其中所述多个处理组件包括多个CPU和/或多个GPU。13.根据权利要求10所述的计算机可读存储介质，其中所述多个功率域中的相应的功率域的功率上限被单独地控制。14.根据权利要求10所述的计算机可读存储介质，其中将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上包括：检查一个或多个合并规则；基于所述一个或多个合并规则确定所述一个或多个实例被允许合并；以及将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上。15.根据条款10所述的计算机可读存储介质，其中将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上包括：与调度器进行通信；从所述调度器接收信息；基于来自所述调度器的所述信息确定所述一个或多个实例被允许合并；以及将在所述第一组功率域上运行的所述一个或多个实例合并到所述第二组功率域上。16.根据权利要求10所述的计算机可读存储介质，其中对所述计算系统中排除所述第二组功率域的所述多个功率域执行功率封顶包括：设置所述计算系统中排除所述第二组功率域的所述多个功率域中的相应的功率域的相应的功率上限；以及基于所述相应的功率上限对所述计算系统中排除所述第二组功率域的所述多个功率域中的所述相应的功率域执行功率封顶。17.根据权利要求10所述的计算机可读存储介质，其中所述一个或多个实例包括一个或多个性能重要的实例。18.根据权利要求17所述的计算机可读存储介质，其中所述一个或多个性能重要的实例需要低于第一阈值的时延。19.根据权利要求17所述的计算机可读存储介质，其中所述一个或多个性能重要的实例需要高于第二阈值的指令执行速率。20.一种设备，所述设备包括：一个或多个处理器；以及存储器，所述存储器通信地耦合到所述...

【专利技术属性】
技术研发人员：宋军，靳玲玲，程霖，卢毅军，奉有泉，孟晓林，朱昊，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：