用于管理深度学习加速器系统的功率的方法与装置制造方法及图纸

公开了用于管理深度学习加速器系统的功率的方法与装置。示例装置包括功率管理器和功率控制器。功率管理器用于：基于第一工作负载中的计算任务和带宽任务的比率来生成功率表，以在加速器和存储器之间分配功率频率；基于对添加第二工作负载或移除第一工作负载的请求中的至少一者来更新功率表；并且确定到功率表中的索引。功率控制器用于：基于功率表来确定功率消耗；基于功率预算和功率消耗来确定是否更新索引；并且根据功率表向加速器和存储器分配功率。配功率。配功率。

【技术实现步骤摘要】
用于管理深度学习加速器系统的功率的方法与装置


[0001]本公开总体涉及功率管理，并且更具体地，涉及管理深度学习加速器系统的功率。

技术介绍

[0002]计算机硬件制造商开发用于在计算机平台的各种组件中使用的硬件组件。例如，计算机硬件制造商开发主板、用于主板的芯片组、中央处理单元(CPU)、硬盘驱动器(HDD)、固态驱动器(SSD)、以及其他计算机组件。此外，计算机硬件制造商开发被称为加速器的处理电路，以加速对工作负载的处理。例如，加速器可以由专用电路、集成电路、CPU、图形处理单元(GPU)、视觉处理单元(VPU)、专用集成电路(ASIC)、和/或现场可编程门阵列(FPGA)来实现。

技术实现思路

[0003]根据本公开的实施例，提供了一种装置，包括：功率管理器，所述功率管理器用于：基于元数据来生成功率表以在加速器和存储器之间分配功率频率，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加速器的计算任务和涉及所述存储器的带宽任务的比率；基于对添加第二工作负载或移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：功率管理器，所述功率管理器用于：基于元数据来生成功率表以在加速器和存储器之间分配功率频率，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加速器的计算任务和涉及所述存储器的带宽任务的比率；基于对添加第二工作负载或移除所述第一工作负载的请求中的至少一者来更新所述功率表；并且确定到所述功率表中的索引；以及功率控制器，所述功率控制器用于：基于所述功率表来确定功率消耗；基于功率预算和所述功率消耗来确定是否更新所述索引；并且根据所述功率表的所述索引处的功率频率来向所述加速器和所述存储器分配功率。2.根据权利要求1所述的装置，还包括：所述存储器和所述加速器。3.根据权利要求2所述的装置，其中，所述加速器是多个加速器中的一个加速器，所述存储器和所述多个加速器用于执行多个工作负载。4.根据权利要求3所述的装置，还包括：工作负载管理处理器。5.根据权利要求1所述的装置，其中，所述装置被实现为片上系统。6.根据权利要求1所述的装置，还包括：编译器。7.根据权利要求1所述的装置，其中，所述比率定义动态电压和频率缩放转变点。8.根据权利要求1所述的装置，其中，所述工作负载包括人工智能工作负载。9.根据权利要求8所述的装置，其中，所述人工智能工作负载用于实现深度学习神经网络中的一个或多个推理层。10.根据权利要求1所述的装置，其中，所述功率控制器用于：响应于来自所述加速器的相对频率改变请求而调整对所述加速器的所述功率分配。11.根据权利要求1所述的装置，其中，所述功率控制器用于：当所述功率消耗高于所述功率预算时，使所述索引递减，并且当所述功率消耗低于所述功率预算时，使所述索引递增。12.根据权利要求1所述的装置，还包括：功率表存储器，所述功率表存储器用于存储所述功率表。13.根据权利要求1所述的装置，其中，所述功率管理器包括：功率管理处理器，所述功率管理处理器用于处理所述元数据；功率表生成器，所述功率表生成器用于使用经处理的元数据来进行以下操作中的至少一者：生成或更新所述功率表；以及索引确定器，所述索引确定器用于确定要提供给所述功率控制器的所述索引。14.根据权利要求1所述的装置，其中，所述功率控制器包括：消耗计算器，所述消耗计算器用于基于所述功率表来确定所述装置的功率消耗；比较器，所述比较器用于将所述功率消耗与功率预算进行比较；以及选择器，所述选择器用于基于所述索引以及所述功率消耗与所述功率预算的比较来选择所述功率表中的级别，以根据所述功率表的所选级别处的功率频率来向所述加速器和所
述存储器分配功率。15.一种方法，包括：通过使用至少一个处理器执行指令，基于元数据来生成功率表以在加速器和存储器之间分配功率频率，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加...

【专利技术属性】
技术研发人员：阿纳特，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：