使用动态电压和频率缩放进行功率调制制造技术

提供了用于使用动态电压和频率缩放进行功率调制的非侵入式、低成本的系统和方法，其允许设计人员降低比如机器学习电路等计算电路背景下的余量和安全裕度要求，而不增加占用空间或无需牺牲计算能力和其他宝贵资源。各种实施例通过利用机器学习电路的特定特性并使用CNN作为用于评估电路行为和调整电路参数以充分利用可用计算资源的诊断工具来实现这一点。点。点。

【技术实现步骤摘要】
使用动态电压和频率缩放进行功率调制
[0001]相关申请的交叉引用
[0002]本专利技术要求于2021年9月10日提交的专利技术人为马克
·
艾伦
·
洛弗尔和罗伯特
·
迈克尔
·
穆克塞尔且名称为“POWER MODULATION USING DYNAMIC VOLTAGE AND FREQUENCY SCALING[使用动态电压和频率缩放进行功率调制]”的共同未决的且共同受让的美国非临时专利申请号17/472,113的优先权权益。上述专利文献通过引用以其全文结合在此。
[0003]背景


[0004]本披露总体上涉及机器学习应用中的数据处理。更具体地，本披露涉及用于高效使用执行大量算术运算的机器学习计算电路的功率控制系统和方法。

技术介绍

[0005]机器学习是人工智能的子领域，其使得计算机可以通过示例进行学习，而无需在常规意义上进行显式编程。许多机器学习应用利用卷积神经网络(CNN)，其是能够解决复杂图像分类和语义分割任务的监督式网络。CNN使用大量多维训练数据(例如，图像或传感器数据)作为输入，通过使用和重复使用具有可学习参数的被应用于输入数据的滤波器来学习这些数据中的突出特征。在随后的推理阶段，CNN使用非监督式操作在新输入数据中检测或插入先前未见的特征或事件，以分类对象或计算输出(比如回归)，或将其输出与输入相结合来完成比如噪声抑制等任务。
[0006]为了对卷积执行大量算术计算，通常会使用比如嵌入式硬件机器学习加速器等硬件加速器。这种设备的功耗需求在宽动态范围内变化，这高度依赖于各种因素，比如加速器在其中运行的系统的拓扑、正在处理的CNN的大小和执行的卷积计算的数量、正在处理的数据的类型和维度、执行计算的时钟速度等。
[0007]比如线性调节器或开关电源等常用于驱动高功耗硬件加速器的内部电源和外部电源的尺寸被确定为在一个或多个固定轨电压上输出功率。由于硬件加速器必须在相对较短的时间量内执行大量计算，这通常会导致不希望的瞬时电流和功率尖峰，因而往往会对计算硬件的寿命产生负面影响。
[0008]虽然配备了一些方法以通过将电路的至少某些部分设置为低功率模式(例如，睡眠模式)来降低功率，但所有可用的电源轨通常会继续以其标称输出电压(即，最大容量)操作。因此，现有方法不能利用较低的存储器电源电压和本文提出的使用系统知识来智能地降低总体功耗的其他特征。与缺乏对硬件加速器和类似计算电路在任何时刻正在执行的计算步骤的类型和强度以及每组操作的功率需求的上下文感知的方法不同，本文中的某些实施例主动调整功率相关参数，其方式有益于机器学习电路并且避免浪费的宝贵的功率资源，尤其是在嵌入式系统中。
附图说明
[0009]将参考本专利技术的实施例，附图中可以展示这些实施例的示例。这些附图旨在为说明性的，并非限制性的。尽管总体上在这些实施例的背景下描述了本专利技术，但是应当理解的是，其不旨在将本专利技术的范围限制于这些特定实施例。
[0010]图1是常规的嵌入式机器学习加速器系统的一般图示。
[0011]图2展示了根据本披露的各种实施例的用于提高机器学习电路中的计算资源利用率的控制系统的示例性框图。
[0012]图3是根据本披露的各种实施例的用于提高CNN中的计算资源利用率的说明性过程的流程图。
[0013]图4是根据本披露的各种实施例的用于提高CNN中的计算资源利用率的替代性过程的流程图。
[0014]图5描绘了根据本披露的实施例的计算设备/信息处置系统的简化框图。
具体实施方式
[0015]在以下描述中，出于解释的目的，阐述了具体细节以便提供对本专利技术的理解。然而将明显的是，本领域技术人员可以在不具有这些细节的情况下实践本专利技术。此外，本领域技术人员将认识到，以下所描述的本专利技术的实施例可以在有形计算机可读介质上以诸如过程、装置、系统、设备、或方法等各种方式实施。
[0016]在图中示出的部件或模块展示了本专利技术的示例性实施例并且意在避免模糊本专利技术。还应理解，贯穿本讨论，部件可以被描述为可以包括子单元的单独功能单元，但是本领域技术人员将认识到，各种部件或其部分可以被划分成单独的部件或者可以被集成在一起，包括集成在单个系统或部件中。应注意，本文所讨论的功能或操作可以被实施为部件。部件可以以软件、硬件或其组合来实施。
[0017]此外，附图内的部件或系统之间的连接不旨在限于直接连接。相反，这些部件之间的数据可以通过中间部件进行修改、重新格式化或以其他方式改变。而且，可以使用附加的连接或更少的连接。还应注意，术语“耦接”、“连接”或“通信地耦接”应被理解为包括直接连接、通过一个或多个中间设备的间接连接以及无线连接。
[0018]在本说明书中，对“一个实施例(one embodiment)”、“优选实施例(preferred embodiment)”、“实施例(an embodiment)”、或“多个实施例(embodiments)”的引用意味着结合实施例所描述的具体特征、结构、特性或功能包括在本专利技术的至少一个实施例中并且可以在多于一个实施例中。而且，在本说明书中各个地方出现的上述短语不一定都是指同一个实施例或相同实施例。
[0019]在本说明书中各个不同地方使用某些术语是用于说明的并且不应被解释为限制性的。服务、功能或资源不限于单个服务、功能或资源；对这些术语的使用可以指相关的分组，这些服务、功能或资源可以是分布式的或聚合的。词语“最优”、“优化(optimize)”、“优化(optimization)”等是指结果或过程的改善，并且不要求指定的结果或过程已经达到“最优”或峰值状态。在本文档中，术语“包括(include)”、“包括(including)”、“包括(comprise)”和“包括(comprising)”应被理解为是开放性术语并且其后的任何列出项是示例，且不打算限于所列出的项。术语“存储器”、“存储器设备”和“寄存器”可互换使用。类似
地，术语内核、滤波器、权重、参数和权重参数可互换使用。术语“层”是指神经网络层。“神经网络”包括本领域已知的任何神经网络。“硬件加速器”是指可用于执行数学运算和相关功能(包括辅助控制功能)的任何电路或光学回路。“电路”包括“子电路”，并且既可以指定制电路(比如特殊硬件)，也可以指通用电路。术语“计算性能”和“电路性能”是指计算系统和其他电路中的计算速度、网络容量、数据处理效率、功率效率和类似参数(以及衡量性能和计算资源的指标)。术语“安全裕度”、“裕度”、“误差裕度”和“余量”可互换使用。
[0020]应当注意，尽管本文所描述的实施例是在CNN的背景下给出的，但本领域技术人员应当认识到，本披露的传授内容并不如此受限制，且同样可以提高其他计算系统和电路中的计算资源利用率。
[0021]图1展示了常规的嵌入式机器学习加速器系统，该系统在多个阶段中处理数据。系统100包含易失性存储器102、非易失性存储器104、时钟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于提高计算资源利用率的方法，该方法包括：迭代地执行包括以下步骤的步骤：在一定电压下操作电路，该电路与一个或多个电路参数相关联并且包括卷积神经网络(CNN)的至少一部分；在该电压下，将已知的输入数据应用于CNN的该部分以获得推理结果；将该推理结果与对应的参考结果进行比较，以确定该电路是否满足一个或多个指标；响应于确定该电路满足该一个或多个指标，降低该电压以获得包括降低的电压的一组操作参数的一个或多个值；响应于确定该电路不满足该一个或多个指标中的至少一些，确定要添加到该降低的电压的安全裕度以获得操作电压；以及在该操作电压下操作CNN以获得CNN输出。2.如权利要求1所述的方法，进一步包括响应于该电路满足该一个或多个指标，使用耦接到该电路的控制器使该电压增大预定量。3.如权利要求2所述的方法，进一步包括使用该控制器基于至少一个测得的物理参数来调整该一个或多个电路参数。4.如权利要求1所述的方法，其中，该用于提高CNN计算能力的方法是响应于目标应用的变化而执行的。5.一种用于提高计算资源利用率的系统，该系统包括：具有电压的电源；具有一个或多个电路参数的电路，该电路包括：存储器设备；以及卷积神经网络(CNN)，该CNN耦接到该存储器设备；控制器，该控制器耦接到该CNN和该电源并且包括比较器；以及一个或多个传感器，该传感器耦接到该电路，该控制器迭代地执行包括以下步骤的步骤：在该电压下，将已知的...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：马克西姆综合产品公司，
类型：发明
国别省市：