模拟MAC感知DNN改进制造技术

提供了用于改进硬件加速器(例如，神经处理器)的性能(例如，降低功耗)的方法、系统和计算机程序产品，该硬件加速器包括混合或模拟乘法和累加(MAC)处理元件(PE)。MAC PE阵列的精度的选择性改变可以降低神经处理器的功耗。可以通过动态控制一个或多个MAC PE的模拟到数字(ADC)输出比特的精度来节能。ADC输出比特精度的动态控制可以基于在由神经处理器实现的人工智能(AI)神经网络(NN)模型的训练和/或后训练(例如，量化)期间确定的精度信息。精度信息可以包括针对AI NN模型的计算图的多个节点中的每个节点的动态精度范围。

【技术实现步骤摘要】
【国外来华专利技术】

技术介绍

1、神经处理器可以使用具有数字混合或模拟乘法和累加(mac)模块/电路的硬件加速器来实现人工智能(ai)神经网络(nn)模型，这些数字混合或模拟mac模块/电路消耗大量功率。

技术实现思路

1、提供该
技术实现思路
来以简化的形式介绍下面在具体实施方式进一步描述的一系列概念。该
技术实现思路
不旨在标识要求保护的主题的关键特征或者必要特征，也不旨在被用于限制要求保护的主题的范围。

2、提供了用于改进硬件加速器(例如，神经处理器)的性能的方法、系统和计算机程序产品，该硬件加速器包括混合或模拟乘法和累加(mac)处理元件(pe)。mac pe阵列的精度的选择性改变可以降低神经处理器的功耗。可以通过动态控制一个或多个mac pe的模数转换器(adc)输出比特的精度来节能。可以通过选择性避免对于一些计算的精度水平不必要的adc周期来降低功耗。adc输出比特精度的动态控制可以基于在由神经处理器实现的人工智能(ai)神经网络(nn)模型的训练和/或后训练(例如，量化)期间确定的精度信息。精度信息可以包括针本文档来自技高网...

【技术保护点】

1.一种神经处理单元(NPU)，被配置为实现人工智能(AI)神经网络(NN)模型，所述NPU包括：

2.根据权利要求1所述的NPU，

3.根据权利要求1所述的NPU，

4.根据权利要求3所述的NPU，还包括：

5.根据权利要求4所述的NPU，

6.根据权利要求4所述的NPU，

7.根据权利要求1所述的NPU，

8.根据权利要求1所述的NPU，其中所述多个MAC PE包括生成所述中间项值的多个混合MAC PE。

9.一种改进人工智能(AI)神经网络(NN)模型的实现的方法，所述方法包括：

...

【技术特征摘要】
【国外来华专利技术】

1.一种神经处理单元(npu)，被配置为实现人工智能(ai)神经网络(nn)模型，所述npu包括：

2.根据权利要求1所述的npu，

3.根据权利要求1所述的npu，

4.根据权利要求3所述的npu，还包括：

5.根据权利要求4所述的npu，

6.根据权利要求4所述的npu，

7.根据权利要求1所述的npu，

8.根据权利要求1所述的npu，其中所述多个mac pe包括生成所述中间项值的多个混合mac pe。

9.一种改进人工智能(...

【专利技术属性】
技术研发人员：G·基尔申博伊姆，R·萨哈尔，D·C·伯格，Y·雷法埃尔·卡利姆，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：