【技术实现步骤摘要】
本公开涉及一种用于乘法和累加运算的计算单元。
技术介绍
1、如已知的，部分结果(partial results)的乘法、求和与累加运算的迭代重复是不同应用的基础，例如在通过神经网络的推理过程中，在滤波或卷积中。
2、特别地，神经网络包括组织成层的多个人工节点或神经元。每个节点具有连接到前一相邻层(上游)的节点的输入和连接到后续相邻层(下游)的节点的输出。通过将激活函数(通常是阈值函数)应用于输入xj(例如数目d个输入xj)与可能的偏置系数或偏置b的线性组合来获得由每个节点在输出处提供的值yi。
3、
4、神经网络的层的输出由以下算式给出的输出向量合成地表示：
5、
6、其中φ是层节点的激活函数的向量，w是权重矩阵wij，并且是输入xj的向量。
7、线性组合的系数wij是每个节点的加权特性，并且在神经网络训练过程期间被确定。
8、由每个节点在输出处提供的值yi的计算是神经网络模型的功能的基础，而不管由同一神经网络提供的功能如何(例如特征的分类或提取)。
9、从实现的观点来看，通常认为迭代地计算和是方便的，从而在寄存器中累加所获得的乘积wijxj的结果。
10、然而，已知的解决方案并不令人满意，并且例如在执行速度、存储器占用和推理过程的准确性方面存在限制。实际上，由于它们的性质，神经网络需要大量的存储器来存储权重wij，并且在没有优化解决方案的情况下执行时间慢。
11、除了在计算操作的执行中涉及的电路之外，神经网络
12、在量化神经网络中，权重wij通常用经常使用的浮点格式“单精确度浮点格式single-precision floating-point format”的少于32位来表示，并且在准确度和存储器占用之间寻求折衷。该实现还应当考虑量化格式与通常在电子系统中使用的通用处理器的寻址模式和字长的兼容性。相反，非兼容格式的选择将随着执行时间的巨大增加而付出代价。
13、例如，已知将8位定点格式(fixed-point formats)用于权重wij，将32位浮点格式用于运算，将8位纯定点格式和二进制格式与32位浮点格式组合用于运算。然而，仍然需要同时提高效率和准确度，能够实现满意的结果，并允许在复杂应用中实时有利地使用神经网络。
14、还提出了专用硬件加速器的使用，然而其需要芯片上不总是可用的区域，并且在任何情况下都需要更高的每件成本。
15、类似的问题也存在于不同的应用中，例如用于滤波和卷积操作。
技术实现思路
1、在一个实施例中，器件包括乘法器、累加器和浮点加法器。乘法器在操作中生成具有符号位和指数位的第一因数与具有符号位和指数位的第二因数的乘积。乘法器包括：符号乘法器，用于生成第一因数的符号位和第二因数的符号位的乘积；以及减法器，其在操作中从第二因数的指数位中减去第一因数的指数位。在操作中，累加器存储当前累加值。浮点加法器耦合到乘法器和累加器。加法器，在操作中：基于乘积与当前累加值的和生成更新的累加值；以及将更新的累加值存储在累加器中。
2、在一个实施例中，系统包括存储器和耦合到存储器的处理电路装置。处理电路装置包括乘法累加电路。乘法累加电路包括乘法器、累加器和浮点加法器。乘法器在操作中生成具有符号位和指数位的第一因数与具有符号位和指数位的第二因数的乘积。乘法器包括：符号乘法器，用于生成第一因数的符号位和第二因数的符号位的乘积；以及减法器，其在操作中从第二因数的指数位中减去第一因数的指数位。在操作中，累加器存储当前累加值。浮点加法器耦合到乘法器和累加器。加法器，在操作中：基于乘积与当前累加值的和生成更新的累加值；以及将更新的累加值存储在累加器中。
3、在一个实施例中，一种方法包括：使用乘法器将具有符号位和指数位的第一因数与具有符号位和指数位的第二因数相乘，从而生成乘积，其中相乘包括：使用异或逻辑门(exclusive logic gate)生成第一因数的符号位和第二因数的符号位的乘积；以及使用减法器从第二因数的指数位中减去第一因数的指数位；在累加器中存储当前累加值；以及使用浮点加法器基于乘积与当前累加值的和来生成更新的累加值；以及将更新的累加值存储在累加器中。在一个实施例中，该方法包括在存储器中存储多个第一因数，所存储的多个第一因数限定神经网络的节点权重。在一个实施例中，在存储器中存储多个第一因数包括在存储器的m位字中存储m/n位的n个权重，m和n是大于1的整数，m是n的整数倍。在实施例中，该方法包括：使用多路复用器将存储在m位字中的权重顺序地提供给乘法器。在一个实施例中，存储器对于8位的字是可寻址的，并且m位字包含4位的两个权重。
本文档来自技高网...【技术保护点】
1.一种器件，包括：
2.根据权利要求1所述的器件，其中所述符号乘法器包括异或逻辑门。
3.根据权利要求2所述的器件，其中所述乘法器包括结果寄存器，并且其中所述符号乘法器在操作中将所述第一因数的符号位与所述第二因数的符号位的乘积存储在所述结果寄存器的符号位中。
4.根据权利要求3所述的器件，其中所述减法器在操作中将所述第二因数的指数位与所述第一因数的指数位之间的差存储在所述结果寄存器的指数部分中。
5.根据权利要求3所述的器件，其中所述第二因数包括有效部分位，并且在操作中，所述乘法器将所述第二因数的所述有效部分位存储在所述结果寄存器的有效部分位部中。
6.根据权利要求3所述的器件，其中所述乘法器包括：
7.根据权利要求6所述的器件，其中所述控制逻辑控制所述输出多路复用器以在由所述第一因数的指数位限定的第一指数小于由所述第二因数的指数位限定的第二指数时选择所述第一因数的符号位与所述第二因数的符号位的乘积，并且在所述第一指数大于所述第二指数时选择所述经编程值。
8.一种系统，包括：
9.根
10.根据权利要求9所述的系统，其中所述存储器在操作中存储多个第一因数，所述第一因数限定所述神经网络的节点权重。
11.根据权利要求10所述之系统，其中，
12.根据权利要求11所述的系统，其中所述乘法累加电路包括选择器，所述选择器在操作中控制所述输入多路复用器，使得存储在由所述输入多路复用器接收的所述字中的所述权重由所述输入多路复用器顺序传递输出。
13.根据权利要求12所述的系统，其中所述乘法累加电路包括地址寄存器，所述地址寄存器包含所述字的当前地址，所述字包含待提供到所述输入多路复用器的所述权重。
14.根据权利要求13所述的系统，其中
15.根据权利要求11所述的系统，其中所述权重被存储在所述存储器的连续地址处的多个字中。
16.根据权利要求8所述的系统，包括：
17.一种方法，包括：
18.根据权利要求17所述的方法，包括在存储器中存储多个第一因数，所存储的所述多个第一因数限定神经网络的节点权重。
19.根据权利要求18所述的方法，其中在所述存储器中存储所述多个第一因数包括将M/N个位的N个权重存储在所述存储器的M位字中，M和N是大于1的整数，并且M是N的整数倍。
20.根据权利要求19所述的方法，包括：
...【技术特征摘要】
1.一种器件，包括：
2.根据权利要求1所述的器件，其中所述符号乘法器包括异或逻辑门。
3.根据权利要求2所述的器件，其中所述乘法器包括结果寄存器，并且其中所述符号乘法器在操作中将所述第一因数的符号位与所述第二因数的符号位的乘积存储在所述结果寄存器的符号位中。
4.根据权利要求3所述的器件，其中所述减法器在操作中将所述第二因数的指数位与所述第一因数的指数位之间的差存储在所述结果寄存器的指数部分中。
5.根据权利要求3所述的器件，其中所述第二因数包括有效部分位，并且在操作中，所述乘法器将所述第二因数的所述有效部分位存储在所述结果寄存器的有效部分位部中。
6.根据权利要求3所述的器件，其中所述乘法器包括：
7.根据权利要求6所述的器件，其中所述控制逻辑控制所述输出多路复用器以在由所述第一因数的指数位限定的第一指数小于由所述第二因数的指数位限定的第二指数时选择所述第一因数的符号位与所述第二因数的符号位的乘积，并且在所述第一指数大于所述第二指数时选择所述经编程值。
8.一种系统，包括：
9.根据权利要求8所述的系统，其中所述处理电路装置在操作中使用所述乘法累加电路来实施神经网络。
10.根据权利要求9所述的系...
【专利技术属性】
技术研发人员：L·甘多尔菲，U·加罗佐，
申请(专利权)人：意法半导体股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。