串行化神经网络计算单元制造技术

本发明专利技术涉及一种串行化神经网络计算单元。所述计算单元包括：位线；内存阵列，其具有多个记忆块，各记忆块具有一个或多个的存储元件，各存储元件连接至位线；控制电路配置为：依序将串行化输入施加到存储元件，使得存储元件响应于串行化输入依序产生输出，其中各输出对应于输入与储存在存储元件中的权重值的乘积；以及为控制电路设定组参考电流位准，此组参考电流位准中的每一个具有特定的电流量，以控制存储元件产生对应于此组参考电流位准的相应输出电流。出电流。出电流。

【技术实现步骤摘要】
【国外来华专利技术】串行化神经网络计算单元
[0001]相关申请
[0002]本申请要求于2019年12月3日所提出名称为“SERIALIZED NONVOLATILE NEURAL NETWORK COMPUTING UNIT”的美国临时专利申请62/942,923的优先权。


[0003]本专利技术涉及一种串行化神经网络计算单元，其输入、加权及输出模式被串行化，使得可以使用数字输入信号、低精密度的存储元件(memory cell)及传统的1位(1
‑
bit)感测放大器实现神经网络计算单元，并且不需要在具有高精密度存储元件的内存阵列的列电路及行电路中的复杂的高精密度数位模拟转换器电路及模拟数字转换器电路。

技术介绍

[0004]神经网络计算单元越来越多地用于人工智能及机器学习的应用。计算的主要部分为输入数据与对应的训练加权值之间的大量的乘法与累加(Multiply
‑
and
‑
Accumulate，MAC)运算。为了有效地实现上述MAC运算而提出的一种方法为内存中计算(compute
‑
in
‑
memory)架构，其在储存数据的位置执行计算。在现有技术中，配置有内存中计算架构的MAC计算块(computing block)使用存储元件作为神经网络的突触存储元件，其用于执行模拟输入数据与模拟加权值的乘法运算以产生最终的模拟输出电流。可以通过对模拟领域中的内存阵列的位在线的电流求和以执行累加运算。
[0005]然而，由于计算系统的其余部分与数字领域中的MAC计算块之间进行通讯，因此先前的MAC计算装置需要复杂的高精度(例如4、8、16或32位)数字模拟转换器电路及模拟数字转换器电路，以在数字领域与模拟领域之间转换关联的信号。数字领域数据可以表示最大为4、8、16或32位的信息。并且，先前的MAC计算块需要高精度(例如4、8、16或32位)的突触组件，其中4、8、16或32位的信息可以储存在单个突触组件中。因此，配置有内存中计算架构的MAC引擎的效率显著地受限于高精度数位模拟转换器电路及模拟数字转换器电路以及高精度突触组件的可利用性。

技术实现思路

[0006]本专利技术提供了一种神经网络计算单元。根据本专利技术，神经网络计算单元包括：位线；内存阵列，其具有多个记忆块，各记忆块具有一个或多个的存储元件，各存储元件连接至位线；以及控制电路，其配置为：依序施加串行化输入至存储元件，使得存储元件响应于串行化输入依序产生多个输出，其中各输出对应于输入与储存在存储元件中的权重值的乘积；以及为该控制电路设定一组参考电流位准，此组参考电流位准中的每一个具有特定的电流量，以控制存储元件产生与对应于此组参考电流位准的个别输出电流。
[0007]在一种实施方式中，控制电路进一步配置为依序施加的串行化电压输入至存储元件，使得存储元件对应于串行化电压输入依序产生各个输出电流，其中输出电流对应于串行化电压输入与储存在存储元件中的权重值的乘积。在一种实施方式中，计算单元进一步
包含感测电路，用以依序接收该位线中的存储元件的输出电流。在一种实施方式中，该计算单元进一步包含累加器电路，其耦接至感测电路，并且累加器电路配置为将所接收的温度计码形式的输出电流之值转换为二进制码。在一种实施方式中，累加器电路进一步配置为以控制电路所定义的位移位方式(bit
‑
shifted manner)累加经转换的值。
[0008]在一种实施方式中，计算单元进一步包含：主突触阵列，其包含连接至通用位线的多个存储元件；并且控制电路进一步配置为：将对应于多个串行输入数据的多个流电压输入串行化地施加至主突触阵列中对应的多个存储元件。在一种实施方式中，串行输入数据的最高有效位是最先输入至对应的存储元件中。在一种实施方式中，神经网络计算单元在不完全计算最低有效位的情况下完成计算。在一种实施方式中，计算单元进一步包含：参考突触阵列，其包含连接至位线的多个参考元件，其中参考元件是程序化为产生相同或不同的预定义输出电流至位线；并且控制电路进一步配置为：施加对应于多个串行输入数据的多个输入电压至选定的参考突触阵列的多个参考元件。
[0009]在一种实施方式中，控制电路进一步配置为关闭或者启动零个、一个或多个参考元件，以产生对应于由控制电路所定义的参考位准的个别输出。在一种实施方式中，来自参考元件的输出电流为二进制加权的。在一种实施方式中，感测电路进一步配置为感测第一记忆块中的存储元件的输出电流与第二记忆块中的存储元件的输出电流之和。
[0010]在一种实施方式中，感测电路进一步配置为获取以下各项之和：(i)对应于施加至第一记忆块的串行输入数据中的一位的输出电流，以及(ii)在施加至第二记忆块中的串行输入数据的一位的持续时间内，对应于各参考位准相的参考元件的输出电流。在一种实施方式中，感测电路进一步配置为：获取位线中的总输出电流；产生特定的阈值电流位准与总输出电流位准之间的比较结果；以及转换比较结果为对应的二进制信号。在一种实施方式中，感测电路进一步配置以为下列步骤设定迭代次数：(i)阈值电流位准与总输出电流位准之间的比较，以及(ii)根据结果将比较结果转换为对应的二进制信号。
[0011]在本专利技术的一种实施方式中，一种装置包含：存储元件阵列，其包含：位线；第一组存储元件，其分别连接至位线；第二组存储元件，其分别连接至位线；控制电路；第一组控制线，其连接控制电路至第一组存储元件，其中控制电路配置为依序以串行格式施加电压输入数据至第一组存储元件，使其响应于电压输入数据依序产生输出电流，其中输出电流对应于电压输入数据与储存于各存储元件中的权重的乘积；以及，第二组控制线，其连接控制电路至第二组存储元件，其中控制电路配置为设定一组参考电流位准，此组参考电流位准中的每一个具有特定的电流量，使得控制电路控制第二组存储元件产生对应于此组参考电流位准的个别输出电流；以及，感测电路，用以接收来自位线中的第一组存储元件及第二组存储元件的输出电流。
[0012]在一种实施方式中，存储元件为闪存、可变电阻式内存、铁电场效内存或具有权重内存的逻辑晶体管，其中的每一个皆经过程序化以产生预定义的特定输出电流。在一种实施方式中，此装置进一步包含累加器电路，其耦接至感测电路，其中累加器电路配置为以控制电路定义的位移位方式从感测电路接收经处理的信号值。在一种实施方式中，感测电路进一步配置为串行化地接收位线中的相应一个输出电流，并将其与预定义的阈值进行比较。在一种实施方式中，累加器电路进一步配置为执行将所接收的信号值从温度计码转换为二进制码，并且以控制电路定义的位移位方式累加经转换的二进制码。
附图说明
[0013]通过以下对于附图的说明，本专利技术的特征对于本领域普通技术人员将变得显而易见。应当理解的是，附图仅描述了本专利技术的典型实施例，且因此不应将附图视为对本专利技术范围的限制，并且将通过使用附图以附加的特征及细节来说明本专利技术。
[0014]图1为根据本专利技术一种实施方式的神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种神经网络计算单元，包含：位线；内存阵列，具有多个记忆块，各个记忆块具有一个或多个的存储元件，各个所述存储元件连接至所述位线；以及控制电路，配置为：依序施加串行化输入至所述存储元件，使得所述存储元件响应于所述串行化输入依序产生多个输出，其中各所述输出对应于所述串行化输入与储存在所述存储元件中的权重值的乘积；以及设定一组参考电流位准，其各自具有特定的电流量，从而所述控制电路控制所述存储元件以产生分别对应于该组参考电流位准的输出电流。2.根据权利要求1所述的神经网络计算单元，其中所述控制电路进一步配置为依序将串行化电压输入施加至所述存储元件，使得所述存储单元的每一输出电流按与所述电压输入相对应的顺序产生，其中所述输出电流对应于所述电压输入与存储在所述存储元件中的权重值的乘积。3.根据权利要求2所述的神经网络计算单元，其中所述计算单元进一步包括感测电路，用以依序接收所述位线中所述存储元件的所述输出电流。4.根据权利要求3所述的神经网络计算单元，其中所述计算单元进一步包括累加器电路，其耦接至所述感测电路，并且所述累加器电路配置为将所接收的温度计码形式的所述输出电流值转换为二进制码。5.根据权利要求4所述的神经网络计算单元，其中所述累加器电路进一步配置为以所述控制电路所定义的位移位方式累加经转换的值。6.根据权利要求2所述的神经网络计算单元，其中所述计算单元进一步包括：主突触阵列，包括连接至所述位线的多个存储元件；并且所述控制电路进一步配置为：将对应于多个串行输入数据的多个电压输入串行化地施加至所述主突触阵列中对应的所述多个存储元件。7.根据权利要求6所述的神经网络计算单元，其中所述串行输入数据的最高有效位是最先输入至对应的所述存储元件中。8.根据权利要求7所述的神经网络计算单元，其中所述神经网络计算单元在不完全计算最低有效位的情况下完成计算。9.根据权利要求6所述的神经网络计算单元，其中所述计算单元进一步包括：参考突触阵列，包括连接至所述位线的多个参考元件，其中所述多个参考元件是配置为产生相同或不同的预定义输出电流至所述位线；并且所述控制电路进一步配置为：施加对应于多个串行输入数据的多个输入电压至选定的所述参考突触阵列的所述多个参考元件。10.根据权利要求9所述的神经网络计算单元，其中所述控制电路进一步配置为关闭或者启动零个、一个或多个所述参考元件，以产生分别对应于由所述控制电路定义的参考位准的输出。
11.根据权利要求9所述的神经网络计算单元，其中来自所述参考元件的所...

【专利技术属性】
技术研发人员：承桓，
申请(专利权)人：安纳富来希股份有限公司，
类型：发明
国别省市：