用于存储器内乘法及累加运算的电路及其方法技术

本发明专利技术公开了一种用于存储器内乘法及累加运算的电路，包括多个NAND区块。NAND区块包括NAND串阵列，NAND串阵列包括B个行及S个列以及L个电平的存储器单元。W个字线耦接至L个电平中的各别电平中的(B×S个)存储器单元。源极线耦接至区块中的(B×S个)NAND串。串选择线驱动器提供电压以使多个串选择线的NAND串同时连接至对应位线。字线驱动器经耦接以将字线电压施加于经选电平中的一或多个字线。多个位线驱动器同时将输入数据施加于B个位线。电流感测电路耦接至源极线。

Circuit and method for multiplication and accumulation in memory

【技术实现步骤摘要】
用于存储器内乘法及累加运算的电路及其方法
本专利技术是关于一种用于进行乘积总和运算的电路及其方法。
技术介绍
在神经形态计算系统、机器学习系统以及用于基于线性代数的一些计算类型的电路中，乘积总和函数可为重要的部份。函数可表达如下：在此表达式中，每一乘积项是变量输入Xi及权重Wi的乘积。权重Wi可在项之间变化，例如对应于变量输入Xi的系数。乘积总和函数可使用交叉点阵列架构实现为电路运算，在所述交叉点阵列架构中阵列单元的电性会影响所述函数。对于高速实施方案而言，合乎期望的为具有极大阵列以便可并行执行诸多操作，或可进行极大的乘积总和系列。在一些系统中，可能有极大数目的输入及输出，因此总电流消耗可能较大。此外，人工智能AI(artificialintelligence；AI)函数包括大规模矩阵乘法，此涉及使用多位权重的乘法及累加MAC步骤(即乘积总和)，其需要极致密的存储器以及高带宽数据通信。AI硬件的最新进展已针对高效能及低功率解决方案。为了满足此等需求，已提出「存储器内计算」或「存储器内处理器」实施方案。此等技术可减少数据移动要求以节省功率及延迟。因此，期望能提供适于在大阵列中实施乘积总和运算且可为灵活、高容量以及高效能的结构。
技术实现思路
基于使用多个NAND区块的存储器内运算来描述用于大规模乘积总和运算的乘法及累加技术。本文中所描述的实例中使用的NAND区块可使用3DNAND快闪技术实施。本文描述用于将输入信号施加于耦接至多个NAND区块中的NAND区块的多个位线集合的构件，用于将NAND区块中的NAND串集合连接至位线集合中的各别位线的构件，以及用于感测源极线的从位线集合通过各别NAND串集合的电流总和的构件。通过存储于NAND串上的存储器单元中的数据来判定NAND串集合的电导(或相反，判定电阻)。对于本文所描述的实施例而言，多个NAND区块中的NAND区块包括多个NAND串，所述多个NAND串安置于多个位线集合中的位线与NAND区块的源极线之间。NAND串具有串选择开关以选择性地将所述NAND串连接至对应位线。NAND串包括多个串联配置在串选择开关与接地选择开关之间的存储器单元，所述NAND串通过所述接地选择开关连接至源极线。字线耦接至NAND区块的对应字线电平中的存储器单元的栅极。类似地，串选择线耦接至NAND串的对应列中的串选择开关的栅极。对于特定NAND区块而言，多个位线集合可包括B个成员，且所述NAND区块可包括具有至少S个成员的串选择线集合。在此组态中，NAND区块包括B×S个NAND串的阵列，其包括B个行及S个列的NAND串。在计算模式下串选择驱动器集合可经操作以使一行NAND区块中的S个NAND串(每一列一个)连接至多个位线集合中的每一位线。以此方式，源极线的计算模式的电流是B个乘积项的总和，且每一乘积项是多个位线集合中的位线中的一者上的输入信号乘以连接至位线的S个NAND串的电导的函数。本文描述了一种电路，其包括多个NAND区块，每一NAND区块可在计算模式及存储器模式下操作。总线系统连接至所述多个NAND区块的输入及输出，由此可将乘积总和运算的输入数据施加于NAND区块，且乘积总和运算的系数可存储于NAND区块中。在计算模式及存储器模式下使用的输入及输出电路可共享，且在一些情况下，可针对不同的模式使用不同的电路。给定NAND区块的计算模式输入可包括位线驱动器集合，以将输入数据并行地施加于给定NAND区块的位线。给定NAND区块的计算模式输出可包括多位感测放大器以感测给定NAND区块的源极线的输出数据。给定NAND区块的存储器模式输入可包括页缓冲器电路，其可包括用于计算模式的输入驱动器，或可以是单独电路。在技术的其他实施例中，描述了一种适合用于乘法及累加加速器中的NAND区块的结构。此外，在技术的其他实施例中，集成电路包括多个乘法及累加拼块(tile)，其中每一拼块包括如上文所描述的多个NAND区块。描述了一种存储器内计算乘积总和的方法，包括：a)将乘积项X(i)×W(i)的系数数据存储于串选择线SSL(j)上NAND串C(i)行中在NAND区块中L(k)电平上的单元中，所述单元耦接至位线BL(i)，其中i为自1至B、j为自1至S且k等于经选字线电平；b)将输入X(i)施加于位线BL(1)至位线BL(B)，且将串选择电压施加于串选择线SSL(1)至串选择线SSL(S)，且将字线计算电压施加至经选字线电平中的单元(同时或以组合方式叠加时间，以偏压所述单元以进行感测)；c)总和流经NAND串的C(1)行至C(B)行的电流，所述NAND串的C(1)行至C(B)行连接至NAND区块的源极线的位线BL(1)至BL(B)；以及d)感测源极线的电流大小，以产生表示乘积总和的输出信号。如本文所描述来配置的NAND区块阵列可用管线式(pipeline)操作，其支持高产出率运算，诸如可用于机器学习系统的推断模式(inferencemode)运算。应用本文中所描述的技术，提供致密及高效能的乘法及累加加速器。实施例可配置为以每瓦特一兆次操作(tera-operations)，即1TOPS/Watt的数量级执行。在审阅以下附图、实施方式以及权利要求书之后可以看出本专利技术之其他实施例以及优点。附图说明图1是乘积总和运算的图。图2是如本文中所描述的配置为用于存储器模式及用于计算模式的NAND区块的电路图。图3是示出类似图2的多个NAND区块的电路图。图4示出适用于如本文中所描述的NAND区块的替代性NAND串实施方案。图5是如本文中所描述的NAND区块的简化图示。图6示出包括具有存储器模式及计算模式的多个NAND区块的集成电路。图7示出包括多个拼块的大规模集成电路，每一拼块包括如本文中所描述的NAND区块阵列。图8是包括NAND区块阵列MAC加速器的集成电路的简化方区块图。图9是包括可包括如本文中所描述的NAND区块阵列的乘积总和加速器阵列的系统配置图标。图10是包括可包括如本文中所描述的NAND区块阵列的乘积总和加速器阵列的系统的替代性组态的图示。图11是如本文中所描述的用于存储器内乘法及累加运算的方法的流程图。【符号说明】200、201、202、203：NAND串290：电流路径401：位线402、515、855、1104、SL、SL1、SL2：源极线403：辅助栅极405：串选择开关406：接地选择开关510：页缓冲器及输入驱动器512：字线及串选择线/接地选择线译码器514、614：感测放大器520：数据总线系统600：阵列612：字线及串选择线译码器620：页缓冲器621：位线输入驱动器622：高电压开关650：电路拼块...

【技术保护点】
1.一种用于存储器内乘法与累加运算的电路，包括：/n多个NAND区块，具有对应的区块源极线，所述多个NAND区块中的特定NAND区块包括配置于多个位线集合与所述特定NAND区块对应的所述区块源极线之间的NAND串的区块；/n输入电路，用以将输入信号施加于耦接至所述多个NAND区块的所述多个位线集合；以及/n感测电路，耦接至所述区块源极线，所述感测电路感测从所述位线集合通过所述经选NAND区块中的所述NAND串的区块到经选NAND区块中的所述区块的源极线上的电流总和。/n

【技术特征摘要】
20181218 US 62/780,938;20190111 US 62/791,037;20191.一种用于存储器内乘法与累加运算的电路，包括：
多个NAND区块，具有对应的区块源极线，所述多个NAND区块中的特定NAND区块包括配置于多个位线集合与所述特定NAND区块对应的所述区块源极线之间的NAND串的区块；
输入电路，用以将输入信号施加于耦接至所述多个NAND区块的所述多个位线集合；以及
感测电路，耦接至所述区块源极线，所述感测电路感测从所述位线集合通过所述经选NAND区块中的所述NAND串的区块到经选NAND区块中的所述区块的源极线上的电流总和。


2.根据权利要求1所述的电路，包括耦接至所述多个NAND区块的多个位线，所述多个NAND区块包括所述多个位线集合，且其中所述输入电路包括耦接至所述多个位线中的位线的页缓冲器。


3.根据权利要求2所述的电路，包括用于对耦接至所述多个位线中的各别位线的NAND串进行编程的构件。


4.根据权利要求1所述的电路，其中所述多个NAND区块中的NAND区块包括：
多个NAND串，位于所述多个位线集合与所述区块源极线之间，所述NAND串具有串选择开关以选择性地使所述NAND串连接至所述多个位线集合中的对应位线，且多个存储器单元串联配置，其中所述多个位线集合中的位线耦接至所述多个NAND串中的各NAND串集合；
字线，耦接至所述NAND区块的对应字线电平中的存储器单元的栅极；以及
串选择线，耦接至所述多个NAND串中NAND串对应列中的串选择开关的栅极。


5.根据权利要求4所述的电路，对于所述NAND区块而言，所述多个位线集合包括B个成员，且所述NAND区块包括具有至少S个成员的串选择线集合，其中串选择驱动器可经操作以使NAND区块的行中的S个NAND串连接至所述多个位线集合中的每一位线，使得所述NAND区块的源极线的电流是B个乘积项的总和，其中每一乘积项是所述位线集合中的所述位线中的一者上的输入信号乘以连接至所述一个位线的S个NAND串的电导的函数。


6.根据权利要求1所述的电路，其中输入电路包括位线驱动器集合以将输入数据并行地施加于给定NAND区块的位线，且所述感测电路包括多位感测放大器以感测对应源极线的输出数据。


7.根据权利要求1所述的电路，其中所述多个NAND区块中的每一NAND区块具有计算模式输入及输出，且各自具有存储器模式输入及输出；且包括：
总线系统，连接至所述计算模式输入及输出，且连接至所述多个NAND区块的所述存储器模式输入及输出。


8.根据权利要求7所述的电路，其中所述多个NAND区块中的给定NAND区块的所述存储器模式输入包括用以经由所述给定NAND区块的位线来读取及写入数据的页缓冲器电路。


9.根据权利要求1所述的电路，其中所述多个NAND区块中的区块各自包括B×S个NAND串，所述B×S个NAND串包括NAND串的B个行及S个列以及L个电平的存储器单元，其中B、S以及L是整数，所述NAND串包括在所述L个电平中的各别电平中串联的L个存储器单元；
所述B个行中的各别行中的(S个)NAND串的集合，耦接至B个位线的集合中的对应位线；
所述S个列中的各别列中的(B个)NAND串的集合中的串选择开关，耦接至S个串选择线的集合中的对应串选择线；
所述L个电平中的各别电平中的(B×S个)存储器单元的集合，可操作地耦接至所述L个电平中的对应一或多个字线；以及
源极线，可操作地耦接至所述区块中的所述B×S个NAND串。


10.根据权利要求1所述的电路，包括控制器，所述控制器以管线式操作所述多个NAND区块。


11.一种用于存储器内乘法与累加运算的电路，包括：
NAND串区块，包括NAND串的B个行及S个列以及L个电平的存储器单元，其中B、S以及L是整数，所述NAND串包括在所述L个电平中的各别电平中串联的L个存储器单元；
B个位线，耦接至所述B个行中的各别行中的S个NAND串；
S个串选择线，耦接至所述S个列中的各别列中的B个NAND串；
W个字线，可操作地耦接至所述L个电平中的各别电平中的(B×S个)存储器单元；
源极线，可操作地耦接至所述区块中的所述NAND串；
串选择线驱动器，耦接至所述S个串选择线以供应串选择电压，以使多个串选择线的NAND串同时连接至对应位线；
字线驱动器，耦接以将字线电压施加于经选电平中的一或多个字...

【专利技术属性】
技术研发人员：吕函庭，张弘升，刘逸青，
申请(专利权)人：旺宏电子股份有限公司，
类型：发明
国别省市：中国台湾;71