用于深度学习人工神经网络中的模拟神经存储器的输出电路制造技术

公开了用于深度学习人工神经网络中的模拟神经存储器的输出电路的多个实施方案

【技术实现步骤摘要】
【国外来华专利技术】用于深度学习人工神经网络中的模拟神经存储器的输出电路
[0001]优先权声明
[0002]本申请要求于
2021
年5月
19
日提交的标题为
″
Hybrid Output Architecture for Analog Neural Memory in a Deep Learning Artificial Neural Network
″
的美国临时专利申请号
63/190,240
和于
2021
年8月
31
日提交的标题为
″
Output Circuit for Analog Neural Memory in a Deep Learning Artificial Neural Network
″
的美国专利申请号
17/463,063
的优先权，这两者以引用方式并入本文
。


[0003]公开了用于深度学习人工神经网络中的模拟神经存储器的混合输出架构的多个实施方案
。

技术介绍

[0004]人工神经网络模拟生物神经网络
(
动物的中枢神经系统，特别是大脑
)
，并且用于估计或近似可取决于大量输入并且通常未知的函数
。
人工神经网络通常包括互相交换消息的互连
″
神经元
″
层
。
[0005]图1示出了人工神经网络，其中圆圈表示神经元的输入或层
。
连接部
(
称为突触
)
用箭头表示并且具有可以根据经验进行调整的数值权重
。
这使得神经网络适应于输入并且能够学习
。
通常，神经网络包括多个输入的层
。
通常存在神经元的一个或多个中间层，以及提供神经网络的输出的神经元的输出层
。
处于每一级别的神经元分别地或共同地根据从突触所接收的数据作出决定
。
[0006]在开发用于高性能信息处理的人工神经网络方面的主要挑战中的一个挑战是缺乏足够的硬件技术
。
实际上，实际神经网络依赖于大量的突触，从而实现神经元之间的高连通性，即非常高的计算并行性
。
原则上，此类复杂性可通过数字超级计算机或专用图形处理单元集群来实现
。
然而，相比于生物网络，这些方法除了高成本之外，能量效率也很普通，生物网络主要由于其执行低精度的模拟计算而消耗更少的能量
。CMOS
模拟电路已被用于人工神经网络，但由于给定大量的神经元和突触，大多数
CMOS
实现的突触都过于庞大
。
[0007]申请人先前在美国专利申请第
15/594,439
号中公开了一种利用一个或多个非易失性存储器阵列作为突触的人工
(
模拟
)
神经网络，该专利申请以引用方式并入本文
。
非易失性存储器阵列作为模拟神经存储器操作
。
神经网络设备包括被配置成接收第一多个输入并从其生成第一多个输出的第一多个突触，以及被配置成接收第一多个输出的第一多个神经元
。
第一多个突触包括多个存储器单元，其中存储器单元中的每个存储器单元包括：形成于半导体衬底中的间隔开的源极区和漏极区，其中沟道区在源极区和漏极区之间延伸；设置在沟道区的第一部分上方并且与第一部分绝缘的浮栅；以及设置在沟道区的第二部分上方并且与第二部分绝缘的非浮栅
。
多个存储器单元中的每个存储器单元被配置成存储与浮栅上的多个电子相对应的权重值
。
多个存储器单元被配置成将第一多个输入乘以所存储的权重值以生成第一多个输出
。
[0008]非易失性存储器单元
[0009]非易失性存储器是众所周知的
。
例如，美国专利
5,029,130(
″
130
专利
″
)
，其以引用方式并入本文，公开了分裂栅非易失性存储器单元的阵列，它是一种闪存存储器单元
。
此类存储器单元
210
在图2中示出
。
每个存储器单元
210
包括形成于半导体衬底
12
中的源极区
14
和漏极区
16
，其间具有沟道区
18。
浮栅
20
形成在沟道区
18
的第一部分上方并且与其绝缘
(
并控制其电导率
)
，并且形成在源极区
14
的一部分上方
。
字线端子
22(
其通常被耦接到字线
)
具有设置在沟道区
18
的第二部分上方并且与该沟道区的第二部分绝缘
(
并且控制其电导率
)
的第一部分，以及向上延伸并且位于浮栅
20
上方的第二部分
。
浮栅
20
和字线端子
22
通过栅极氧化物与衬底
12
绝缘
。
位线
24
耦接到漏极区
16。
[0010]通过将高的正电压置于字线端子
22
上来对存储器单元
210
进行擦除
(
其中电子从浮栅去除
)
，这导致浮栅
20
上的电子经由福勒
‑
诺德海姆
(FN)
隧穿从浮栅
20
到字线端子
22
隧穿通过中间绝缘体
。
[0011]通过将正电压置于字线端子
22
上以及将正电压置于源极区
14
上来由带有热电子的源极侧注入
(SSI)
编程存储器单元
210(
其中电子被置于浮栅上
)。
电子流将从漏极区
16
流向源极区
14。
当电子到达字线端子
22
和浮栅
20
之间的间隙时，电子将加速并且变热
。
由于来自浮栅
20
的静电引力，一些加热的电子将通过栅极氧化物被注入到浮栅
20
上
。
[0012]通过将正的读取电压置于漏极区
16
和字线端子
22(
其接通沟道区
18
的在字线端子下方的部分
)
上来读取存储器单元
210。
如果浮栅
20
带正电
(
即，电子被擦除
)
，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于从一个或多个非易失性存储器单元阵列生成输出的输出电路，所述输出电路包括：多个电流到电压转换器，所述多个电流到电压转换器中的每个电流到电压转换器从耦合到存储
W+
值的所述一个或多个阵列的一个或多个非易失性存储器单元的相应位线以及从耦合到存储
W
‑
值的所述一个或多个阵列的一个或多个非易失性存储器单元的相应位线接收电流；多路复用器，所述多路复用器用于从所述多个电流到电压转换器接收相应的电压输出；多个采样和保持电路，每个采样和保持电路通过所述多路复用器选择性地耦合到所述多个电流到电压转换器中的一个电流到电压转换器，以产生保持的电压输出；信道多路复用器，所述信道多路复用器用于接收来自所述多个采样和保持电路的保持的电压输出；和模数转换器，所述模数转换器用于从所述信道多路复用器选择性地接收所述保持的电压输出，并将所述保持的电压输出转换为数字输出
。2.
根据权利要求1所述的输出电路，其中，耦合到存储
W+
值的所述一个或多个非易失性存储器单元的所述位线和耦合到存储
W
‑
值的所述一个或多个非易失性存储器单元的所述位线位于所述一个或多个阵列的相同阵列中
。3.
根据权利要求1所述的输出电路，其中，耦合到存储
W+
值的所述一个或多个非易失性存储器单元的所述位线和耦合到存储
W
‑
值的所述一个或多个非易失性存储器单元的所述位线位于所述一个或多个阵列的不同阵列中
。4.
根据权利要求1所述的输出电路，其中，所述一个或多个非易失性存储器单元阵列中的每个阵列为神经网络存储器阵列
。5.
根据权利要求1所述的输出电路，其中，所述一个或多个阵列中的每个非易失性存储器单元可以存储两个以上可能值中的一个可能值
。6.
根据权利要求1所述的输出电路，其中，所述一个或多个阵列中的每个非易失性存储器单元是分裂栅闪存存储器单元
。7.
一种用于从一个或多个非易失性存储器单元阵列生成输出的输出电路，所述输出电路包括：多个电流到电压转换器，所述多个电流到电压转换器中的每个电流到电压转换器从耦合到存储
W+
值的所述一个或多个非易失性存储器单元阵列的一个或多个非易失性存储器单元的相应位线以及从耦合到存储
W
‑
值的所述一个或多个非易失性存储器单元阵列的一个或多个非易失性存储器单元的相应位线接收电流，以将所述接收的电流转换为差分电压输出；和模数转换器，所述模数转换器用于接收所述差分电压输出并将所述差分电压输出转换为数字输出
。8.
根据权利要求7所述的输出电路，所述输出电路进一步包括：多路复用器，所述多路复用器用于从所述多个电流到电压转换器接收所述差分电压输出，所述模数转换器从所述多路复用器选择性地接收所述差分电压输出
。9.
根据权利要求8所述的输出电路，所述输出电路进一步包括：
多个采样和保持电路，每个采样和保持电路通过所述多路复用器选择性地耦合到所述多个电流到电压转换器中的一个电流到电压转换器
。10.
根据权利要求9所述的输出电路，所述输出电路进一步包括：信道多路复用器，所述信道多路复用器用于接收来自所述多个采样和保持电路的电压输出
。11.
根据权利要求7所述的输出电路，其中，耦合到存储
W+
值的所述一个或多个非易失性存储器单元的所述位线和耦合到存储
W
‑
值的所述一个或多个非易失性存储器单元的所述位线位于所述一个或多个非易失性存储器单元阵列的相同阵列中
。12.
根据权利要求7所述的输出电路，其中，耦合到存储
W+
值的所述一个或多个非易失性存储器单元的所述位线和耦合到存储
W
‑
值的所述一个或多个非易失性存储器单元的所述位线位于所述一个或多个非易失性存储器单元阵列的不同阵列中
。13.
根据权利要求7所述的输出电路，其中，所述一个或多个非易失性存储器单元阵列中的每个阵列为神经网络存储器阵列
。14.
根据权利要求7所述的输出电路，其中，所述一个或多个阵列中的每个非易失性存储器单元可以存储两个以上可能值中的一个可能值
。15.
根据权利要求7所述的输出电路，其中，一个或多个阵列中的每个非易失性存储器单元是分裂栅闪存存储器单元
。16.
一种用于从一个或多个非易失性存储器单元阵列生成输出的输出电路，所述输出电路包括：多个求和电路，所述多个求和电路中的每个求和电路从耦合到存储
W+
值的所述一个或多个非易失性存储器单元阵列的一个或多个非易失性存储器单元的相应位线以及从耦合到存储
W
‑...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：硅存储技术股份有限公司，
类型：发明
国别省市：