深度学习人工神经网络中的模拟神经存储器的编程的精确调谐制造技术

本发明专利技术公开了用于将正确的电荷量精确快速地沉积在人工神经网络中的矢量

【技术实现步骤摘要】
【国外来华专利技术】深度学习人工神经网络中的模拟神经存储器的编程的精确调谐
[0001]优先权声明
[0002]本申请要求于2019年9月19日提交并且专利技术名称为“深度学习人工神经网络中的模拟神经存储器的编程的精确调谐(PRECISION TUNING FOR THE PROGRAMMING OF ANALOG NEURAL MEMORY IN A DEEP LEARNING ARTIFICIAL NEURAL NETWORK)”的美国专利申请第16/576,533号的优先权。


[0003]本专利技术公开了用于将正确的电荷量精确快速地沉积在人工神经网络中的矢量
‑
矩阵乘法(VMM)阵列内非易失性存储器单元的浮栅上的精确调谐算法和装置的多个实施方案。

技术介绍

[0004]人工神经网络模拟生物神经网络(动物的中枢神经系统，特别是大脑)，并且用于估计或近似可取决于大量输入并且通常未知的函数。人工神经网络通常包括互相交换消息的互连“神经元”层。
[0005]图1示出了人工神经网络，其中圆圈表示神经元的输入或层。连接部(称为突触)用箭头表示，并且具有可以根据经验进行调整的数值权重。这使得神经网络适应于输入并且能够学习。通常，神经网络包括多个输入的层。通常存在神经元的一个或多个中间层，以及提供神经网络的输出的神经元的输出层。处于每一级别的神经元分别地或共同地根据从突触所接收的数据作出决定。
[0006]在开发用于高性能信息处理的人工神经网络方面的主要挑战中的一个挑战是缺乏足够的硬件技术。实际上，实际神经网络依赖于大量的突触，从而实现神经元之间的高连通性，即非常高的计算并行性。原则上，此类复杂性可通过数字超级计算机或专用图形处理单元集群来实现。然而，相比于生物网络，这些方法除了高成本之外，能量效率也很普通，生物网络主要由于其执行低精度的模拟计算而消耗更少的能量。CMOS模拟电路已被用于人工神经网络，但由于给定大量的神经元和突触，大多数CMOS实现的突触都过于庞大。
[0007]申请人先前在美国专利申请第15/594,439号中公开了一种利用一个或多个非易失性存储器阵列作为突触的人工(模拟)神经网络，该专利申请以引用方式并入本文。非易失性存储器阵列作为模拟神经形态存储器操作。神经网络设备包括被配置成接收第一多个输入并从其生成第一多个输出的第一多个突触，以及被配置成接收第一多个输出的第一多个神经元。第一多个突触包括多个存储器单元，其中存储器单元中的每个存储器单元包括：形成于半导体衬底中的间隔开的源极区和漏极区，其中沟道区在源极区和漏极区之间延伸；设置在沟道区的第一部分上方并且与第一部分绝缘的浮栅；以及设置在沟道区的第二部分上方并且与第二部分绝缘的非浮栅。多个存储器单元中的每个存储器单元被配置成存储与浮栅上的多个电子相对应的权重值。多个存储器单元被配置成将第一多个输入乘以所
存储的权重值以生成第一多个输出。
[0008]必须擦除和编程在模拟神经形态存储器系统中使用的每个非易失性存储器单元，以在浮栅中保持非常特定且精确的电荷量(即电子数量)。例如，每个浮栅必须保持N个不同值中的一个，其中N是可由每个单元指示的不同权重的数量。N的示例包括16、32、64、128和256。
[0009]VMM系统中的一个挑战是能够以不同N值所需的精度和粒度对所选单元进行编程。例如，如果所选单元可包括64个不同值中的一个值，则在编程操作中需要极端精度。
[0010]所需要的是适于与模拟神经形态存储器系统中的VMM一起使用的改进的编程系统和方法。

技术实现思路

[0011]本专利技术公开了用于将正确的电荷量精确快速地沉积在人工神经网络中的矢量
‑
矩阵乘法(VMM)阵列内非易失性存储器单元的浮栅上的精确调谐算法和装置的多个实施方案。因此，可极精确地对所选单元进行编程，以保持N个不同值中的一个值。
附图说明
[0012]图1为示出现有技术的人工神经网络的示意图。
[0013]图2示出现有技术分裂栅闪存存储器单元。
[0014]图3示出另一现有技术的分裂栅闪存存储器单元。
[0015]图4示出另一现有技术的分裂栅闪存存储器单元。
[0016]图5示出另一现有技术的分裂栅闪存存储器单元。
[0017]图6示出另一现有技术的分裂栅闪存存储器单元。
[0018]图7示出现有技术的堆叠栅闪存存储器单元。
[0019]图8为示出使用一个或多个非易失性存储器阵列的示例性人工神经网络的不同层级的示意图。
[0020]图9为示出矢量
‑
矩阵乘法系统的框图。
[0021]图10为示出使用一个或多个矢量
‑
矩阵乘法系统的示例性人工神经网络的框图。
[0022]图11示出矢量
‑
矩阵乘法系统的另一实施方案。
[0023]图12示出矢量
‑
矩阵乘法系统的另一实施方案。
[0024]图13示出矢量
‑
矩阵乘法系统的另一实施方案。
[0025]图14示出矢量
‑
矩阵乘法系统的另一实施方案。
[0026]图15示出矢量
‑
矩阵乘法系统的另一实施方案。
[0027]图16示出矢量
‑
矩阵乘法系统的另一实施方案。
[0028]图17示出矢量
‑
矩阵乘法系统的另一实施方案。
[0029]图18示出矢量
‑
矩阵乘法系统的另一实施方案。
[0030]图19示出矢量
‑
矩阵乘法系统的另一实施方案。
[0031]图20示出矢量
‑
矩阵乘法系统的另一实施方案。
[0032]图21示出矢量
‑
矩阵乘法系统的另一实施方案。
[0033]图22示出矢量
‑
矩阵乘法系统的另一实施方案。
[0034]图23示出矢量
‑
矩阵乘法系统的另一实施方案。
[0035]图24示出矢量
‑
矩阵乘法系统的另一实施方案。
[0036]图25示出现有技术的长短期存储器系统。
[0037]图26示出在长短期存储器系统中使用的示例性单元。
[0038]图27示出图26的示例性单元的一个实施方案。
[0039]图28示出图26的示例性单元的另一实施方案。
[0040]图29示出现有技术的栅控递归单元系统。
[0041]图30示出在栅控递归单元系统中使用的示例性单元。
[0042]图31示出图30的示例性单元的一个实施方案。
[0043]图32示出图30的示例性单元的另一实施方案。
[0044]图33A示出对非易失性存储器单元进行编程的方法的实施方案。
[0045]图33B示出对非易失性存储器单元进行编程的方法的另一实施方案。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对所选择的非易失性存储器单元进行编程以存储N个可能值中的一个可能值的方法，其中N是大于2的整数，所述选择的非易失性存储器单元包括浮栅和控制栅，所述方法包括：执行粗略编程过程，包括：用初始编程电压编程所述非易失性存储器单元；向所述选择的非易失性存储器单元的所述控制栅施加第一电压，并测量通过所述选择的非易失性存储器单元的第一电流；向所述选择的非易失性存储器单元的所述控制栅施加第二电压，并测量通过所述选择的非易失性存储器单元的第二电流；基于所述第一电压、所述第二电压、所述第一电流和所述第二电流确定斜率值；基于所述斜率值确定下一编程电压；用所述下一编程电压编程所述非易失性存储器单元；重复确定下一编程电压和用所述下一编程电压编程所述非易失性存储器单元的步骤，直到在读取或验证操作期间通过所述选择的非易失性存储器单元的电流小于或等于第一阈值电流值；以及执行精确编程过程，直到在读取或验证操作期间通过所述选择的非易失性存储器单元的电流小于或等于第二阈值电流值。2.根据权利要求1所述的方法，其中执行粗略编程过程的步骤还包括：当通过所述选择的非易失性存储器单元的电流小于或等于第三阈值电流值时，擦除所述选择的非易失性存储器单元并重复所述粗略编程过程。3.根据权利要求1所述的方法，还包括：执行第二精确编程过程，直到在读取或验证操作期间通过所述选择的非易失性存储器单元的电流小于或等于第四阈值电流值。4.根据权利要求1所述的方法，其中所述精确编程过程包括向所述选择的非易失性存储器单元的所述控制栅施加幅值增加的电压脉冲。5.根据权利要求1所述的方法，其中所述精确编程过程包括向所述选择的非易失性存储器单元的所述控制栅施加持续时间增加的电压脉冲。6.根据权利要求1所述的方法，其中所述选择的非易失性存储器单元是分离栅闪存存储器单元。7.根据权利要求1所述的方法，其中所述选择的非易失性存储器单元在模拟存储器深度神经网络中的矢量
‑
矩阵乘法阵列中。8.根据权利要求1所述的方法，还包括：在执行所述粗略编程过程之前：将所述选择的非易失性存储器单元编程至“0”状态；以及将所述选择的非易失性存储器单元擦除至弱擦除电平。9.根据权利要求1所述的方法，还包括：在执行所述粗略编程过程之前：将所述选择的非易失性存储器单元擦除至“1”状态；以及将所述选择的非易失性存储器单元编程至弱编程电平。
10.根据权利要求1所述的方法，还包括：对所述选择的非易失性存储器单元执行读取操作；以及使用积分型模数转换器对在所述读取操作期间由所述选择的非易失性存储器单元消耗的所述电流进行积分以生成数字位。11.根据权利要求1所述的方法，还包括：对所述选择的非易失性存储器单元执行读取操作；以及使用Σ
‑
Δ型模数转换器将在所述读取操作期间由所述选择的非易失性存储器单元消耗的所述电流转换为数字位。12.根据权利要求1所述的方法，还包括：对所述选择的非易失性存储器单元执行读取操作；以及使用算法型模数将所述读取操作期间由所述选择的非易失性存储器单元消耗的电流转换成数字位。13.根据权利要求2所述的方法，还包括：执行第二精确编程过程，直到在读取或验证操作期间通过所述选择的非易失性存储器单元的电流小于或等于第四阈值电流值。14.根据权利要求2所述的方法，其中所述精确编程过程包括向所述选择的非易失性存储器单元的所述控制栅施加幅值增加的电压脉冲。15.根据权利要求2所述的方法，其中所述精确编程过程包括向所述选择的非易失性存储器单元的所述控制栅施加持续时间增加的电压脉冲。16.根据权利要求2所述的方法，其中所述选择的非易失性存储器单元是分离栅闪存存储器单元。17.根据权利要求2所述的方法，其中所述选择的非易失性存储器单元在模拟存储器深度神经网络中的矢量
‑
矩阵乘法阵列中。18.根据权利要求2所述的方法，还包括：在执行所述粗略编程过程之前：将所述选择的非易失性存储器单元编程至“0”状态；以及将所述选择的非易失性存储器单元擦除至弱擦除电平。19.根据权利要求2所述的方法，还包括：在执行所述粗略编程过程之前：将所述选择的非易失性存储器单元擦除至“1”状态；以及将所述选择的非易失性存储器单元编程至弱编程电平。20.根据权利要求2所述的方法，还包括：对所述选择的非易失性存储器单元执行读取操作；以及使用积分型模数转换器对在所述读取操作期间由所述选择的非易失性存储器单元消耗的所述电流进行积分以生成数字位。21.根据权利要求2所述的方法，还包括：对所述选择的非易失性存储器单元执行读取操作；以及使用Σ
‑
Δ型模数转换器将在所述读取操作期间由所述选择的非易失性存储器单元消耗的所述电流转换为数字位。
22.根据权利要求2所述的...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：硅存储技术股份有限公司，
类型：发明
国别省市：