用于人工神经网络中的模拟神经形态存储器的高精度和高效调谐机制和算法制造技术

技术编号:24808167 阅读:36 留言:0更新日期:2020-07-07 22:44
本发明专利技术公开了一种利用模拟神经形态存储器的人工神经网络设备,该人工神经网络设备包括一个或多个非易失性存储器阵列。实施方案包括改进的机制和算法,其用于调谐非易失性存储器阵列,使得存储器单元的浮栅可以被快速和准确地注入所需量的电荷,以表示由人工神经网络用作权重的模拟值。

【技术实现步骤摘要】
【国外来华专利技术】用于人工神经网络中的模拟神经形态存储器的高精度和高效调谐机制和算法相关专利申请本申请要求于2017年11月29日提交的美国专利申请No.15/826,345的权益。
公开了用于调谐人工神经网络中使用的模拟神经形态存储器内的单元的多个实施方案。
技术介绍
人工神经网络模拟生物神经网络(动物的中枢神经系统,特别是大脑),这些人工神经网络用于估计或近似可取决于大量输入并且通常未知的功能。人工神经网络通常包括互相交换消息的互连“神经元”层。图1示出了人工神经网络,其中圆圈表示输入或神经元的层。连接部(称为突触)用箭头表示,并且具有可以根据经验进行调谐的数值权重。这使得神经网络适应于输入并且能够学习。通常,神经网络包括多个输入的层。通常存在神经元的一个或多个中间层,以及提供神经网络的输出的神经元的输出层。处于每一级别的神经元分别地或共同地根据从突触所接收的数据作出决定。在开发用于高性能信息处理的人工神经网络方面的主要挑战中的一个挑战是缺乏足够的硬件技术。实际上,实际神经网络依赖于大量的突触,从而实现神经元之间的高连通性,即非常高的计算并行性。原则上,此类复杂性可通过数字超级计算机或专用图形处理单元集群来实现。然而,相比于生物网络,这些方法除了高成本之外,能量效率也很普通,生物网络主要由于其执行低精度的模拟计算而消耗更少的能量。CMOS模拟电路已被用于人工神经网络,但由于给定大量的神经元和突触,大多数CMOS实现的突触都过于庞大。申请人先前在美国专利申请No.15/594,439中公开了利用一个或多个非易失性存储器阵列作为突触的人工(模拟)神经网络,该专利申请以引用方式并入本文。非易失性存储器阵列作为模拟神经形态存储器操作。神经网络设备包括被配置成接收多个第一输入并从其生成多个第一输出的多个第一突触,以及被配置成接收多个第一输出的多个第一神经元。多个第一突触包括多个存储器单元,其中存储器单元中的每个存储器单元包括:形成于半导体衬底中的间隔开的源极区和漏极区,其中沟道区在源极区和漏极区之间延伸;设置在沟道区的第一部分上方并且与第一部分绝缘的浮栅;以及设置在沟道区的第二部分上方并且与第二部分绝缘的非浮栅。多个存储器单元中的每一个被配置为存储与浮栅上的多个电子相对应的权重值。多个存储器单元被配置为将多个第一输入乘以所存储的权重值以生成多个第一输出。必须擦除和编程在模拟神经形态中使用的每个非易失性存储器单元,以在浮栅中保持非常特定和精确量的电荷。例如,每个浮栅必须保持N个不同值中的一个,其中N是可由每个单元指示的不同权重的数量。N的例子包括16、32和64。现有技术缺乏快速和精确的机制来调谐每个单元以确保单元包含所需的电荷量。所需要的是用于调谐人工神经网络中使用的模拟神经形态存储器的改进的机制和算法。附图说明图1为示出人工神经网络的示意图。图2为常规的2栅极非易失性存储器单元的侧面剖视图。图3为示出图2的存储器单元的常规阵列架构的示意图。图4为常规的2栅极非易失性存储器单元的侧面剖视图。图5为示出图4的存储器单元的常规阵列架构的示意图。图6为常规的4栅极非易失性存储器单元的侧面剖视图。图7为示出图6的存储器单元的常规阵列架构的示意图。图8A为示出均匀间隔的神经网络权重级别分配的示意图。图8B为示出非均匀间隔的神经网络权重级别分配的示意图。图9为示出双向调谐算法的流程图。图10为示出使用电流比较的权重映射的框图。图11为示出使用电压比较的权重映射的框图。图12为示出利用非易失性存储器阵列的示例性神经网络的不同级别的示意图。图13为示出矢量乘法器矩阵的框图。图14为示出矢量乘法器矩阵的各种级别的框图。图15-图16为示出四栅极存储器单元阵列的第一架构的示意图。图17-图18为示出四栅极存储器单元阵列的第二架构的示意图。图19为示出四栅极存储器单元阵列的第三架构的示意图。图20为示出四栅极存储器单元阵列的第四架构的示意图。图21为示出四栅极存储器单元阵列的第五架构的示意图。图22为示出四栅极存储器单元阵列的第六架构的示意图。图23为示出二栅极存储器单元阵列的第一架构的示意图。图24为示出二栅极存储器单元阵列的第二架构的示意图。图25为示出电流到电压对数转换器的示意图。图26为示出电压到电流对数转换器的示意图。图27为示出以地为基准的电流加法器的示意图。图28为示出以Vdd为基准的电流加法器的示意图。图29为示出非易失性存储器阵列的N2神经网络输入的利用率的示意图。图30为示出非易失性存储器阵列的N2神经网络输入的利用率的示意图。图31为示出具有周期性移位的输入线的非易失性存储器阵列的神经网络输入的利用率的示意图。图32为示出图15的存储器阵列架构的示意图,但具有周期性移位的输入线。图33为示出图20的存储器阵列架构的示意图,但具有周期性移位的输入线。图34是可用于人工神经网络中的现有技术的非易失性存储器单元的剖视图。图35示出了用于人工神经网络的非易失性存储器单元的阵列。图36示出了在图35的非易失性存储器单元上执行操作的操作电压。图37示出了用于人工神经网络的非易失性存储器单元的阵列。图38示出了在图37的非易失性存储器单元上执行操作的操作电压。图39示出了用于人工神经网络的非易失性存储器单元的阵列。图40示出了在图39的非易失性存储器单元上执行操作的操作电压。图41示出了用于人工神经网络的非易失性存储器单元的阵列。图42示出了在图41的非易失性存储器单元上执行操作的操作电压。图43示出了用于在非易失性存储器单元的阵列内调谐具有不同编程速度特性的单元的算法。图44示出了用于在非易失性存储器单元的阵列内识别可被快速编程的单元的算法。图45示出了用于调谐单元的算法,该算法包括粗略编程序列和精细编程序列。图46示出了用于调谐非易失性存储器单元的均匀步长算法。图47示出了用于调谐非易失性存储器单元的均匀对数步长算法,该算法包括粗略步骤和精细步骤。图48示出了用于调谐非易失性存储器单元的二进制搜索步长算法,该算法包括粗略步骤和精细步骤。图49示出了非易失性存储器单元的调谐序列的波形。图50示出了非易失性存储器单元的调谐序列的波形。具体实施方式本专利技术的人工神经网络利用CMOS技术和非易失性存储器阵列的组合。数字非易失性存储器是众所周知的。例如,美国专利5,029,130(“’130专利”)公开了一种分裂栅极非易失性存储器单元阵列,并且出于所有目的将该专利以引用方式并入本文。存储器单元在图2中示出。每个存储器单元10包括形成于半导体衬底12中的源极区14和漏极区16,其间具有沟道区18。浮栅20形成在沟本文档来自技高网...

【技术保护点】
1.一种用于在非易失性存储器单元的阵列内识别可被快速编程的所述非易失性存储器单元的方法,所述方法包括:/n擦除非易失性存储器单元;/n以第一电压对所述非易失性存储器单元进行编程;/n在读取操作期间测量通过所述非易失性存储器单元的第一电流;/n以第二电压对所述非易失性存储器单元进行编程;/n在读取操作期间测量通过所述非易失性存储器单元的第二电流;以及/n如果所述第二电流和所述第一电流之间的差值超过阈值,则存储指示所述非易失性存储器单元可以被快速编程的数据。/n

【技术特征摘要】
【国外来华专利技术】20171129 US 15/826,3451.一种用于在非易失性存储器单元的阵列内识别可被快速编程的所述非易失性存储器单元的方法,所述方法包括:
擦除非易失性存储器单元;
以第一电压对所述非易失性存储器单元进行编程;
在读取操作期间测量通过所述非易失性存储器单元的第一电流;
以第二电压对所述非易失性存储器单元进行编程;
在读取操作期间测量通过所述非易失性存储器单元的第二电流;以及
如果所述第二电流和所述第一电流之间的差值超过阈值,则存储指示所述非易失性存储器单元可以被快速编程的数据。


2.根据权利要求1所述的方法,其中所述数据包括所述非易失性存储器单元的地址。


3.根据权利要求1所述的方法,其中所述数据包括单个位。


4.根据权利要求1所述的方法,其中所述存储器单元是分裂2栅极闪存存储器单元。


5.根据权利要求1所述的方法,其中所述存储器单元是分裂3栅极闪存存储器单元。


6.根据权利要求1所述的方法,其中所述存储器单元是分裂4栅极闪存存储器单元。


7.根据权利要求1所述的方法,其中所述存储器单元在亚阈值区中读取。


8.一种用于在非易失性存储器单元的阵列内识别可被快速编程的所述非易失性存储器单元的方法,所述方法包括:
对非易失性存储器单元进行编程;
以第一电压擦除所述非易失性存储器单元;
在读取操作期间测量通过所述非易失性存储器单元的第一电流;
以第二电压擦除所述非易失性存储器单元;
在读取操作期间测量通过所述非易失性存储器单元的第二电流;以及
如果所述第二电流和所述第一电流之间的差值超过阈值,则存储指示所述非易失性存储器单元可以被快速编程的数据。


9.根据权利要求8所述的方法,其中所述数据包括所述非易失性存储器单元的地址。


10.根据权利要求8所述的方法,其中所述数据包括单个位。


11.根据权利要求8所述的方法,其中所述存储器单元是分裂2栅极闪存存储器单元。


12.根据权利要求8所述的方法,其中所述存储器单元是分裂3栅极闪存存储器单元。


13.根据权利要求8所述的方法,其中所述存储器单元是分裂4栅极闪存存储器单元。


14.根据权利要求8所述的方法,其中所述存储器单元在亚阈值区中读取。


15.一种基于单元的编程速度特性对多个非易失性模拟神经形态存储器单元进行编程的方法,所述方法包括:
确定单元的所述编程速度特性;
如果所述编程速度特性具有第一值,则在所述单元上执行第一调谐算法,以在所述单元的浮栅上实现所需的电荷水平;以及
如果所述编程速度特性具有第二值,则在所述单元上执行第二调谐算法,以在所述单元的所述浮栅上实现所需的电荷水平。


16.根据权利要求15所述的方法,其中所述第一调谐算法利用的编程电压增量大于所述第二调谐算法利用的编程电压增量。


17.根据权利要求15所述的方法,其中所述第一调谐算法利用的编程脉冲宽度增量大于所述第二调谐算法利用的编程脉冲宽度增量。


18.根据权利要求15所述的方法,其中所述存储器单元是分裂2栅极闪存存储器单元。


19.根据权利要求15所述的方法,其中所述存储器单元是分裂3栅极闪存存储器单元。


20.根据权利要求15所述的方法,其中所述存储器单元是分裂4栅极闪存存储器单元。


21.根据权利要求15所述的方法,其中所述存储器单元在亚阈值区中操作。


22.根据权利要求15所述的方法,其中所述编程速度特性存储在非易失性存储器中。


23.根据权利要求15所述的方法,其中所述编程速度特性存储在表中,所述表包括具有所述编程速度特性的非易失性存储器单元的地址。


24.根据权利要求15所述的方法,其中所述编程速度特性存储在表中,所述表包括所述阵列中所述非易失性存储器单元中的每个的单个位。


25.根据权利要求23所述的方法,还包括:当非易失性存储器单元的所述编程速度特性改变时,更新所述表。


26.根据权利要求24所述的方法,还包括:当非易失性存储器单元的所述编程速度特性改变时,更新所述表。


27.根据权利要求15所述的方法,其中所述存储器单元以阵列排列,字线和源极线以水平方向排列,并且位线以竖直方向排列,其中所述位线作为电流输出神经元操作。


28.根据权利要求27所述的方法,其中所述电压输入被提供给所述控制栅极。


29.根据权利要求28所述的方法,其中流入二极管连接的调谐参考单元的输入电流用于提供所述电压输入。


30.根据权利要求29所述的方法,其中所述二极管连接的调谐参考单元用于所述阵列中的一行存储器单元。


31.根据权利要求15所述的方法,其中所述存储器单元以阵列排列,字线、源极线和控制栅极线以水平方向排列,并且擦除...

【专利技术属性】
技术研发人员:H·V·特兰V·蒂瓦里N·多S·莱姆克S·哈里哈兰S·洪
申请(专利权)人:硅存储技术股份有限公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1