【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及神经形态存储器电路和训练人工神经网络的方法。
技术介绍
1、人工神经网络在各种领域和应用中被用于执行各种任务，如字符识别、图像分类、自然语言处理以及各种模式匹配和分类任务。人工神经网络包含输入层、至少一个隐藏层和输出层，每个层都具有一群神经元或节点。一层中的神经元的输出连接到下一层中的神经元的输入，并且“权重”与神经元之间的每个连接相关联。为了计算每个神经元的激活状态，对神经元的输入执行加权和(即，将一组输入信号乘以一组权重，然后求和)，然后利用传递函数将加权输入的线性组合转换为阈值激活函数(f(s))。
技术实现思路
1、本公开涉及存储器电路的各种实施例，所述存储器电路被配置为执行乘法累加(mac)操作以执行人工神经网络。在一个实施例中，所述存储器电路包含：布置成交叉条阵列的一系列单元，所述一系列单元中的每个单元包含与忆阻器串联连接的存储器晶体管；连接到每个单元中的所述存储器晶体管的源极端子的一系列输入线(位线)；连接到每个单元中的所述忆阻器的输出端子的一系列输出线(板线)；以及耦接到每个单元中的所述存储器晶体管的栅极端子的一系列编程线(字线)。每个单元的所述忆阻器被配置为存储电导值，所述电导值表示连接到所述人工神经网络中的神经元的突触的突触权重。每个单元的所述存储器晶体管被配置为存储阈值电压，所述阈值电压表示连接到所述人工神经网络中的所述神经元的所述突触的突触重要性值。对于所述一系列单元中的每个单元，所述忆阻器的所述电导值和所述存储器晶体管的所述阈值电压是可独立
2、所述一系列单元中的每个单元中的所述忆阻器可以是电阻式随机存取存储器(reram)元件、相变存储器(pcm)元件、铁电隧道结(ftj)元件或自旋转移力矩存储器(stt-ram)元件。
3、所述一系列单元中的每个单元中的所述存储器晶体管可以是铁电场效应晶体管(fefet)或电荷俘获晶体管(ctt)。
4、所述存储器电路还可以包含耦接到所述一系列字线的字线驱动器、耦接到所述一系列输入线的位线驱动器以及耦接到所述一系列输出线的输出驱动器。
5、所述存储器电路还可以包含耦接到所述交叉条阵列的电流感测元件。所述电流感测元件可以包含采样保持放大器或跨阻抗放大器。
6、所述存储器电路可以包含耦接到所述电流感测元件的多路复用器和耦接到所述多路复用器的多路复用器控制器。
7、所述存储器电路还可以包含耦接到所述多路复用器的一系列模数转换器。
8、所述存储器电路可以包含耦接到所述一系列模数转换器的一系列加法器和一系列移位寄存器。这些外围电路由cmos制成。
9、本公开还涉及对存储器电路进行编程的方法的各种实施例。在一个实施例中，所述方法包含：在第一任务上训练人工神经网络期间改变一系列单元中的至少一个单元中的忆阻器的表示突触权重的电导值；用与所述存储器电路分离的电路确定用于执行所述第一任务的所述人工神经网络的至少一个重要突触；改变所述一系列单元中的至少一个单元中的存储器晶体管的表示突触重要性值的阈值电压，所述至少一个单元对应于用于执行所述第一任务的所述人工神经网络的所述至少一个重要突触。
10、改变所述阈值电压可以包含跨所述至少一个单元中的所述存储器晶体管的栅极端子和源极端子施加编程脉冲，同时保持输入线和输出线处于相同电压(不施加电压或施加相同电压)，以避免存储在忆阻器元件中的所述突触权重的任何变化。在fefet的实施例中，其阈值电压可以通过使用所述编程脉冲方法改变铁电栅极介电层的剩余极化来调节。铁电材料的剩余极化的这种变化是非易失性的，并且在去除所述编程脉冲之后被存储。
11、所述方法可以包含在不同于所述第一任务的第二任务上训练所述人工神经网络期间改变所述一系列单元中的至少一个单元的所述忆阻器的表示所述突触权重的所述电导值。改变所选择的忆阻器元件的所述突触权重可以包含跨所述所选择的忆阻器元件的所述输入线(与所述忆阻器串联的所述存储器晶体管的所述源极端子)和所述输出线施加编程脉冲。将超阈值电压施加到所述存储器晶体管的所述栅极端子，使得其被切换到具有小源极-漏极电阻的“导通”状态，以允许跨所述所选择的忆阻器元件施加所述编程脉冲。
12、至少一个单元的所述存储器晶体管的所述阈值电压被配置为在所述第二任务上训练所述人工神经网络期间防止所述至少一个单元的所述权重值的变化，以防止所述神经网络表现出灾难性遗忘。在一个实施例中，使用n沟道fefet(n-fefet)作为所述存储器晶体管。将其阈值电压向更正值移位将减小在相同源极-漏极和源极-栅极偏置条件下的源极-漏极电流。更高的突触重要性对应于更正的阈值电压，这使得fefet在第二任务中的训练期间不太可能转变为“导通”状态，从而保护串联连接的所述忆阻器元件的电导(突触权重)不被改变。
13、可以将交叉条存储器电路与cmos电路系统共同集成在同一cmos处理核心内或者异质集成到预制cmos处理核心上。
14、确定所述人工神经网络的重要突触可以包含：利用对比激励反向传播算法标识用于所述第一任务的所有层内的重要神经元；以及利用学习算法、基于所标识的重要神经元来标识用于所述第一任务的多个神经元之间的重要突触。
15、用于标识重要突触的所述学习算法可以是如下的hebbian学习算法：其中是突触重要性参数，xn是输入图像，是所述人工神经网络的第l层中的第j个神经元，是所述人工神经网络的第l+1层中的第i个神经元，并且p是概率。
16、用于标识重要突触的所述学习算法可以是如下的oja学习规则：其中i和j是神经元，l是所述人工神经网络的层，pc是概率，是第l-1层中的第j个神经元与第l层中的第i个神经元之间的突触对所述第一任务的重要性，∈是oja学习规则的速率，并且pc是概率。
17、本公开还涉及执行人工神经网络的神经发生的方法的各种实施例，所述人工神经网络包含多个(或一群)层和所述一群层中的每一层中的多个(或一群)神经元。在一个实施例中，所述方法包含：确定所述人工神经网络的一系列备用神经元；评估所述人工神经网络在新任务或上下文中的性能；响应于所述人工神经网络的所述性能停滞或下降而确定要添加到所述人工神经网络的所述一系列备用神经元中的附加神经元的数量和位置；用所述附加突触将所述附加神经元连接到所述人工神经网络；在所述新任务或上下文上训练具有所述附加神经元和所述附加突触的所述人工神经网络，以确定所述附加突触的权重和突触重要性值；以及将所述备用神经元的所述权重和所述突触重要性值存储在存储器电路中。
18、确定所述备用神经元可以包含：在第一任务或上下文上训练所述人工神经网络以确定连接多个神经元的突触的权重；确定所述突触的突触重要性值；以及确定连接到所述一系列神经元中的至少一个神经元的每个突触的所述突触重要性值低于突触重要性阈值。
19、所述突触重要性阈值可以根据以下等式来确定：γi<平均值(γi)-3标准偏差(γ本文档来自技高网...
【技术保护点】
1.一种存储器电路，其被配置为执行乘法累加(MAC)操作以执行人工神经网络，其特征在于：所述存储器电路包括：
2.根据权利要求1所述的存储器单元，其特征在于：所述多个单元中的每个单元中的所述忆阻器选自由以下组成的组：电阻式随机存取存储器(ReRAM)元件、相变存储器(PCM)元件、铁电隧道结(FTJ)元件和自旋转移力矩存储器(STT-RAM)元件。
3.根据权利要求1所述的存储器单元，其特征在于：所述多个单元中的每个单元中的所述存储器晶体管选自由以下组成的组：铁电场效应晶体管(FeFET)和电荷俘获晶体管(CTT)。
4.根据权利要求1所述的存储器电路，其特征在于：进一步包括：
5.根据权利要求1所述的存储器电路，其特征在于：进一步包括耦接到所述交叉条阵列的电流感测元件。
6.根据权利要求5所述的存储器电路，其特征在于：所述电流感测元件包括采样保持放大器或跨阻抗放大器。
7.根据权利要求5所述的存储器电路，其特征在于：进一步包括：
8.根据权利要求7所述的存储器电路，其特征在于：进一步包括耦接到所
9.根据权利要求7所述的存储器电路，其特征在于：进一步包括多个加法器和多个移位寄存器，所述多个加法器和所述多个移位寄存器耦接到所述多个模数转换器。
10.一种对根据权利要求1所述的存储器电路进行编程的方法，其特征在于：所述方法包括：在第一任务上训练所述人工神经网络期间改变所述多个单元中的至少一个单元中所述忆阻器的表示所述突触权重的所述电导值；
11.根据权利要求10所述的方法，其特征在于：所述改变所述阈值电压包括：
12.根据权利要求11所述的方法，其特征在于：进一步包括在不同于所述第一任务的第二任务上训练所述人工神经网络期间改变所述多个单元中的至少一个单元的所述忆阻器的表示所述突触权重的所述电导值，
13.根据权利要求10所述的方法，其特征在于：所述电路与CMOS电路系统集成在一起。
14.根据权利要求10所述的方法，其特征在于：所述确定所述人工神经网络的所述至少一个重要突触包括：
15.根据权利要求14所述的方法，其特征在于：用于标识重要突触的所述学习算法是如下的Hebbian学习算法：
16.根据权利要求14所述的方法，其特征在于：用于标识重要突触的所述学习算法是如下的Oja学习规则：
17.一种执行人工神经网络的神经发生的方法，所述人工神经网络包括多个层和位于所述多个层中的每一层中的多个神经元，其特征在于：所述方法包括：
18.根据权利要求17所述的方法，其特征在于：所述确定所述备用神经元包括：
19.根据权利要求18所述的方法，其特征在于：所述突触重要性阈值根据等式1确定：
20.根据权利要求17所述的方法，其特征在于：所述确定所述备用神经元包括主动地将所述备用神经元设置为不活动的。
21.根据权利要求17所述的方法，其特征在于：所述确定所述附加神经元的所述数量和所述位置利用在与根据权利要求1所述的存储器电路分离的商用现货(COTS)芯片上执行的概率程序神经发生(PPN)算法。
...【技术特征摘要】
【国外来华专利技术】
1.一种存储器电路，其被配置为执行乘法累加(mac)操作以执行人工神经网络，其特征在于：所述存储器电路包括：
2.根据权利要求1所述的存储器单元，其特征在于：所述多个单元中的每个单元中的所述忆阻器选自由以下组成的组：电阻式随机存取存储器(reram)元件、相变存储器(pcm)元件、铁电隧道结(ftj)元件和自旋转移力矩存储器(stt-ram)元件。
3.根据权利要求1所述的存储器单元，其特征在于：所述多个单元中的每个单元中的所述存储器晶体管选自由以下组成的组：铁电场效应晶体管(fefet)和电荷俘获晶体管(ctt)。
4.根据权利要求1所述的存储器电路，其特征在于：进一步包括：
5.根据权利要求1所述的存储器电路，其特征在于：进一步包括耦接到所述交叉条阵列的电流感测元件。
6.根据权利要求5所述的存储器电路，其特征在于：所述电流感测元件包括采样保持放大器或跨阻抗放大器。
7.根据权利要求5所述的存储器电路，其特征在于：进一步包括：
8.根据权利要求7所述的存储器电路，其特征在于：进一步包括耦接到所述多路复用器的多个模数转换器。
9.根据权利要求7所述的存储器电路，其特征在于：进一步包括多个加法器和多个移位寄存器，所述多个加法器和所述多个移位寄存器耦接到所述多个模数转换器。
10.一种对根据权利要求1所述的存储器电路进行编程的方法，其特征在于：所述方法包括：在第一任务上训练所述人工神经网络期间改变所述多个单元中的至少一个单元中所述忆阻器的表示所述突触权重的所述电导值；
【专利技术属性】
技术研发人员：易伟，查尔斯·马汀，索黑尔·柯劳里，帕文·皮利，
申请(专利权)人：HRL实验室有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。