【技术实现步骤摘要】
【国外来华专利技术】用于减少固定设备不对称性的具有极性反转的电导对之间的突触权重传递
本专利技术一般涉及人工神经网络(ANN)领域。更具体地说，本专利技术涉及一种用于从不同重要性的带符号的模拟电导对构建人工神经网络的突触权重的系统和方法，其中，较低重要性的电导对的极性被周期性地反转。
技术介绍
人工神经网络(ANN)是分布式计算系统，其由通过称为突触的连接点互连的多个神经元组成。每个突触编码一个神经元的输出和另一个神经元的输入之间的连接的强度。每个神经元的输出由从连接到它的其它神经元接收的聚合输入确定，并且因此由这些"上游"连接的神经元的输出和如由突触权重确定的连接强度确定。通过调整突触的权重以使得特定类的输入产生期望的输出，来训练ANN以解决特定问题(例如，模式识别)。权重调整过程被称为"学习"。在ANN文献中有许多用于执行学习的算法，这些算法适用于诸如图像识别、语音识别、语言处理等各种任务。理想地，这些算法导致突触权重的模式，其在学习过程期间朝向给定问题的最优解收敛。ANN的有吸引力的实现方式使用一些(例如CMOS)电路来表...
【技术保护点】
1.一种用于减轻由人工神经网络(ANN)中的固定设备不对称性所引起的对权重的不期望的贡献的方法，所述ANN中的每个突触的突触权重由来自多个电导对的加权电流来表示，其中多个训练示例在观察所述ANN的输出的同时被串行地输入到所述ANN，所述方法包括：/n在表示第一训练周期的第一传递间隔期间，将所述突触权重的一部分从较低重要性的电导对(g-g
【技术特征摘要】
【国外来华专利技术】20171120 US 15/818,5211.一种用于减轻由人工神经网络(ANN)中的固定设备不对称性所引起的对权重的不期望的贡献的方法，所述ANN中的每个突触的突触权重由来自多个电导对的加权电流来表示，其中多个训练示例在观察所述ANN的输出的同时被串行地输入到所述ANN，所述方法包括：
在表示第一训练周期的第一传递间隔期间，将所述突触权重的一部分从较低重要性的电导对(g-gshared)传递到较高重要性的电导对(G+-G—)；以及
在所述第一传递间隔之后并且表示第二训练周期的第二传递间隔期间，将所述突触权重的一部分从极性被反转的所述较低重要性的电导对-(g-gshared)传递到较高重要性的电导对(G+-G—)，
其中，在所述ANN中的固定器件不对称性跨多个这样的第一和第二传递间隔抵消。
2.根据权利要求1所述的方法，其中所述ANN中的神经元是用CMOS电路实现的。
3.根据权利要求1所述的方法，其特征在于，每个突触的所述突触权重是使用模拟存储器元件来实现的。
4.根据权利要求3所述的方法，其中，所述模拟存储器元件是非易失性存储器(NVM)。
5.根据权利要求4所述的方法，其中，所述NVM被选自包括以下项的组：相变存储器、电阻随机存取存储器和导电桥随机存取存储器。
6.一种在人工神经网络(ANN)中实现的方法，所述ANN包括按层布置的多个神经元，其中一层的输出被连接至后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的所述突触权重的大小由来自多个电导对的加权电流来表示，其中多个训练示例被串行输入到所述ANN，同时观察其输出，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述方法包括：
周期性地将所述突触权重的一部分从较低重要性的电导对传递到较高重要性的电导对，使得总突触权重基本上保持不变；
在突触权重的这些周期性传递中的一个或多个周期性传递后，反转所述较低重要性的电导对的极性；以及
重复所述训练示例的所述串行输入，直到所述网络输出在预定准确度内接近所述期望输出。
7.根据权利要求6所述的方法，其中所述神经元是用CMOS电路实现的。
8.根据权利要求6所述的方法，其特征在于，所述ANN中的所述突触权重是使用模拟存储器元件来实现的。
9.根据权利要求8所述的方法，其中，所述模拟存储器元件是非易失性存储器(NVM)。
10.根据权利要求9所述的方法，其中，所述NVM选自包括以下项的组：相变存储器、电阻随机存取存储器和导电桥随机存取存储器。
11.如权利要求6所述的方法，其特征在于，所述ANN中的所述突触权重的某一部分是使用被连接至读晶体管的栅极的电容器连同用于根据与下游和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷的编程晶体管来实现的。
12.根据权利要求6所述的方法，其中所述ANN用作应用的一部分，所述应用选自包括以下项的组：模式识别应用、图像识别应用、语音识别应用和语言处理应用。
13.根据权利要求6所述的方法，其中所述较低重要性的电导对的所述极性通过交换所述较低重要性的电导对中的两个电导的角色而被反转。
14.根据权利要求13所述的方法，其中所述较低重要性的电导对中的所述两个电导中的一个电导从第一共享电导被重新配置到第二共享电导。
15.一种在人工神经网络(ANN)中实现的方法，所述ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，所述突触中的每个突触的所述权重的大小由来自多个电导对的加权电流来表示，所述多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察ANN的输出的同时被串行输入到所述ANN，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述方法包括：
(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导，并且通过来自两个或更多个电导对的算术贡献来计算每个突触的原始突触权重；
(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；
(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到原始突触权重值被获得；以及
(d)反转所述较低重要性的电导对的所述极性以用于后续训练操作。
16.根据权利要求15所述的方法，其中所述神经元是用CMOS电路来实现的。
17.根据权利要求15所述的方法，其中所述ANN中的突触权重是使用非易失性存储器(NVM)来实现的。
18.根据权利要求17所述的方法，其中，所述NVM选自包括以下项的组：相变存储器、电阻随机存取存储器和导电桥随机存取存储器。
19.根据权利要求15所述的方法，其中ANN中的所述突触权重的一些突触权重是使用被连接至读取晶体管的栅极的电容器连同编程晶体管来实现的，所述编程晶体管用于根据与下游神经元和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷。
20.根据权利要求15所述的方法，其中所述ANN用作应用的一部分，所述应用选自包括以下项的组：模式识别应用、图像识别应用、语音识别应用和语言处理应用。
21.根据权利要求15所述的方法，其中所述较低重要性电导对的所述极性通过交换所述较低重要性的电导对中的所述两个电导的角色而被反转。
22.根据权利要求21所述的方法，其中所述较低重要性的电导对中的所述两个电导中的一个电导从第一共享电导被重新配置为第二共享电导。
23.一种在人工神经网络(ANN)中实现的方法，所述ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，所述突触中的每...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。