振荡神经网络的训练制造技术

该网络包括至少一个网络层，在该至少一个网络层中，通过存储相应的网络权重的可编程耦合元件互连的多个电子振荡器在取决于输入信号的时间延迟处生成振荡信号，以将输入信号从该层的输入传播到输出。该网络适于提供基本上线性取决于网络最后层中的振荡信号相位的网络输出信号。该方法包括根据输出信号和训练样本的期望输出来计算网络误差，并通过误差的反向传播来计算相应的网络权重的更新，使得网络层的权重更新取决于该层的输入处的时间延迟的向量和该层的输出处的计算误差。的向量和该层的输出处的计算误差。的向量和该层的输出处的计算误差。

【技术实现步骤摘要】
【国外来华专利技术】振荡神经网络的训练

技术介绍

[0001]本专利技术总体上涉及振荡神经网络的训练。提供了用于训练振荡神经网络的方法，以及实现这种方法的神经网络系统。
[0002]振荡神经网络(ONN)是采用耦合振荡器网络的人工神经网络。振荡器对应于神经网络的神经元，并且振荡器对之间的耦合的强度模拟网络(突触)权重。通过处理网络中的训练样本并调整网络权重矩阵，使得网络“学习”或记忆要检测的特定相关性，可以训练这样的网络来执行相关性任务，例如图像分类和语音识别。已经为ONN提出了很少的硬件实现，并且这些网络通常取决于权重矩阵的数学预训练，例如经由Hebbian学习算法。

技术实现思路

[0003]本专利技术的一个方面提供了一种神经网络训练方法。该方法包括将定义训练样本的数据编码为网络输入信号中的时间延迟的向量，并将输入信号提供给振荡神经网络。该网络包括至少一个网络层，其中通过存储相应的网络权重的可编程耦合元件互连的多个电子振荡器在取决于输入信号的时间延迟处生成振荡信号，以将输入信号从该层的输入传播到输出。该网络适于提供基本上线性取决于网络最后层中振荡信号相位的网络输本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于神经网络训练的计算机实现的方法，包括：由一个或多个计算机处理器将定义训练样本的数据编码为网络输入信号中的时间延迟的向量；由一个或多个计算机处理器将所述输入信号提供给振荡神经网络，所述振荡神经网络包括至少一个网络层，在所述至少一个网络层中，经由存储相应的网络权重的可编程耦合元件互连的多个电子振荡器在取决于所述输入信号的时间延迟处生成振荡信号，以将所述输入信号从所述层的输入传播到输出，所述振荡神经网络适于提供基本上线性取决于所述振荡神经网络的最后所述层中的振荡信号的相位的网络输出信号；由一个或多个计算机处理器取决于所述输出信号和所述训练样本的期望输出来计算网络误差；由一个或多个计算机处理器通过所述误差的反向传播来计算相应的网络权重的更新，使得网络层的权重更新取决于所述层的输入处的时间延迟的向量和所述层的输出处的计算误差；以及由一个或多个计算机处理器对所述耦合元件进行编程，以根据所述权重更新来更新存储的权重。2.根据权利要求1所述的计算机实现的方法，其中所述网络输出信号取决于最后层中的振荡信号和参考信号之间的相位差。3.根据权利要求1所述的计算机实现的方法，其中所述网络误差包括取决于所述输出信号和所述训练样本的所述期望输出的成本函数的导数。4.根据权利要求3所述的计算机实现的方法，其中所述成本函数取决于所述训练样本的所述期望输出和所述输出信号的预定非线性函数之间的差。5.根据权利要求4所述的计算机实现的方法，其中所述非线性函数包括ReLU函数，并且其中所述网络输出信号被提供给包括一组二极管的激活阶段，用于将所述ReLU函数应用于所述网络输出信号。6.根据权利要求1所述的计算机实现的方法，其中所述振荡神经网络包括多个层。7.根据权利要求6所述的计算机实现的方法，其中每层的所述输出连接到激活阶段，用于将预定非线性函数应用于所述层的输出信号。8.根据权利要求7所述的计算机实现的方法，其中所述非线性函数包括ReLU函数，并且其中所述激活阶段包括一组二极管。9.根据权利要求1所述的计算机实现的方法，其中：每个振荡器包括场效应晶体管；并且编码在所述输入信号中的每个时间延迟确定施加到第一网络层中的所述晶体管的栅极的信号的定时，以启动所述晶体管生成振荡信号。10.一种神经网络系统，包括：编码器，适于将定义训练样本的数据编码为网络输入信号中的时间延迟的向量；振荡神经网络，用于接收所述输入信号，所述网络包括至少一个网络层，在所述至少一个网络层中，经由存储相应的网络权重的可编程耦合元件互连的多个电子振荡器在取决于所述输入信号的时间延迟处生成振荡信号，以将所述输入信号从所述层的输入传播到输出，所述振荡神经网络适于提供基本上线性取决于所述振荡神经网络...

【专利技术属性】
技术研发人员：SF卡尔格，E科尔蒂，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：