一种反馈型人工神经网络训练方法及计算系统技术方案

本发明专利技术公开了一种反馈型人工神经网络训练方法及计算系统,属于神经网络计算领域。一种人工神经网络训练方法，突触权重根据神经突出两端的前馈信号和反馈信号调整，当神经突出两端分别为兴奋前馈信号和兴奋反馈信号时，该突出权重调整到最大值，当神经突出两端分别为静息前馈信号和兴奋反馈信号时，该突出权重调整到最小值；一种反馈型人工神经网络计算系统，节点电路包括计算模块、前馈模块和反馈模块，节点电路通过忆阻器模拟的神经突出相连，采用一系列脉冲信号实现所述反馈型人工神经网络训练方法。本发明专利技术提供的人工神经网络收敛速度快，人工神经网络计算系统控制元件较少，能耗低，可应用于数据挖掘、模式识别、图像识别等方面。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种反馈型人工神经网络训练方法及计算系统,属于神经网络计算领域。一种人工神经网络训练方法，突触权重根据神经突出两端的前馈信号和反馈信号调整，当神经突出两端分别为兴奋前馈信号和兴奋反馈信号时，该突出权重调整到最大值，当神经突出两端分别为静息前馈信号和兴奋反馈信号时，该突出权重调整到最小值；一种反馈型人工神经网络计算系统，节点电路包括计算模块、前馈模块和反馈模块，节点电路通过忆阻器模拟的神经突出相连，采用一系列脉冲信号实现所述反馈型人工神经网络训练方法。本专利技术提供的人工神经网络收敛速度快，人工神经网络计算系统控制元件较少，能耗低，可应用于数据挖掘、模式识别、图像识别等方面。【专利说明】一种反馈型人工神经网络训练方法及计算系统
本专利技术属于人工神经网络计算系统领域，更具体地，涉及一种反馈型人工神经网络训练方法及一种反馈型人工神经网络计算系统。
技术介绍
大脑神经突触联接是一个神经元的冲动传到另一个神经元间的相互接触的结构。上一个神经元的轴突与下一神经元的树突形成突触联接。当上一神经元产生的神经脉冲达到一定强度，神经元由静息态转换成兴奋态，则神经脉冲从上一神经元通过神经突触联接传导到下一神经元，而下一神经元产生的神经脉冲强度取决于神经突触的传导能力；当上一神经元产生的神经脉冲没有达到这一强度，神经元处于静息状态，则其产生的神经脉冲不会传导到下一神经元。恰好能使上一神经元的神经脉冲传导到下一神经元的神经脉冲强度称作神经元阈值。神经突触的传导能力称作突触权重，突触权重越大，代表神经突触传导能力越强，即该神经突触上下神经元关系紧密。神经脉冲通过神经突触从一层神经元传递到下一层神经元，如此一层层传递形成多层神经网络。人工神经网络是一种模仿大脑神经元通过突触相互联接结构的计算系统，能进行信息处理，广泛应用于自动识别系统，如图像识别、数据分类等领域。人工神经网络由大量节点相互联接构成，节点模拟神经元，他们之间的相互联接模拟神经突触。每个节点代表一种特定输出的函数，称为激励函数，节点输出的信号称作激励信号，每两个节点间的连接都代表一个对于通过该连接信号的加权值，即突触权重。这相当于人工神经网络的记忆，网络的输出则根据网络的连接方式，突触权重和激励函数的不同而不同。网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。人工神经网络分为抑制型人工神经网络和反馈型人工神经网络。前者是指突触权重会保持一个固定值；后者指的是在反馈阶段人工神经网络进行学习，神经突触的传导能力会按照某种方法产生改变。这种方法改变神经网络的记忆，使神经网络能对自然界某种算法或者函数逼近，赋予了神经网络学习能力，即所谓的训练方法。目前公知训练方法有反向传播方法(back propagation algorithm, BP)、模拟退火方法(Simulated Annealing, SA)、脉冲时间相关的突出可塑性方法(spiketiming-dependent plasticity, STDP)等。虽然现有训练方法能模拟生物神经网络，较精确的控制突触权重的变化，但人工神经网络通常具有较大规模，包含的节点数目庞大，联接结构复杂。目前已有应用这些训练方法的人工神经网络计算系统，其控制元件较多，控制电路复杂，因此能耗较高，且反馈时人工神经网络训练收敛速度较慢。而大多数情况下，并不需要精确控制突触权重的变化，通过神经网络的训练过程也能实现较好的人工神经网络模拟效果，因此需要一种人工神经网络计算系统，简化实现人工神经网络计算系统的电路复杂程度，减少控制元件数量，降低能耗。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于反馈型人工神经网络计算系统以及一种反馈型人工神经网络的训练方法，其目的在于简化人工神经网络训练方法，减少人工神经网络控制元件，由此解决现有的人工神经网络实现复杂，能耗高，收敛慢的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种反馈型人工神经网络训练方法，在人工神经网络反馈训练时，根据上节点的前馈信号和下节点的反馈信号调整连接该两节点间神经突触的权重，具体步骤如下:(I)人工神经网络各节点接收输入信号；(2)人工神经网络各节点根据输入信号和激励函数进行计算；(3)人工神经网络各节点将激励函数计算结果与节点兴奋阈值比较，当计算结果高于或等于节点兴奋阈值时，表明该节点产生神经兴奋，则节点输出兴奋前馈信号和兴奋反馈信号，反之，表明该节点不产生神经兴奋，处于静息状态，则节点输出静息前馈信号和静息反馈信号；(4)神经突触接收上节点的前馈信号和下节点的反馈信号；(5)当上节点输出兴奋前馈信号且下节点输出兴奋反馈信号时，表明该上节点与下节点关系紧密，则将突触权重调整到最大值，当上节点输出静息前馈信号且下节点输出兴奋反馈信号时，表明该上节点与下节点关系松散，则将突触权重调整到最小值。为实现上述目的，按照本专利技术的另一个方面，提供了一种反馈型人工神经网络，包括至少两层节点，上一层节点的输出端与下一层节点的输入端通过神经突触相连，前馈阶段，所述反馈型人工神经网络输出计算结果，反馈阶段，所述反馈型人工神经网络调整神经突触权重，其特征在于，人工神经网络的各节点包括:计算模块、前馈模块和反馈模块，其中:计算模块，其输入端连接本节点输入端，输出端连接前馈模块输入端和反馈模块输入端，用于接收节点输入信号，根据激励函数对输入信号进行计算，并将计算结果与节点阈值电压比较，当计算结果高于或等于阈值电压时，则输出一个激励脉冲信号，否则输出零电压；前馈模块，其输入端连接计算模块输出端，输出端连接本节点输出端，受全局时钟信号控制，全局时钟信号表明处于前馈阶段，将计算模块输出信号输出到本节点输出端，全局时钟信号表明处于反馈阶段，当接收到计算模块激励脉冲信号时，产生前馈脉冲信号并输出到本节点输出端，否则输出零电压到本节点输出端；反馈模块，其输入端连接计算模块输出端，输出端连接本节点输入端，受全局时钟信号控制，全局时钟信号表明处于前馈阶段，输出零电压到本节点输入端，全局时钟信号表明处于反馈阶段，当接收到计算模块激励脉冲时，产生反馈脉冲信号并输出到本节点输入端，否则输出零电压到本节点输入端；神经突触，其两端分别连接上节点输出端和下节点输入端，在前馈阶段，神经突触以当前权重将上节点输出端的信号传送给下节点输入端；在反馈阶段，神经突触根据上节点输出端前馈信号和下节点输入端反馈信号自动调整突触权重，其过程为:当上节点输出端信号为前馈脉冲且下节点输入端信号为反馈脉冲时，突触权重调整到最大值，当上节点输出端信号为零电压而下节点输入端信号为反馈脉冲信号时，突触权重调整到最小值。优选地，所述反馈型人工神经网络，其神经突触采用忆阻器，忆阻器的正向端与上节点输出端相连，忆阻器的反向端与下节点输入端相连。优选地，所述反馈型人工神经网络，其全局时钟信号以输入脉冲周期为帧，一帧分为两个时隙，第一个时隙为前馈时隙，所述反馈型人工神经网络处于前馈阶段，第二个时隙为反馈时隙，所述反馈型人工神经网络处于反馈阶段。优选地，所述反馈型人工神经网络，其节点阈值电压低于神经突触忆阻器正向阈值电压。优选地，所述反馈型人工神经网络，其节点阈值电压为神经本文档来自技高网...

【技术保护点】
一种反馈型人工神经网络训练方法，其特征在于，在人工神经网络反馈训练阶段，根据上节点的前馈信号和下节点的反馈信号调整连接该两节点的神经突触权重，具体步骤如下：（1）人工神经网络各节点接收输入信号；（2）人工神经网络各节点根据激励函数对输入信号进行计算；（3）人工神经网络各节点将激励函数计算结果与节点兴奋阈值比较，当计算结果高于或等于节点兴奋阈值时，表明该节点产生神经兴奋，则节点输出兴奋前馈信号和兴奋反馈信号，反之，表明该节点处于静息状态，则节点输出静息前馈信号和静息反馈信号；（4）神经突触接收其上节点的前馈信号和其下节点的反馈信号；（5）当神经突触同时接收到来自上节点的兴奋前馈信号和来自下节点的兴奋反馈信号，表明该上节点与下节点关系紧密，则将突触权重调整到最大值，当神经突触同时接收到来自上节点的静息前馈信号和来自下节点的兴奋反馈信号，表明该上节点与下节点关系松散，则将突触权重调整到最小值。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈进才，张涵，周西，周功业，卢萍，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：