一种脉冲神经网络的多层训练算法制造技术

一种脉冲神经网络的多层训练算法，利用逐层训练的方式，允许层内连接，并将权值训练和结构训练相结合，锐化数据之间的关联性，具体包括：1)数据预处理：将输入数据通过转换函数转化为脉冲序列；2)网络层初始化：设置脉冲神经网络层数、每层神经元数量和层内神经元分布状态；3)层间结构预训练：在初始网络中，网络层间不设置连接，层间连接采用逐层递推的方式生成；4)层间权值归一化：通过对层间权值的归一化操作消除数据差异带来的影响；5)进行层内结构训练：利用神经网络的结构训练算法，进行网络层内的结构训练；6)进行网络权值因果性训练。本发明专利技术算法训练的网络具备自组织、自生长能力，算法规则简单，计算量小，对模型精度要求低，易于仿真。

A Multilayer Training Algorithms for Impulsive Neural Networks

A multi-layer training algorithm for impulsive neural networks is presented. It allows intra-layer connection by layer-by-layer training, and combines weight training with structure training to sharpen the correlation between data. It includes: 1) data preprocessing: transforming input data into pulse sequence through conversion function; 2) network layer initialization: setting the number of layers of impulsive neural networks, the number of neurons in each layer and the number of impulsive sequences. Distribution of intra-layer neurons; 3) Inter-layer structure pre-training: in the initial network, there is no connection between layers, and the connection between layers is generated by recursive method; 4) Inter-layer weight normalization: eliminating the influence of data differences by normalizing the operation of inter-layer weights; 5) Intra-layer structure training: using the structure training algorithm of neural network to carry out intra-layer structure training. Structural training; 6) Causality training of network weights. The network trained by the algorithm of the invention has the ability of self-organization and self-growth, the algorithm is simple, the calculation amount is small, the precision of the model is low, and the simulation is easy.

【技术实现步骤摘要】
一种脉冲神经网络的多层训练算法
本专利技术属于人工智能
，特别涉及一种脉冲神经网络的多层训练算法。
技术介绍
人工神经网络起源于对生物神经网络的模拟，仿生性既是人工神经网络的重要特征之一，也是它智能性的推动力。而脉冲神经是目前生物解释性最强的人工神经网络，相比于前向传播网络和深度学习网络等主流神经网络具有更强的仿生性，因此，脉冲神经网络的研究对类脑智能有着重要意义。脉冲神经网络中的数据以脉冲编码的方式表示，这导致了它与反向传播算法的不兼容。有效训练算法是人工神经网络最基础和最重要的问题，但脉冲神经网络在这方面的研究还处在相对空白阶段。合理有效的训练算法不仅是脉冲神经网络的关键性技术难题，也是推动脉冲神经网络研究的重要技术环节。综上所述，设计一种有效的脉冲神经网络训练算法有利于推动脉冲神经网络的研究与应用，对人工智能行业有着重要意义。
技术实现思路
本专利技术解决的技术问题是：克服了当前脉冲神经网络多层训练难以收敛的问题，从权值和结构两个方面设置训练算法，从而提供了一种针对于多层神经网络且具备自组织、自生长能力的训练算法。为了实现上述目的，本专利技术采用的技术方案是：一种脉冲神经网络本文档来自技高网...

【技术保护点】
1.一种脉冲神经网络的多层训练算法，其特征在于，利用逐层训练的方式，允许层内连接，并将权值训练和结构训练相结合，锐化数据之间的关联性，具体训练包括以下步骤：1)数据预处理：将输入数据通过转换函数，根据算法定义的脉冲编码规则转化为脉冲序列；2)网络层初始化：根据配置文件，设置脉冲神经网络层数、每层神经元数量和层内神经元分布状态；3)层间结构预训练：在初始网络中，网络层间不设置连接，层间连接采用逐层递推的方式生成；4)层间权值归一化：为避免数据差异对网络性能的影响，通过对层间权值的归一化操作消除数据差异带来的影响；5)进行层内结构训练：基于Hebb规则的核心思想，同时考虑神经元位置因素，利用神经网...

【技术特征摘要】
1.一种脉冲神经网络的多层训练算法，其特征在于，利用逐层训练的方式，允许层内连接，并将权值训练和结构训练相结合，锐化数据之间的关联性，具体训练包括以下步骤：1)数据预处理：将输入数据通过转换函数，根据算法定义的脉冲编码规则转化为脉冲序列；2)网络层初始化：根据配置文件，设置脉冲神经网络层数、每层神经元数量和层内神经元分布状态；3)层间结构预训练：在初始网络中，网络层间不设置连接，层间连接采用逐层递推的方式生成；4)层间权值归一化：为避免数据差异对网络性能的影响，通过对层间权值的归一化操作消除数据差异带来的影响；5)进行层内结构训练：基于Hebb规则的核心思想，同时考虑神经元位置因素，利用神经网络的结构训练算法，进行网络层内的结构训练；6)进行网络权值因果性训练：基于STDP规则，对网络权值进行因果性调整，弥补结构训练不足。2.根据权利要求1所述脉冲神经网络的多层训练算法，其特征在于，所述步骤1)中，通过转换函数，将输入数据转换为输入层神经元的脉冲发射时间，将一组输入数据转换出来的脉冲发射时间称为一组脉冲序列，为了保证每一组的脉冲发射时间分布在同一的区间内，定义如下归一化操作：其中，t为归一化之前的脉冲发射时间，f(t)为归一化之后的脉冲发射时间，min为这一组脉冲发射时间的最小值，max为这一组脉冲发射时间的最大值，T为归一化后脉冲发射时间的最大值，经过归一化操作之后，每一组脉冲发射时间将分布在[0,T]的区间内，为了表述方便，将输入数据最大理论值记为M，输入数据的值记为x；所述的转换函数为如下四种函数之一：a)线性函数linear:令t＝M–x，直接用M减去该输入数据的值，得到脉冲发送时间，那么输入数据的值越高，得到的脉冲发射时间越小，即脉冲发射时间越靠前，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；b)指数函数exponential:令t＝2-x，通过指数函数将输入数据的值经过放大，显著地区分不同的数据值，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；c)反函数inverse:令t＝M/x，当x＝M时，y为1最早发射时间，同样保证了重要的信息先发送，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；d)幂函数power:令t＝(M-x)2，通过幂函数将输入数值经过放大，凸显数据特征，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出。3.根据权利要求1所述脉冲神经网络的多层训练算法，其特征在于，所述步骤1)中，将输入数据转化为脉冲序列过程中，根据数据类型和应用需求添加特征提取操作。4.根据...

【专利技术属性】
技术研发人员：何虎，尚瑛杰，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11