可进化脉冲神经网络构建方法和装置制造方法及图纸

本发明专利技术公开了一种可进化脉冲神经网络构建方法和装置，其特征在于，所述方法包括初始化可进化脉冲神经网络；采用训练样本对可进化脉冲神经网络进行训练，计算样本在突触后电势时间区域中产生脉冲的对应时刻；基于所述脉冲产生时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。本发明专利技术通过三种进化策略的选择，可以避免网络权值的不必要更新，加快网络进化速度。

【技术实现步骤摘要】
可进化脉冲神经网络构建方法和装置
本专利技术属于脉冲神经网络构建领域，尤其涉及一种可进化脉冲神经网络构建方法和装置。
技术介绍
人工神经网络在自然科学领域应用很广的一个技术，迄今为止人工神经网络共经历了三代的发展。第一代人工神经网络基于McCulloch-Pitts神经元模型形成，输出为布尔逻辑变量；第二代人工神经网络使用连续函数作为激活函数，以适合系统的模拟输入/输出的实现。但是近年来的一些研究表明，在生物系统中频率编码的办法很多时候并不适用。研究者发现，大脑皮层中的神经元能够以令人难以置信的速度进行信息传递，频率编码的假设明显与皮层神经元的高速运算不符。另一方面，近些年的一些实验证据表明，视觉、听觉、体觉等许多生物神经系统都采用神经元发放的动作电位的时间来编码信息。针对这些问题，更加符合生物神经系统实际情况的第三代人工神经网络模型—脉冲神经网络模型应运而生。脉冲神经网络使用时间编码方式进行数据处理，直接利用单个神经元脉冲发放的时间信息作为模型的输入/输出，因而相对于第一、二代人工神经网络模型能更接近地描述实际生物神经系统，尤其在处理速度为重要因素的情形时，脉冲神经网络的能力优于前两代模型。近些年来，关于脉冲神经网络的研究也取得了一些进展。研究者证明了脉冲神经网络能够模拟任意的前向Sigmoid神经网络，从而可以实现任意连续函数的逼近。而研究已经表明传递神经元脉冲序列时域信息的脉冲神经网络的计算能力要强于一般使用Sigmoid为激励函数的神经网络模型。基于脉冲神经网络模型的结构形式迄今已有一定的研究成果，研究者提出了类似于Hopfield网络的全互连的脉冲神经网络结构，提出了利用神经脉冲输入密度实现文字识别的脉冲神经网络结构形式。当前脉冲神经网络的研究处于起步阶段，尚缺乏符合生物机理的学习算法，神经网络应该具有学习性和进化性，而该方面还没有有效的算法。
技术实现思路
为克服上述现有技术的不足，本专利技术提供了一种可进化的脉冲神经网络算法，在网络训练过程中实现了网络结构的可调整性和可进化性。训练后的脉冲神经网络可以用于特征分类。为实现上述目的，本专利技术采用如下技术方案：一种可进化脉冲神经网络构建方法，包括：步骤1：初始化可进化脉冲神经网络；步骤2：采用训练样本对可进化脉冲神经网络进行训练，计算样本在突触后电势时间区域中产生脉冲的对应时刻；步骤3：基于所述脉冲产生时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。进一步地，所述步骤1包括：根据输入训练样本确定输出类型数目；设置网络最大输出神经元数；初始化输入样本对应的接受域神经元数目及其参数。进一步地，所述添加输出神经元策略包括输出神经元，并计算所述神经元的连接权重。进一步地，所述权重参数更新策略包括不改变已有神经网络结构，仅进行权重参数更新。进一步地，所述步骤3具体包括：Step1：选取第一个输入脉冲序列训练样本数据；Step2：计算与样本所属类相同的脉冲产生时刻，并赋给tCC，计算与样本所属类不相同的脉冲产生时刻，并赋给tMC；Step3：根据所述训练样本数据对神经网络进行更新：如果已有网络没有输入样本所对应的类，或者样本所属类已存在，但是tCC>Tn(Tn＝Tid+0.8)，则采用添加输出神经元策略进化网络，其中，Tid为输入脉冲序列对应所属类的脉冲产生理想时刻；如果tCC<Td(Td＝Tid+0.25)，且(tMC-tCC)≥Tm(Tm＝0.3)，则采用取消输入脉冲序列训练策略进化网络；如果以上条件都不满足，且tCC>Td(Td＝Tid+0.25)，则采用权重参数更新策略更新与输入样本同类神经元的权值；如果则采用权重参数更新策略更新与输入样本不同类神经元的权值，式中是期望脉冲序列产生时刻；Step4：选取下一个训练样本数据，返回Step2，直至对所有训练样本执行上述过程，网络结构进化结束。进一步地，所述权重变化值为：其中，来自监督神经元，其关系式为：其中，wi突触连接权重；△wi表示权重变化值，Δv为突触后神经元的电势变化值，td为网络输出脉冲产生时刻，Γ＝[td-1,td]。根据本专利技术的第二目的，本专利技术还提供了一种可进化脉冲神经网络构建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的可进化脉冲神经网络构建方法。根据本专利技术的第三目的，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述程序时实现所述的可进化脉冲神经网络构建方法。本专利技术的有益效果1、现有脉冲神经网络结构是固定化的，而不是自调整和进化的，这与实际生物特征不符，为了体现脉冲神经网络的可调整性和可进化性，本专利技术通过设置不同进化策略，在网络训练过程中实现了网络结构的可调整性和可进化性；2、本专利技术加入的监督神经元可以比较输入脉冲序列产生的权值与已有网络的权值，进而决定权值的更新，这样可以避免网络中权值的过度训练；监督神经元位于输入层和输出层之间，为权值的更新提供了一个修正参数，该参数反映了已有网络具有的特性，是已有网络权值计算得到的，反映了已有网络的权值特性；3、本专利技术提出了三种网络进化策略，在网络进化过程中通过对三种网络进化策略的选择，可以避免网络权值的不必要更新，加快网络进化速度；4、本专利技术的可进化脉冲神经网络可应用于图像处理，语音识别和特征分类等领域。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本专利技术可进化脉冲神经网络模型的结构图。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。实施例一本实施例公开了一种可进化脉冲神经网络构建方法，包括：步骤1：初始化可进化脉冲神经网络；具体地，所述神经网络包括输入层、监督神经元和输出层；设置网络最大输出神经元数，根据输入训练样本确定输出类型数目；同时初始化可进化脉冲神经网络中的其它参数。如图1所示，结构分为输入层、监督神经元和输出层，脉冲神经网络输入为x＝{x1,...,xi,...,xm}，输出为Y＝{Y1,...,Yj,...,Yk}，监督神经元位于输入层和输出层之间，用于根据网络已有特征来更新网络权重。监督神经元为权值的更新提供了一个修正参数，该参数反映了已有网络具有的特性，如式(8)所示，它是已有网络权值计算得到的，反映了已有网络的权值特性)步骤2：采用训练样本对可进化脉冲神经网络进行训练，计算样本在突触后电势时间区域中产生脉冲的对应时刻；具体地，按照式(1)，将每个本文档来自技高网...

【技术保护点】
一种可进化脉冲神经网络构建方法，其特征在于，包括：步骤1：初始化可进化脉冲神经网络；步骤2：采用训练样本对可进化脉冲神经网络进行训练，计算样本在突触后电势时间区域中产生脉冲的对应时刻；步骤3：基于脉冲产生时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。

【技术特征摘要】
1.一种可进化脉冲神经网络构建方法，其特征在于，包括：步骤1：初始化可进化脉冲神经网络；步骤2：采用训练样本对可进化脉冲神经网络进行训练，计算样本在突触后电势时间区域中产生脉冲的对应时刻；步骤3：基于脉冲产生时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。2.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述步骤1包括：根据输入训练样本确定输出类型数目；设置网络最大输出神经元数；初始化输入样本对应的接受域神经元数目及其参数。3.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述添加输出神经元策略包括输出神经元，并计算所述神经元的连接权重。4.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述权重参数更新策略包括不改变已有神经网络结构，仅进行权重参数更新。5.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述步骤3具体包括：Step1：选取第一个输入脉冲序列训练样本数据；Step2：计算与样本所属类相同的脉冲产生时刻，并赋给tCC，计算与样本所属类不相同的脉冲产生时刻，并赋给tMC；Step3：根据所述训练样本数据对神经网络进行更新：如果已有网络没有输入样本所对应的类，或者样本所属类已存在，但是tCC>Tn(Tn＝Tid+0.8)，则采用添加输出神经元策略进化网络，其中，Tid为输入脉冲序列对应所属类的脉冲产生理想时刻；如果tCC<Td(Td＝Tid+0.25)，且(tMC-tCC)≥Tm(Tm＝0.3)，则采用取消输入脉冲序列训练策略进化网络；如果以上条件都不满足，且tCC>Td(Td＝Tid+0.25)，则采用权重参数更...

【专利技术属性】
技术研发人员：陆强，田娟，张兆臣，李文锋，
申请(专利权)人：泰山医学院，
类型：发明
国别省市：山东,37