一种短时突触可塑性工作记忆计算系统及方法技术方案

本发明专利技术涉及机器学习和生物神经学领域，尤其涉及一种短时突触可塑性工作记忆计算系统及方法,基于消息传递网络的短时突触可塑性工作记忆计算系统包括傅里叶变换层、消息传递网络和输出层，首先通过傅里叶变换得到神经元刺激信号频谱图，依据该频谱图的邻接矩阵来构造两个消息传递网络，并通过这两个消息传递网络模拟短时抑制和短时增强效应，对图节点隐藏状态进行传递和更新，从而实现短时突触可塑性的模拟计算，最后通过输出层的平均池化、全连接层拟合和非线性函数激活三个计算步骤，模拟生物神经元的工作记忆发放特性。物神经元的工作记忆发放特性。物神经元的工作记忆发放特性。

【技术实现步骤摘要】
一种短时突触可塑性工作记忆计算系统及方法


[0001]本专利技术涉及机器学习和生物神经学领域，尤其涉及一种短时突触可塑性工作记忆计算系统及方法。

技术介绍

[0002]近年来随着非欧空间数据在深度学习和神经网络当中的广泛使用，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了专门用于处理图数据的图神经网络。最早的图神经网络是由Franco等人于2009年提出的，该方法基于不动点理论，通过压缩映射不断的更新图节点隐藏状态，最终实现图信息的学习。后来为了在图神经网络中利用卷积操作，2013年Bruna等人基于图谱理论从卷积定理出发，通过将图数据进行傅里叶变换从而实现图卷积操作，提出了基于谱方法的图卷积神经网络。由于谱方法具有时空复杂度较高的弊端，2016年出现的ChebNet和GCN对谱方法中的卷积核进行参数化，大大降低了时空复杂度。此后图神经网络得到了不断的发展。
[0003]随着图数据的不断加大和基于谱方法的图卷积操作复杂性的不断提升，研究人员开始从另一个方向思考图卷积神经网络的设计方式，因此Justin Gilmer于2017年提出了基于空域(Spatial
‑
domain)卷积的消息传递网络(MPNN)。从设计理念上看，空域卷积与深度学习中的卷积的应用方式类似，其核心在于聚合邻居结点的信息。比如说，一种最简单的无参卷积方式可以是：将所有直连邻居结点的隐藏状态加和，来更新当前结点的隐藏状态。消息传递网络(MPNN)是一种空域卷积模型。严格意义上讲，消息传递网络不是一种具体的模型，而是一种空域卷积的形式化框架。它将空域卷积分解为两个过程：消息传递与状态更新。每一个卷积层通过聚合每一个图节点本身的信息及其邻居的传递过来的特征进行状态的更新，随后又将更新过后的状态向下一层传递，最终实现图信息的捕获和学习。
[0004]工作记忆(working memory)是一种能够将目标相关信息暂时保存并用于操作即将发生动作的能力，是生物进行学习、推理等高级认知活动的基础。前额叶皮层(PFC)是与工作记忆最密切相关的大脑区域。与工作记忆相关的神经活动是由于在前额叶皮质(prefrontal cortex)中的神经元集群的选择性同步发放活动引起的。当神经元受到特定的刺激时,神经元会产生持续性的增强发放活动。这种持续性发放活动不仅依赖于持续的神经元刺激而得以保存，而且在一段没有刺激的延迟期内依旧保存在工作记忆中,并用于后续的操作以指导后来的刺激。这种现象源于神经元的短时突触可塑性。当一系列的刺激作用在突触前神经元,会使突触连接效率发生改变,从而导致突触后膜电位(EPSP)幅度的增加或减少,这种现象称为神经元的突触可塑性,突触可塑性是工作记忆的基础。突触可塑性(synapse plasticity)分为短时突触可塑性(short
‑
term synaptic plasticity)和长时突触可塑性(long
‑
term synaptic plasticity)。在神经元接收到外部刺激后，短时突触可塑性会显著地改变突触的模式选择性和它们之间的信息传递，通过对信息的短时抑制和短时增强处理，因此能够隐式地保存信息并用于后续的操作，从而实现工作记忆中对信息的短暂存储和操作。
[0005]为了探究短时突触可塑性的工作机理，获取生物神经元数据，人们目前只能使用CMOS纳米电极和MEMS探针等技术获取生物神经元数据，并不能够通过软件算法仿真的形式模拟神经元的短时突触可塑性，如何模拟神经元的短时突触可塑性是当前亟需解决的难题。

技术实现思路

[0006]针对上述存在的问题或不足，为了解决短时突触可塑性难以通过软件算法模拟的问题，本专利技术提供了一种短时突触可塑性工作记忆计算系统及方法。
[0007]一种基于消息传递网络的短时突触可塑性工作记忆计算系统，包括：
[0008]傅里叶变换层，用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；神经元刺激信号序列属于时域信息，无法直接被消息传递网络处理计算，因此该傅里叶变换层接收神经元刺激信号序列，然后通过傅里叶变换将此时域信息转换为频域的频谱图数据；傅里叶变换层计算得到的数据直接输入后续消息传递网络进行短时突触可塑性的模拟计算，此外该图数据还用于消息传递网络的构造。
[0009]消息传递网络，用于模拟工作记忆的短时突触可塑性特征，包括由刺激信号频谱图构造的短时增强型消息传递网络和短时抑制型消息传递网络，网络中层与层之间神经元的连接关系由刺激信号频谱图的邻接矩阵确定，；短时增强型消息传递网络和短时抑制型消息传递网络分别模拟短时突触可塑性的短时增强与短时抑制特征，经过消息传递网络计算得到的数据可以输入到输出层进行进一步计算处理。
[0010]输出层，用于接收消息传递网络的计算结果，实现工作记忆发放特性的输出，包括池化层、全连接层和激活函数层，所述池化层对消息传递网络的计算结果进行平均池化计算，整合神经元刺激的短时增强处理结果和短时抑制处理结果；所述全连接层接收平均池化处理之后的计算结果，通过最小二乘法进行拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响；所述激活函数层，使用激活函数对全连接层的输出进行非线性激活处理，模拟计算出生物神经元的工作记忆发放特性。
[0011]进一步地，傅里叶变换层用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图，刺激信号频谱图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。
[0012]进一步地，短时增强型图神经网络的权重值为刺激信号频谱图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为刺激信号频谱图节点值的倒数，用于完成信息传递的减弱抑制处理。
[0013]进一步地，消息传递网络的网络层数为32至128层。层数设为32至128层，避免层数过大造成过拟合。
[0014]进一步地，激活函数层使用ReLU函数对全连接层的输出进行非线性激活处理，模拟计算出生物神经元的工作记忆发放特性。
[0015]一种基于消息传递网络的短时突触可塑性工作记忆计算方法，其特征在于，包括以下步骤：
[0016]步骤1：将神经元刺激信号时间序列输入傅里叶变换层，通过傅里叶变换计算得到
刺激信号频谱图；
[0017]步骤2：计算步骤1中得到的图数据的邻接矩阵，并依据此邻接矩阵分别构造短时增强型消息传递网络和短时抑制型消息传递网络；
[0018]步骤3：初始化消息传递网络权重和全连接层权重；
[0019]步骤4：将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，模拟短时突触可塑性的兴奋和抑制表达，最后将表达的结果传输至后续的输出层部分；
...

【技术保护点】

【技术特征摘要】
1.一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，包括：傅里叶变换层，用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；消息传递网络，用于模拟工作记忆的短时突触可塑性特征，包括由刺激信号频谱图构造的短时增强型消息传递网络和短时抑制型消息传递网络；输出层，用于接收消息传递网络的计算结果，实现工作记忆发放特性的输出。2.根据权利要求1所述的一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，傅里叶变换层用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；刺激信号频谱图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。3.根据权利要求2所述的一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，短时增强型图神经网络的权重值为刺激信号频谱图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为刺激信号频谱图节点值的倒数，用于完成信息传递的减弱抑制处理。4.根据权利要求1所述的一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，消息传递网络的网络层数为32至128层。5.根据权利要求1所述的一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，输出层包括池化层、全连接层和激活函数层，所述池化层对消息传递网络的计算结果进行平均池化计算，整合神经元刺激的短时增强处理结果和短时抑制处理结果；所述全连接层接收平均池化处理之后的计算结果，通过最小二乘法进行拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响；所述激活函数层，使用激活函数对全连接层的输出进行非线性激活处理，模拟计算出生物神经元的工作记忆发放特性。6.根据权利要求1所述的一种基于消息传递网络的短时突触可...

【专利技术属性】
技术研发人员：武长春，余洋，程和，钟浩，
申请(专利权)人：成都市深思创芯科技有限公司，
类型：发明
国别省市：