具有深度时间划窗的神经元信息处理方法和系统技术方案

一种具有深度时间划窗的神经元信息处理方法和系统，所述方法包括：接收前端脉冲神经元输出信息，包括前端脉冲神经元输出的脉冲尖端信息（S100）；读取第一当前脉冲神经元信息，包括当前时间窗内脉冲尖端信息历史序列（S200）；根据所述前端脉冲神经元输出的脉冲尖端信息，和所述当前时间窗内脉冲尖端信息历史序列，获取当前时间窗内脉冲尖端信息更新序列（S300）；根据所述当前时间窗内脉冲尖端信息更新序列，确定第二当前脉冲神经元信息（S400）；根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息（S500）；输出所述当前脉冲神经元输出信息（S600）。本方法突破了仅具有前后时间步相互关联的限制，可以根据需要灵活设置缓存更大时间深度的历史活动信息，在时间域深度效应方面更加接近生物神经元。

Neuron information processing method and system with deep time window

【技术实现步骤摘要】
【国外来华专利技术】具有深度时间划窗的神经元信息处理方法和系统相关申请本申请要求2017年01月20日申请的，申请号为201710041894.2，名称为“具有深度时间划窗的神经元信息处理方法和系统”的中国专利申请的优先权，在此将其全文引入作为参考。
本专利技术涉及人工神经网络
，特别是涉及具有深度时间划窗的神经元信息处理方法和系统。
技术介绍
如今的人工神经网络研究绝大多数仍是在冯·诺依曼计算机软件并搭配高性能GPGPU(General Purpose Graphic Processing Units通用图形处理单元)平台中实现的，整个过程的硬件开销、能耗和信息处理速度都不容乐观。为此，近几年神经形态计算领域迅猛发展，即采用硬件电路直接构建神经网络从而模拟大脑的功能，试图实现大规模并行、低能耗、可支撑复杂模式学习的计算平台。然而，传统的脉冲神经元信息处理方法中，当前脉冲神经元的输出信息只能在下一个时间步影响到其后端连接的脉冲神经元，忽略了生物神经元间的时间域深度效应。
技术实现思路
基于此，有必要针对当前脉冲神经元的输出信息只能在下一个时间步影响到其后端连接的脉冲神经元，忽略了生物神经元间的时间域深度效应的问题，提供一种具有深度时间划窗的神经元信息处理方法和系统，其中，所述方法包括：接收前端脉冲神经元输出信息，所述前端脉冲神经元输出信息包括前端脉冲神经元输出的脉冲尖端信息；读取第一当前脉冲神经元信息，所述第一当前脉冲神经元信息包括当前时间窗内脉冲尖端信息历史序列；根据所述前端脉冲神经元输出的脉冲尖端信息，和所述当前时间窗内脉冲尖端信息历史序列，获取当前时间窗内脉冲尖端信息更新序列根据所述当前时间窗内脉冲尖端信息更新序列，确定第二当前脉冲神经元信息；根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息；输出所述当前脉冲神经元输出信息。在其中一个实施例中，所述当前时间窗内脉冲尖端信息历史序列，包括：按时间步顺序存储的，当前时间步前的N个时间步接收的各前端脉冲神经元输出信息组成的序列，其中，所述当前时间窗内脉冲尖端信息历史序列中的第一个时间步的脉冲尖端信息，为当前时间步前的第一个时间步接收的前端脉冲神经元输出信息，所述当前时间窗内脉冲尖端信息历史序列中的第N个时间步的脉冲尖端信息，为当前时间步前的第N个时间步接收的前端脉冲神经元输出信息，其中N为自然数；则所述根据所述前端脉冲神经元输出信息，和所述当前时间窗内脉冲尖端信息历史序列，获取当前时间窗内脉冲尖端信息更新序列，包括：将所述当前时间窗内脉冲尖端信息历史序列中的第N个时间步的脉冲尖端信息删除，将第一个时间步至第N-1个时间步的脉冲尖端信息，顺序变更为第二个时间步至第N个时间步的脉冲尖端信息；将当前时间步接收的所述前端脉冲神经元输出信息，设置为所述当前时间窗内脉冲尖端信息历史序列中第一个时间步的脉冲尖端信息；将更新后的第一个时间步至第N个时间步的脉冲尖端信息，组成当前时间窗内脉冲尖端信息更新序列。在其中一个实施例中，所述前端脉冲神经元输出信息，还包括：前端神经元与当前神经元的连接权重索引；所述当前脉冲神经元信息，还包括：当前时间窗宽度、历史膜电位信息和膜电位泄漏信息；所述根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息，包括：根据所述前端神经元与当前神经元的连接权重索引，读取前端神经元与当前神经元的连接权重；根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列，通过衰减函数计算前端脉冲神经元输入信息；根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄漏信息，通过脉冲神经元计算模型，计算当前脉冲神经元输出信息。在其中一个实施例中，在所述根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息的步骤之后在，在所述输出所述当前脉冲神经元输出信息的步骤之前，所述方法还包括：获取阈值电位；将所述当前脉冲神经元输出信息和所述阈值电位进行比较，根据比较结果确定发放触发标志信息，所述发放触发标志信息包括：发放触发或发放不触发；当所述发放触发标志信息为发放触发时，复位不应期计时器，并更新所述历史膜电位信息为预设的复位膜电位信息。在其中一个实施例中，还包括：当所述发放触发标志信息为发放不触发时，读取不应期宽度和不应期计时器的当前时间步；根据所述不应期宽度和所述不应期计时器的当前时间步，判断当前时间是否在不应期内，若当前时间在所述不应期内，将所述不应期计时器累加计时一个时间步，不更新所述历史膜电位信息；若当前时间不在应期内，将所述不应期计时器累加计时一个时间步，并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。在其中一个实施例中，所述获取阈值电位，包括：读取随机阈值掩模电位、阈值偏置和随机阈值；将所述随机阈值和所述随机阈值掩模电位进行按位与操作，获取阈值随机叠加量；根据所述阈值随机叠加量和所述阈值偏置，确定所述阈值电位。在其中一个实施例中，所述输出所述当前脉冲神经元输出信息，包括：读取发放使能标识，所述发放使能标识包括允许发放数据或不允许发放数据；当所述发放使能标识为允许发放数据时，读取所述发放触发标志信息，当所述发放触发标志信息为发放触发时；输出所述当前脉冲神经元输出信息。本专利技术所提供的具有深度时间划窗的神经元信息处理方法，根据前端脉冲神经元输出信息，和当前时间窗内脉冲尖端信息历史序列，获取当前时间窗内脉冲尖端信息更新序列，用于当前脉冲神经元的输出信息的计算，使得当前脉冲神经元的输出信息与当前时间窗内脉冲尖端信息历史序列，以及当前时间步接收到的前端脉冲神经元输出信息均相关。突破了仅具有前后时间步相互关联的限制，可以根据需要灵活设置缓存更大时间深度的历史活动信息，在时间域深度效应方面更加接近生物神经元。在其中一个实施例中，根据时间步顺序存储前N个时间步接收到的各前端脉冲神经元输出信息，在接收到当前时间步的前端脉冲神经元输出信息后，将历史序列中的信息顺序向后移动一位，将当前时间步接收到的脉冲信息填入第一位，获取更新后的脉冲尖端信息序列用于当前脉冲神经元输出信息的计算。根据时间进行滑动，将历史脉冲尖端信息和当前时间步的脉冲尖端信息相结合，使得接收到的前端脉冲神经元的输出信息，可以根据需求灵活设置所需要的时间深度，且根据时间顺序进行滑动的方法，更加符合生物神经元时间深度效应。在其中一个实施例中，通过读取随机阈值掩模电位和阈值偏置，并接收配置寄存器给出的配置值，确定所述阈值电位，使得神经元发放脉冲尖端信息具有一定概率的随机性。在其中一个实施例中，通过设置发放使能标识和发放触发标志，确定当前脉冲神经元输本文档来自技高网...

【技术保护点】
一种具有深度时间划窗的神经元信息处理方法，其特征在于，所述方法包括：/n接收前端脉冲神经元输出信息，所述前端脉冲神经元输出信息包括前端脉冲神经元输出的脉冲尖端信息；/n读取第一当前脉冲神经元信息，所述第一当前脉冲神经元信息包括当前时间窗内脉冲尖端信息历史序列；/n根据所述前端脉冲神经元输出的脉冲尖端信息，和所述当前时间窗内脉冲尖端信息历史序列，获取当前时间窗内脉冲尖端信息更新序列；/n根据所述当前时间窗内脉冲尖端信息更新序列，确定第二当前脉冲神经元信息；/n根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息；/n输出所述当前脉冲神经元输出信息。/n

【技术特征摘要】
【国外来华专利技术】20170120 CN 2017100418942一种具有深度时间划窗的神经元信息处理方法，其特征在于，所述方法包括：
接收前端脉冲神经元输出信息，所述前端脉冲神经元输出信息包括前端脉冲神经元输出的脉冲尖端信息；
读取第一当前脉冲神经元信息，所述第一当前脉冲神经元信息包括当前时间窗内脉冲尖端信息历史序列；
根据所述前端脉冲神经元输出的脉冲尖端信息，和所述当前时间窗内脉冲尖端信息历史序列，获取当前时间窗内脉冲尖端信息更新序列；
根据所述当前时间窗内脉冲尖端信息更新序列，确定第二当前脉冲神经元信息；
根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息；
输出所述当前脉冲神经元输出信息。


根据权利要求1所述的具有深度时间划窗的神经元信息处理方法，其特征在于：
所述当前时间窗内脉冲尖端信息历史序列，包括：按时间步顺序存储的，当前时间步前的N个时间步接收的各前端脉冲神经元输出信息组成的序列，其中，所述当前时间窗内脉冲尖端信息历史序列中的第一个时间步的脉冲尖端信息，为当前时间步前的第一个时间步接收的前端脉冲神经元输出信息，所述当前时间窗内脉冲尖端信息历史序列中的第N个时间步的脉冲尖端信息，为当前时间步前的第N个时间步接收的前端脉冲神经元输出信息，其中N为自然数；
则所述根据所述前端脉冲神经元输出信息，和所述当前时间窗内脉冲尖端信息历史序列，获取当前时间窗内脉冲尖端信息更新序列，包括：
将所述当前时间窗内脉冲尖端信息历史序列中的第N个时间步的脉冲尖端信息删除，将第一个时间步至第N-1个时间步的脉冲尖端信息，顺序变更为第二个时间步至第N个时间步的脉冲尖端信息；
将当前时间步接收的所述前端脉冲神经元输出信息，设置为所述当前时间窗内脉冲尖端信息历史序列中第一个时间步的脉冲尖端信息；
将更新后的第一个时间步至第N个时间步的脉冲尖端信息，组成当前时间窗内脉冲尖端信息更新序列。


根据权利要求2所述的具有深度时间划窗的神经元信息处理方法，其特征在于：
所述前端脉冲神经元输出信息，还包括：前端神经元与当前神经元的连接权重索引；
所述当前脉冲神经元信息，还包括：当前时间窗宽度、历史膜电位信息和膜电位泄漏信息；
所述根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息，包括：

根据所述前端神经元与当前神经元的连接权重索引，读取前端神经元与当前神经元的连接权重；
根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列，通过衰减函数计算前端脉冲神经元输入信息；
根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄漏信息，通过脉冲神经元计算模型，计算当前脉冲神经元输出信息。


根据权利要求1所述的具有深度时间划窗的神经元信息处理方法，其特征在于，在所述根据所述前端脉冲神经元信息和所述第二当前脉冲神经元信息，计算当前脉冲神经元输出信息的步骤之后在，在所述输出所述当前脉冲神经元输出信息的步骤之前，所述方法还包括：
获取阈值电位；
将所述当前脉冲神经元输出信息和所述阈值电位进行比较，根据比较结果确定发放触发标志信息，所述发放触发标志信息包括：发放触发或发放不触发；
当所述发放触发标志信息为发放触发时，复位不应期计时器，并更新所述历史膜电位信息为预设的复位膜电位信息。


根据权利要求4所述的具有深度时间划窗的神经元信息处理方法，其特征在于，还包括：
当所述发放触发标志信息为发放不触发时，读取不应期宽度和不应期计时器的当前时间步；
根据所述不应期宽度和所述不应期计时器的当前时间步，判断当前时间是否在不应期内，若当前时间在所述不应期内，将所述不应期计时器累加计时一个时间步，不更新所述历史膜电位信息；
若当前时间不在应期内，将所述不应期计时器累加计时一个时间步，并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。


根据权利要求4所述的具有深度时间划窗的神经元信息处理方法，其特征在于，所述获取阈值电位，包括：
读取随机阈值掩模电位、阈值偏置和随机阈值；
将所述随机阈值和所述随机阈值掩模电位进行按位与操作，获取阈值随机叠加量；
根据所述阈值随机叠加量和所述阈值偏置，确定所述阈值电位。


根据权利要求4所述的具有深度时间划窗的神经元信息处理方法，其特征在于，所述输出所述当前脉冲神经元输出信息，包括：
读取发放使能标识，所述发放使能标识包括允许发放数据或不允许发放数据；当所述发放使能标识为允许发放数据时，
读取所述发放触发标志信息，当所述发放触发标志信息为发放触发时；

输出所述当前脉冲神经元输出信息。


一种具有深度时间划窗的神经元信息处理系统，其特征在于，包括：
前端脉冲神经元输出信息接收模块，用于...

【专利技术属性】
技术研发人员：裴京，邓磊，施路平，吴臻志，李国齐，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11