一种脉冲神经网络硬件电路制造技术

一种脉冲神经网络硬件电路包括电子突触模块、前神经元模块、后神经元模块、电源供给模块、微处理器。前神经元模块中各个前神经元按微处理器输入的一维时间序列依次产生进入电子突触模块的前脉冲。经过电子突触模块进入后神经元模块的前脉冲会被后神经元模块整合并不断促进低掺杂忆阻器电阻值的减小，直至后神经元产生尖峰和后脉冲。后脉冲会快速传播到电子突触模块与前脉冲进行整合，并基于时间依赖的突触可塑性学习规则对特定的电子突触的电阻值进行调节（即修改突触权值）；微处理器会记录最早产生尖峰的时间和后神经元的位序，并以此标记学习信息。在学习所有信息后，系统可依据训练结果中的位序与时间对不同信息进行分类处理。类处理。类处理。

【技术实现步骤摘要】
一种脉冲神经网络硬件电路


[0001]本专利技术属于脉冲神经网络（Spike Neural Network，简称SNN）硬件领域，具体涉及基于忆阻器的电子突触模块、可产生前脉冲的前神经元模块、具备细胞膜模电压积分功能和产生后脉冲功能的后神经元模块、电源配给模块、微处理器。

技术介绍

[0002]忆阻器是加州大学伯克利分校的菜少棠教授于1971年从理论角度预测，并于2008年被惠普公司科研人员证实存在的除电阻、电感、电容外的第四种基础电子元器件。忆阻器的特性主要表现在其电阻状态可以对流经的电荷有记忆功能，忆阻器可以制备电子突触并进一步用于搭建类人脑处理信息的方式的模拟计算机和人工神经网络。
[0003]忆阻器的阻变机理目前尚无统一理论，但基于氧空位（Oxygen vacancy，简称Ov）或例如铜（Cu）、银（Ag）等金属离子迁移的导电细丝理论（Conductive filament）是目前最广为接受与实用的一种机制。金属电极在电压的作用下失去电子被氧化为金属离子，并在电场作用下进入材料内部形成导电细丝进而降低材料的电阻，相反地，在负向电场作用下金属离子反向迁移，促进导电细丝的破裂让材料从低电阻状态（Low resistance state，简称LRS）返回到高电阻状态（High resistance state，简称HRS）。通过调节材料中的掺杂比例和施加的电压方式，忆阻器的电阻状态可以在HRS与LRS之间非线性的变化，并且可以表现出诸如时间依赖的突触可塑性与频率依赖的突触可塑性，这表明忆阻器有用于制备类生物神经系统中的突触功能的电子突触的巨大潜力。
[0004]数据保持特性（Retention特性）是忆阻器重要性能之一，它是表示忆阻器对于数据的保持能力，该性能与制备忆阻器时的离子（或缺陷）掺杂浓度有关；合适的掺杂浓度可以让忆阻器展现出较高的Retention特性，而较低的掺杂浓度的忆阻器在接受相同电脉冲刺激作用后，其电阻会快速地回复到HRS，进而展现出较差地Retention特性。
[0005]脉冲神经网络是下一代神经网络。相比于目前最常用的神经网络，SNN最大的特点就在于更加贴近生物系统，被认为是更接近生物大脑信息处理方式的一种神经网络。
[0006]基于电阻、电容和电感搭建大规模神经网路硬件电路有如下问题：单个突触与神经元所需元件数量较大；大量的元器件让功耗增加并降低集成度；利用忆阻器构建电子突触可以较大程度地减小这种限制、降低功耗。
[0007]大脑神经系统中存在尖峰时刻依赖的突触可塑性（Spiking
‑
Timing Dependent Plasticity，STDP）学习规则，简称STDP学习规则：当突触前脉冲刺激到达突触的时间早于（晚于）突触后脉冲刺激到达突触的时间，则会增强突触权重（减弱）。
[0008]首脉冲触发时间编码（Timing
‑
to
‑
first spiking coding，TTFS编码）是SNN中的一种信息编码方式；该编码方式将信息用神经元首次脉冲的潜伏时间表示，即刺激开始后神经元首次发放脉冲的时间；TTFS编码更适用于编码刺激轮廓分明（主要差异明显）地边缘特征。
[0009]泄露整合点火（LeakIntegrate
‑
and
‑
Fire）神经元模型长期以来在神经计算领域
得到了广泛的应用。LIF神经元的特点在于：受到外界刺激时，其细胞膜的膜电压会上升，当刺激撤去时，膜压会快速的下降会原先水平；只有密集的电刺激对LIF神经元刺激时，膜压则会不断上升，直至到达阈值电压、发放尖峰（Spike）并快速进入不应期。

技术实现思路

[0010]本专利技术的主要目的在于：提供一种基于忆阻器制备的电子突触的脉冲神经网络硬件电路及其学习机制。
[0011]本专利技术的技术方案是：待学习信息（例如图片）被TTFS编码为一维时间序列并被传给微处理器；前神经元模块中的各个前神经元在微处理器的控制下按照传入的一维时间序列以时间为轴线产生进入电子突触模块的前脉冲；前脉冲经过电子突触模块后会进入后神经元模块；经过电子突触模块的前脉冲被后神经元模块整合为电刺激序列并不断促进低掺杂忆阻器电阻值的降低，直至后神经元产生尖峰（Spike）和后脉冲。后脉冲会快速地传播到电子突触模块并与前脉冲基于STDP学习规则对电子突触模块中特定的忆阻器的电阻值进行调节（即是修改突触权值的操作）；微处理器会记录最早的Spike的产生时间和该后神经元位序，并以该训练结果（为序、时间）标记学习信息，即完成一次学习训练。在学习所有信息后，系统可依据训练结果中的位序与时间对不同信息进行分类处理。
[0012]如图1所示，本专利技术主要包括微处理器、前神经元模块、电子突触模块、后神经元模块和电源配给模块。
[0013]微处理器按一维时间序列将一个脉宽为d的方波信号输入到对应的前神经元的积分器中，该方波还会同步地进入单刀双掷模拟开关的控制口，以控制单刀双掷模拟开关地通道切换；由一个电阻和电容组成的积分器会在单刀双掷模拟开关的公共口输入一个正向的、脉宽略大于2倍d的类三角波（如图2），其中类三角波的上升沿（由电容充电产生）的脉宽严格等于d，右侧下降沿（由电容放电产生）的脉宽略大于d；当微处理的输入信号为方波的高电平时（脉宽d范围内），两个单刀双掷模拟开关会将线路切换为高通路（High）状态，此时反向放大器让类三角波的上升沿相位反转后再输入电压跟随器，当微处理的输入信号为方波的低电平时（脉宽d
‑
2d范围内），两个单刀双掷模拟开关会将线路切换为低通路（Low）状态，类三角波的下降沿会“跳过”反向放大器直接进入电压跟随器；电压跟随器的输出信号就是前神经元模块的输出信号。
[0014]图3所示，控制电压转换电路由两个Nmos管和2个上拉电阻构成。当微处理器发出的方波信号（例如STM32的高电平为3.3 V）无法直接驱动单刀双掷模拟开关2（需5V）或单刀四掷模拟开关8（需5V）时，该电路可将微处理器发出的方波信号同步地替换为可以驱动单刀双掷模拟开关或单刀四掷模拟开关的方波信号（5V）。若微处理器发出的方波信号可以直接驱动模拟开关，则该部分电路可以省略。
[0015]如图4所示，本专利技术可采用的忆阻器的结构为铜电极/锰离子掺杂的二氧化锡多晶薄膜/FTO导电玻璃衬底的三明治结构；其中作为顶部电极的阵列铜电极类似于生物突触的突触前膜，锰离子掺杂的二氧化锡多晶薄膜类似于生物突触的突触间隙，作为底部电极的氟掺杂的二氧化锡导电薄膜玻璃衬底（FTO导电玻璃）类似于生物突触的突触后膜；每一个前神经元所发出的前脉冲因铜电极与前神经元一一对应的关系而独自流经二氧化锡多晶薄膜，并在FTO导电薄膜处汇合后进入后神经元模块。
[0016]如图5所示，后神经元电路模块主要包括单刀四掷模拟开关（例如CD4052BE）、反向加法器、细胞膜压积分电路、电压比较器、“赢者通吃”竞争电路（WTA）和后脉冲发生器；单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脉冲神经网络硬件电路包括电子突触模块、前神经元模块、后神经元模块、电源供给模块、微处理器：前神经元模块按微处理器输入的一维时间序列依次产生进入电子突触模块的前脉冲；前脉冲经电子突触模块进入后神经元模块；离散的前脉冲被后神经元模块整合为电刺激序列并不断促进低掺杂忆阻器电阻值的降低，直至后神经元激活（产生尖峰）与后脉冲；后脉冲会快速传播到电子突触模块与前脉冲进行整合，并基于时间依赖的突触可塑性学习规则对特定的电子突触的电阻值进行调节（即修改突触权值）；微处理器会记录最早产生尖峰的时间和后神经元位序，并以此标记学习信息;在学习过所有的信息后，系统可依据训练结果中的位序与时间对不同信息进行分类处理。2.依据权利要求1所述的一种脉冲神经网络硬件电路的前神经元模块，其特点在于：前神经元模块的主要由积分器、反向放大器、电压跟随器、单刀双掷模拟开关构成；积分器将一个脉宽为d的方波转变为一个正向的、脉宽略大于2倍d的类三角波；反向放大器搭配2个单刀双掷模拟开关的通道切换，可将类三角波的上升沿转变为负向尖峰而下降沿则保持不变地输入电压跟随器；电压跟随器的输出脉冲就是前神经元模块输出的前脉冲；前脉冲是具有正尖峰（脉宽为d）、负尖峰（脉宽为略大于d）的电刺激脉冲。3.依据权利要求1所述的一种脉冲神经网络硬件电路的后神经元模块，其特点在于：后神经元模块主要由单刀四掷模拟开关、反向加法器、细胞膜压积分电路、电压比较器、赢者通吃竞争电路、后脉冲发生器构成；反向加法器将离散的前脉冲整合为电刺激脉冲序列；细胞膜压积分电路中的二极管过滤掉整合脉冲的负向尖峰而只保留正向尖峰；正向尖峰序列不断对细胞膜压积分电路中的低掺杂忆阻器进行刺激，让低掺杂忆阻器往低电阻状态不断调节，让细胞膜压积分电路中的定值电阻上的电压不断变高，直至该电压大于电压比较器的参考电压、后神经元产生尖峰（Spike）以及后脉冲；后神经元模块中有多个后神经元单元，最早产生Spike的后神经元在赢者通吃竞争电路中控制非最早产生Splike的其他后神经元中的Pmos管截止，进而实现“赢者通吃...

【专利技术属性】
技术研发人员：梁翔，
申请(专利权)人：梁翔，
类型：发明
国别省市：