一种神经网络中神经元随机失活的实现方法技术

本发明专利技术提出了一种神经网络中神经元随机失活的实现方法，属于半导体、人工智能和神经形态计算技术领域。本发明专利技术利用叠层器件的阈值电压可调特性，完成神经网络dropout功能，与传统CMOS实现dropout功能相比，面积消耗小，对未来新型神经网络加速芯片的研究有着重要意义。来新型神经网络加速芯片的研究有着重要意义。来新型神经网络加速芯片的研究有着重要意义。

【技术实现步骤摘要】
一种神经网络中神经元随机失活的实现方法


[0001]本专利技术属于半导体(semiconductor)、人工智能(artificial intelligence)和神经形态计算(neuromorphic computing)
，具体涉及到一种神经网络中神经元随机失活的实现方法。

技术介绍

[0002]随着信息技术的变革，人工智能正在引领新的一轮革命浪潮，从各个方面推动着社会的进步。以神经网络为代表深度学习虽然在图像识别、语音处理和自动驾驶等方面表现优异性能，但是神经网络计算中需要进行频繁的矩阵向量乘法运算，现有的冯诺依曼计算架构重计算单元和存储单元分离，导致数据交换存在“存储墙”的问题，使得计算系统的运行效率受到限制，从而降低了信息传输和存储的性能。另一方面智能化时代海量的数据要求神经元网络的深度和规模也越来越大，造成网络参数量激增，容易发生过拟合问题，使得网络模型泛化能力差。针对过拟合问题，研究人员提出dropout方法解决，但是这对神经元性能提出了新的需求，要求神经元在训练的过程中以一定的概率失活，需要引入额外的电路模块实现，这对实现高密度计算平台造成极大挑战。
[0003]基于新型神经形态器件实现存算一体的神经计算平台是未来发展方向。目前人工突触主要由多值缓变特性好的忆阻器、相变存储器等新型非易失器件实现。人工神经元主要由阈值转变器件和离子导电型器件实现，但是人工神经元很难实现选择性失活，这使得基于这类新型器件的神经元很难实现神经网络dropout算法，抑制了神经网络性能提升。基于易失层和非易失层的叠层器件可以实现神经元阈值电压的调控。神经元的阈值电压较高时，神经元处于失活状态，神经元的阈值电压较低时，神经元处于活跃状态。这种叠层神经元可以在激活态和失活切换，且功耗和性能较好，为基于新型器件实现神经网络dropout提供了新的解决办法。

技术实现思路

[0004]为了克服现有的冯
‑
诺依曼计算架构存算分离和基于传统CMOS器件实现神经网络dropout功能面积消耗大等问题，本专利技术提出了一种基于叠层器件加外围电路的神经网络中神经元随机失活的实现方法。
[0005]本专利技术的技术方案如下：
[0006]一种神经网络中神经元随机失活的实现方法，其特征在于，
[0007]1)构建神经网络存算阵列，所述神经网络存算阵列的每一列末端连接一运算放大器和神经元模块，所述运算放大器的正向输入端与阵列连接，其负向输入端钳位到零电平，运算放大器通过一个反馈电阻G与神经元模块连接，神经元模块包括叠层器件、电阻和电容，其中叠层器件和电容并联后与电阻串联，所述叠层器件由顶电极、易失层、非易失层和底电极叠加构成；
[0008]2)将信号转换为矩阵脉冲向量V
i
输入所述神经网络存算阵列，经过运算放大器得
到神经元模块的输入电压V
in
，输入电压V
in
给叠层器件的寄生电容充电，电容上的电压不断增大,当易失层上分得的电压超过其阈值开启电压V
th
，即神经元的阈值电压，易失层变为低阻，叠层器件处于低阻态，神经元模块发放脉冲信号“1”，当易失层上分得的电压低于其保持电压V
hold
，相当于神经元回到静息电位，易失层又重新变为高阻，叠层器件处于高阻态，叠层器件重新充电，开始积累过程，此后又伴随着发放过程，反复循环，实现周期振荡；
[0009]3)通过在叠层器件的正负电极施加不同极性的电压调控神经元阈值电压，当施加负电压时，非易失层的电导减小，神经元阈值电压增大，实现神经元失活Reset操作；当施加正电压时，非易失层的电导增大，神经元阈值电压减小，实现神经元激活Set操作，从而实现神经网络中神经元随机失活。
[0010]神经网络存算阵列可以采用忆阻器、相变存储器、铁电存储器、静态随机存储器、动态随机存取存储器等器件搭建。
[0011]所述叠层器件的易失层的材料采用VO
x
或NbO
x
，非易失层材料是TaO
x
或HfO
x
等与CMOS工艺兼容的材料，电极材料可以选用Pt或者TiN材料。一般情况下操作电压的幅值随着叠层器件的厚度而增加，为了能更好的结合电路使用，器件的操作电压不宜过大，所以器件不能太厚，通常情况下非易失层的厚度应小于10nm，易失层的厚度小于30nm，这样才能保证操作电压不超过正负3伏。
[0012]本专利技术的有益效果如下：
[0013]本专利技术基于叠层器件提出了一种实现神经网络dropout方法，利用叠层神经元能在激活和失活状态下切换，完成神经网络dropout功能，与传统CMOS实现dropout功能相比，面积消耗小，对未来新型神经网络加速芯片的研究有着重要意义。
附图说明
[0014]图1为本专利技术具体实施例中构建1T1R交叉阵列存算架构结构示意图；
[0015]图2为本专利技术具体实施例中神经元模块示意图，(a)为神经元模块结构，(b)为(a)中所示叠层器件的结构示意图；
[0016]图3为本专利技术具体实施例中叠层器件的振荡波形示意图；
[0017]图4为本专利技术脉冲发放频率随激励信号的大小示意图；
[0018]图5为本专利技术实现神经网络Set和Reset过程中的电流电压曲线变化示意图；
[0019]图6为本专利技术叠层器件进行直流电压扫描结果示意图，(a)表示幅值5V脉宽为200us脉冲激励时叠层人工神经元响应脉冲波形图，叠层神经元振荡(HfO2在低阻态)；(b).HfO2在低阻态时的I
‑
V曲线；(c)幅值5V脉宽为200us脉冲激励是叠层人工神经元脉冲响应波形图，叠层神经元无法振荡(HfO2在高阻态)；(d)HfO2处于高阻态时的I
‑
V曲线。
具体实施方式
[0020]下面结合附图，通过具体实施例，进一步清楚、完整地阐述本专利技术。
[0021]本专利技术具体实施例中选用忆阻器来构建神经网络存算阵列，忆阻器由于其面积小，功耗低，阻值模拟可调等优势备受关注，且忆阻器的连续电学缓变特征和非易失特性可以模拟生物神经元相互连接的突触权值存储和连续变化，在类脑神经形态芯片的应用中有着巨大潜力。构建1T1R忆阻器神经网络存算阵列：如图1所示。忆阻器件串联在晶体管的漏
端构成存算单元，这避免了由于忆阻器的分压导致晶体管的阈值电压抬升。阵列中每一行称为位线(Bit line,BL)，与每列晶体管栅端连接的是字线(Word line,WL)，与每列晶体管源端连接的是源线(Source line,SL)。同时为了表示正负权重使用两行忆阻器表示一个权值w
ij
，总的权重阵列的位线接输入信号，字线接控制信号，乘累加得到的输出信号由源端输出用于后续处理，所述1T1R忆阻器阵列的每一列末端连接一运算放大器和神经元模块，所述运算放大器的正向输入端与阵列的源端连接，其负向输入端钳位到零电平，运算放本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络中神经元随机失活的实现方法，其特征在于，包括如下步骤：1)构建神经网络存算阵列，在所述神经网络存算阵列的每一列末端连接一运算放大器和神经元模块，所述运算放大器的正向输入端与阵列连接，其负向输入端钳位到零电平，运算放大器通过一个反馈电阻G与神经元模块连接，神经元模块包括叠层器件、电阻和电容，其中，叠层器件和电容并联后与电阻串联，所述叠层器件由顶电极、易失层、非易失层和底电极叠加构成；2)将信号转换为矩阵脉冲向量V
i
输入所述神经网络存算阵列，经过运算放大器得到神经元模块的输入电压Vin
j
，该输入电压给叠层器件的寄生电容充电，电容上的电压不断增大,当易失层上分得的电压超过其阈值开启电压V
th
，即神经元的阈值电压，易失层变为低阻，叠层器件处于低阻态，神经元模块发放脉冲信号“1”，当易失层上分得的电压低于其保持电压V
hold
，相当于神经元回到静息电位，易失层又重新变为高阻，叠层器件处于高阻态，叠层器件重新充电，开始积累过程，此后又伴随着发放过程，反复循环，实现周期振荡；3)通过在叠层器件的正负电极施加不同极性的电压调控神经元阈值电压，当施加负电压时，非易失层的电导减小，神经元阈值电压增大，实现神经元失活操作；当施加正电压时，非易失层的电导增大，神经元阈值电压减小，实现神经元激活操作，从而实现神经网络中神经元随机失活。2.如权利要求1所述的神经网络中神经元随机失活的实现方法，其特征在于，步骤1)中构建1T1R忆阻器神经网络存算阵列，该阵列中每个存算单元由一忆阻器件串联在一晶体管的漏端构成，阵列中每一行称为位线，与每列晶体管栅端连接的是字线，与每列晶体管源端连接的是源线，使用两行忆阻...

【专利技术属性】
技术研发人员：王宗巍，单林波，秦雅博，凌尧天，蔡一茂，黄如，
申请(专利权)人：北京大学，
类型：发明
国别省市：