低功耗紧凑型Relu激活函数神经元电路制造技术

本发明专利技术涉及一种低功耗紧凑型Relu激活函数神经元电路，包括第一层突触阵列、神经元晶体管、电阻和第二层突触阵列，神经元晶体管为具有阈值电压可调性能的MOS晶体管，神经元晶体管的栅极连接第一层突触阵列的各电压输出端，神经元晶体管的漏极连接第二层突触阵列的各电压输入端。这样，就可以通过调节晶体管阈值电压的大小，来满足对不同突触阵列输出值的判断运算以及输出。因该神经元电路只需要采用一个晶体管与第一层突触阵列和第二层突触阵列的配合连接，就可以实现Relu激活函数，这样在能效、延迟和占用面积方面实现显著的增益提高。高。高。

【技术实现步骤摘要】
低功耗紧凑型Relu激活函数神经元电路


[0001]本专利技术涉及CMOS电路领域，尤其涉及一种低功耗紧凑型Relu激活函数神经元电路。

技术介绍

[0002]人工神经网络是在受生物学的启发后创建的。由于生物大脑是由相互连接的多个神经元组成的极其复杂的网络，人们仿照生物神经网络的结构，使用简单运算单元模拟神经元，并将大量运算单元按某种形式密集连接，便构成了人工神经网络。
[0003]在人工神经网络的众多形式中，卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，其在众多人工神经网络形式中最贴近人脑神经元运行方式。卷积神经网络的基本结构由输入层、卷积层、激活层、池化层、全连接层及输出层构成。激活层负责对卷积层抽取的特征进行激活。由于卷积操作是由输入矩阵与卷积核矩阵进行相乘加的线性变化关系，需要激活层对其进行非线性映射，这样神经网络拟合出来的函数也就能适应复杂函数起伏。
[0004]在卷积神经网络中，通常采用Relu函数（即线性整流函数，英文全称Linear rectification function Relu）来充当激活函数。作为激活函数的Relu函数能够限制小于0的值为0，同时令大于或者等于0的值保存输出，计算速度很快，可以更好地解决较为复杂的问题，更加符合实际生物学对模拟神经网络的期望。其中，卷积神经网络的理念已经应用到CMOS电路中。
[0005]现有的CMOS电路通常采用4个晶体管做布局连接以实现Relu函数神经元单元，参见图1所示，4个晶体管分别是NM1、NM2、PM1和PM2，并且再由多个该神经元单元形成神经元电路。由于卷积神经网络由数百层组成，每层的输出要分别连接到具有加权和非线性激活函数的人工神经元上实现运算。但是，面对大数据时代产生的海量数据，基于多个上述Relu函数神经元单元而形成的Relu函数神经元电路需要频繁地访问存储器，不仅增大功耗，而且也会造成数据冗余以及较低的有效传输速率，限制神经网络加速芯片的发展。
[0006]为了降低现有Relu函数神经元电路的计算量和功耗，以满足集成电路向高密度集成及微型化的发展趋势，“存内计算”的概念被提出。存内计算就是直接在存储阵列内完成计算。在存储阵列需要执行“存内计算”时，主处理模块只需要给存储阵列发送输入数据，然后经过若干时钟周期后，存储阵列就会把计算好的结果返回给主处理模块。其中，在处理人工智能相关任务的时候，会把神经网络权重存储到上述的存储阵列中，主处理模块直接把神经网络的输入信息发送给存储阵列后，即可开始执行存内计算。但大多数基于非易失性存储器的存内计算仍然依赖于通用处理器来计算和传播每个层的激活函数，并且用于实现非线性激活功能的模拟互补金属氧化物半导体（CMOS）电路和具有可重构功能映射的模/数转换器（ADC）均需要大量加法器、乘法器以及数模转化器等，导致神经元电路规模庞大、体积巨大且功耗大幅度提高，难以适应低功耗紧凑型神经元电路的发展需要。

技术实现思路

[0007]本专利技术所要解决的技术问题是针对上述现有技术提供一种结构简单紧凑且功耗低的低功耗紧凑型Relu激活函数神经元电路。
[0008]本专利技术解决上述技术问题所采用的技术方案为：低功耗紧凑型Relu激活函数神经元电路，其特征在于，包括：第一层突触阵列，具有至少一个电压输出端；神经元晶体管，为具有阈值电压可调性能的MOS晶体管，该神经元晶体管具有栅极、源极和漏极，栅极连接第一层突触阵列的各电压输出端；其中，单个神经元晶体管作为一个神经元；第二层突触阵列，具有至少一个电压输入端，各电压输入端连接神经元晶体管的漏极；其中，第一层突触阵列的电压输出端的电压输出值标记为X，神经元晶体管的阈值电压标记为Vth，神经元晶体管的栅极电压标记为Vg，Vg=X；当电压输出值X小于阈值电压Vth时，MOS晶体管未导通，神经元未被激活，神经元的输出恒定为0；当电压输出值X大于或者等于阈值电压Vth时，MOS晶体管导通，神经元被激活，神经元的输出为X
‑
Vth。
[0009]可选择地，在所述低功耗紧凑型Relu激活函数神经元电路中，所述神经元晶体管为NMOS晶体管或者PMOS晶体管。
[0010]再改进，在所述低功耗紧凑型Relu激活函数神经元电路中，所述MOS晶体管的阈值电压可调性能通过铁电极化MOS晶体管栅极的铁电翻转或者改变沟道掺杂浓度或者掺杂处理沟道离子注入浓度或者调节栅氧化层厚度或者具有易失性阈值开关特性的栅极实现。
[0011]进一步地，在所述低功耗紧凑型Relu激活函数神经元电路中，所述神经元晶体管为铁电极化MOS晶体管。
[0012]进一步地，在所述低功耗紧凑型Relu激活函数神经元电路中，通过在制备MOS晶体管的漏极过程中调整漏极掺杂浓度而实现漏极的阻值调整。
[0013]更进一步地，在所述低功耗紧凑型Relu激活函数神经元电路中，所述铁电极化MOS晶体管采用如下方式制备得到：采用常规的CMOS晶体管制备前端工艺，在衬底上形成浅沟槽隔离区且由浅沟槽隔离区隔离出有源区；通过离子注入形成对应各有源区的阱；其中，NMOS阱为P阱，PMOS为N阱；通过光刻显影形成栅极图案，在衬底的上表面先沉积SiO2层，并在该SiO2层的上表面沉积铁电材料层，再在铁电材料层的上表面沉积多晶硅层；基于该栅极图案对多晶硅层、铁电材料层和SiO2层做刻蚀处理，形成栅极结构；对栅极结构进行侧墙隔离保护，并对栅极结构的两端进行离子掺杂以形成源漏两端，再采用常规的CMOS后端工艺制备得到MOS晶体管；其中，通过在制备漏极过程中调整掺杂浓度以调整漏极的阻值，制备得到的该MOS晶体管即为所述铁电极化MOS晶体管。
[0014]可选择地，在所述低功耗紧凑型Relu激活函数神经元电路中，所述铁电材料层为HfZrO层或者BTO层。
[0015]再改进，在所述低功耗紧凑型Relu激活函数神经元电路中，所述漏极的阻值标记为R；其中：R=(Vg
‑
Vth
‑
Vd)/[β
·
Vd(Vg
‑
Vth
‑
0.5Vd)]；β=(μ
·
W
·
C
ox
)/L；其中，Vg为所述神经元晶体管的栅极电压，Vth为所述神经元晶体管的阈值电压，Vd为所述神经元晶体管的漏源电压，μ为所述神经元晶体管的沟道内的载流子迁移率，W为所述神经元晶体管的沟道宽度，C
ox
为所述神经元晶体管的栅氧电容值，L为所述神经元晶体管的沟道长度。
[0016]再进一步地，在所述低功耗紧凑型Relu激活函数神经元电路中，所述阻值R=1/(β
·
Vd)，Vd=0.1V。
[0017]与现有技术相比，本专利技术的优点在于：首先，在该专利技术的低功耗紧凑型Relu激活函数神经元电路中，神经元晶体管采用具有阈值电压可调性能的MOS晶体管，并且令该神经元晶体管的栅极连接第一层突触阵列的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.低功耗紧凑型Relu激活函数神经元电路，其特征在于，包括：第一层突触阵列(1)，具有至少一个电压输出端(1a)；神经元晶体管(2)，为具有阈值电压可调性能的MOS晶体管，该神经元晶体管(2)具有栅极(g)、源极(s)和漏极(d)，栅极(g)连接第一层突触阵列(1)的各电压输出端(1a)；其中，单个神经元晶体管(2)作为一个神经元；第二层突触阵列(3)，具有至少一个电压输入端(3a)，各电压输入端(3a)连接神经元晶体管(2)的漏极(d)；其中，第一层突触阵列(1)的电压输出端(1a)的电压输出值标记为X，神经元晶体管(2)的阈值电压标记为Vth，神经元晶体管(2)的栅极电压标记为Vg，Vg=X；当电压输出值X小于阈值电压Vth时，MOS晶体管未导通，神经元未被激活，神经元的输出恒定为0；当电压输出值X大于或者等于阈值电压Vth时，MOS晶体管导通，神经元被激活，神经元的输出为X
‑
Vth。2.根据权利要求1所述的低功耗紧凑型Relu激活函数神经元电路，其特征在于，所述神经元晶体管(2)为NMOS晶体管或者PMOS晶体管。3.根据权利要求1所述的低功耗紧凑型Relu激活函数神经元电路，其特征在于，所述MOS晶体管的阈值电压可调性能通过铁电极化MOS晶体管栅极的铁电翻转或者改变沟道掺杂浓度或者掺杂处理沟道离子注入浓度或者调节栅氧化层厚度或者具有易失性阈值开关特性的栅极实现。4.根据权利要求3所述的低功耗紧凑型Relu激活函数神经元电路，其特征在于，所述神经元晶体管(2)为铁电极化MOS晶体管。5.根据权利要求4所述的低功耗紧凑型Relu激活函数神经元电路，其特征在于，所述铁电极化MOS晶体管采用如下方式制备得到：采用常规的CMOS晶体管制备前端工艺，在衬底上形成浅沟槽隔离区且由浅沟槽隔离区隔离出有源...

【专利技术属性】
技术研发人员：张亦舒，凡雪蒙，王字健，
申请(专利权)人：浙江大学杭州国际科创中心，
类型：发明
国别省市：