System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 与基于模拟存储器的突触阵列一起工作的紧凑型CMOS脉冲神经元电路制造技术_技高网
当前位置: 首页 > 专利查询>香港大学专利>正文

与基于模拟存储器的突触阵列一起工作的紧凑型CMOS脉冲神经元电路制造技术

技术编号:41749862 阅读:25 留言:0更新日期:2024-06-21 21:34
一种全模拟脉冲神经网络电路包含:至少一个ReRAM交叉突触阵列,其并行地进行乘法累加运算;及脉冲响应模型(SRM)神经元电路,其运用互补型金属氧化物半导体(CMOS)技术来构建。所述神经元电路从所述ReRAM交叉突触阵列接收输出并直接处理来自所述ReRAM交叉突触阵列的输出电流以完成所述乘法累加运算且产生经过处理的电压脉冲序列。

【技术实现步骤摘要】

本专利技术涉及一种可充当人工神经形态网络(neuromorphicnetwork)的cmos模拟集成电路,且更具体地说,涉及与由模拟存储器阵列制成的人工突触网络直接连接的此cmos电路。


技术介绍

1、脉冲神经网络(snn)被提出以比传统人工神经网络(ann)更真实地复制在生物神经系统中观察到的时空信息处理。与以抽象数学模型的电平形式处理和传输信息的ann不同,snn以稀疏的脉冲序列处理和传输信息。这种方法与大脑神经系统的信息处理非常相似。因此,硬件实现的snn通常展现出比其ann对应物更高的能效,使得其特别地适于能量有限且需要时空推理的应用,例如自主车辆引导[1]、[2]和脑机接口[3]、[4]。大多数现有的snn都是在数字硬件(例如cpu、gpu或fpga)上进行模拟的,然而数字表示的转换开销会导致高能耗。为了解决此问题,自卡弗·米德(carver mead)于1990年[11]首次提出神经形态系统这一概念以来,已经提出且展示了被称为神经形态系统的若干snn加速器[5]到[10]。神经形态系统天然地适于在模拟硬件中实现,这是因为其与生物神经系统的相似性,其特征在于异步运行以及利用器件物理学执行基本功能的能力,例如兴奋性及抑制性突触、脉冲积分、薄膜电位泄漏和抑制、阈值处理以及脉冲激发和传输。因此,神经形态系统比其数字和混合信号对应物运行得更快、更高效。

2、最近,许多新兴的存储器/器件和材料已被探索作为实现高能效的仿生神经形态系统的潜在候选项,例如reram或忆阻器[12]到[14]、相变材料[15]、高斯异质结晶体管[16]、铁电场效应晶体管[17]、绝缘体上硅金属氧化物半导体场效应晶体管[18]、[19]、忆阻晶体管(memtransistor)[20]、碳纳米管晶体管[21],和2d mos2晶体管[22]。这些设计旨在利用新兴存储器/器件所展现出的生物学上可信的物理特性,并采用生物启发的无监督局部突触学习规则进行训练,例如脉冲时序相关可塑性。然而,由于对生物神经系统的有限理解,这些自下而上构建的系统的准确率表现缺乏竞争力,从而限制其实际效用为实施基本任务,例如对由有限数目的像素构成的一小组字母进行分类。另外,基于新兴存储器的现有设计存在耐久性有限的问题,使得在现阶段实际实现变得具有挑战性。已经做出了各种努力,通过神经编码将ann转换为snn来构建系统[23]-[26],这使得snn能够达到与最先进的(sota)ann相似的准确度水平。然而,额外的编码会引入相当大的时延和能耗,从而削弱了snn的固有优势,并且容易出现转换近似错误。最近的另一个成功案例是应用反向传播[27]-[29](ann训练方法的基石)来直接训练snn。这是通过采用替代梯度来实现的,使此方法能够达到与sota ann模型相媲美的准确度水平。然而,由于时间动态的计算复杂性,在数字冯诺依曼硬件(von-neumann hardware)(例如cpu和gpu)上执行这些snn推理计算的效率相当低。尚未报告高效的硬件实施方案。

3、在名为“超低功率西格玛-德尔塔神经元电路(an ultra-low power sigma-deltaneuron circuit)”的文章https://www.researchgate.net/publication/331222752中,公开了使用mosfet并在亚阈值域中运行的神经元设计。然而,此现有技术神经元难以加速到纳秒或纳秒内的时间尺度,这是因为其将需要接近或小于集成电路的寄生电容值的电容器。

4、美国专利第6,242,988号还公开了一种神经元设计,其使用mosfet作为开关来抑制电容器上的电压,从而抑制激发脉冲。然而,此方法对脉冲宽度施加了最小限制,以避免每次激发后电路神经元的不完全重置。因此,此设计的操作速度被限制在秒级。

5、文章“通过浮体mosfet中的充电-放电动力学的泄漏积分和激发神经元(leakyintegrate and fire neuron by charge-discharge dynamics in floating-bodymosfet)”科学报告,7:8257,2017年公开了使用部分耗尽的绝缘体上硅mosfet中的浮体效应来实现脉冲神经元操作,即,积分、泄漏、激发和重置。然而,此方法需要使用外部控制电路在每次激发后重置神经元数十纳秒,这将其工作速度限制在微秒的时间尺度内。


技术实现思路

1、本专利技术为全模拟硬件snn,其可在n-mnist数据集[30]中以与sota ann算法相当的准确度实现时空推理,同时保持显著较低的时延和高能效。所述概念在物理reram阵列和物理模拟神经元电路上得到了验证。

2、在实施本专利技术时,公开了一种新的全模拟脉冲神经网络(snn)电路。此电路是通过软硬件协同设计方法来设计的,且由reram交叉突触阵列和专门设计的脉冲响应模型(srm)神经元电路组成,所述srm神经元电路运用互补型金属氧化物半导体(cmos)技术来构建。此snn硬件在n-mnist数据集上实现了97.78%的准确率,这与mnist数据集上的sota ann准确率相当,同时使用了类似数量的参数(22,360)和考虑到reram电导波动及模拟神经元电路的器件波动的实验校准模型。

3、同时,此snn硬件具有低时延和高能效的优势,其中脉冲间间隔为94.75ps且每脉冲能耗为1.16pj,这相比sota设计(约1ns[31]和约10pj[32])改进了一个数量级。此硬件使得能够在10ns内辨识每个n-mnist样本。相较于在mnist数据集上实现了84%[33]、91.2%[23]和83.24%[34]的准确度的其它snn实施方案,本专利技术的snn硬件实现了显著更高的准确度,同时每样本的推理时间要少100倍和1,000倍,而每样本的能耗相似。这是在更具挑战性的n-mnist数据集中实现的,其中每个样本大小比mnist数据集的样本大小大600多倍。此外,相较于gpu(nvidia geforce 3090),本专利技术的snn实施方案在对n-mnist样本进行分类时分别展现出低78,400倍和高3,700,000倍的时延和能效。

本文档来自技高网...

【技术保护点】

1.一种全模拟脉冲神经网络(SNN)电路,其特征在于,其包括:

2.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,所述SNN是根据自上而下的方法设计的。

3.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,所述SRM为平衡生物可信度和计算效率的脉冲神经元模型,其通过在来自突触的传入脉冲和来自神经元自身的输出脉冲上进行核积分来描述薄膜电位,其中适当的核选择使得所述SRM能够近似霍奇金-赫胥黎(Hodgkin-Huxley)模型,并显著提高能效和计算速度。

4.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,所训练的参数被映射到所述ReRAM突触阵列的电导,且SNN模型通过反向传播来训练。

5.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,其包括:

6.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,所述每个ReRAM交叉突触阵列具有多对行,所述多对行表示正参数和负参数,使得每两行之间的差能表示带符号的值。

7.根据权利要求6所述的全模拟脉冲神经网络电路,其特征在于p>

8.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于

9.根据权利要求6所述的全模拟脉冲神经网络电路,其特征在于

10.根据权利要求8所述的全模拟脉冲神经网络电路,其特征在于,在工作期间

11.根据权利要求8所述的全模拟脉冲神经网络电路,其特征在于,在工作期间

12.一种使用根据权利要求1所述的全模拟脉冲神经网络电路来实施推理的方法,其特征在于,所述方法包括以下步骤:

13.一种实施推理的方法,其特征在于,其包括以下步骤:

14.一种全模拟脉冲神经网络电路,其特征在于,其包括:

...

【技术特征摘要】

1.一种全模拟脉冲神经网络(snn)电路,其特征在于,其包括:

2.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,所述snn是根据自上而下的方法设计的。

3.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,所述srm为平衡生物可信度和计算效率的脉冲神经元模型,其通过在来自突触的传入脉冲和来自神经元自身的输出脉冲上进行核积分来描述薄膜电位,其中适当的核选择使得所述srm能够近似霍奇金-赫胥黎(hodgkin-huxley)模型,并显著提高能效和计算速度。

4.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,所训练的参数被映射到所述reram突触阵列的电导,且snn模型通过反向传播来训练。

5.根据权利要求1所述的全模拟脉冲神经网络电路,其特征在于,其包括:

6.根据权利要求1所述的全模拟脉...

【专利技术属性】
技术研发人员:李灿王竹王松苏国希
申请(专利权)人:香港大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1