利用制造技术

本发明专利技术属于神经网络技术领域

【技术实现步骤摘要】
利用MRAM实现基于随机计算的贝叶斯神经网络存算一体方法


[0001]本专利技术涉及神经网络
，具体涉及利用非易失性存储器
MRAM
搭建的存内计算架构，适用于随机计算域的贝叶斯神经网络的存算一体方法
。

技术介绍

[0002]如今人工智能等高运算处理环境需要处理的数据量越来越多，而存储器的数据搬运慢
、
搬运能耗大，缓存的大小和密度都很难提升，因此存储器和处理器之间的差距越来越大，导致算力不能充分发挥
。
传统冯诺依曼架构用的是
CMOS
技术，该架构下的“存储墙”问题不断凸显，限制了技术的发展
。
并且目前已经有不同的技术方案，来尝试解决“存储墙”的问题
。
包括
1)
继续优化存储器和处理器的性能；
2)
近存计算，使存储器和处理器距离更近，减少数据搬运的消耗；
3)
存内计算，利用器件的性质，让数据的存储和计算可以在原位同时进行，直接避免数据的搬运
。
[0003]当前新型的主要是用非易失性存储器来构建存内计算架构，常见的有
RRAM,PCM,FeFET and MRAM
等
。
这些目前都已有一些存内计算架构的成果
。
这些器件有各自的特性，适用于不同的应用场景
。
[0004]而对于贝叶斯神经网络来说，相较于传统深度神经网络具有更多的参数量，需要进行更多次的计算，因此贝叶斯神经网络的“存储墙”问题会更严重
。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供了一种利用
MRAM
实现基于随机计算的贝叶斯神经网络存算一体方法，基于贝叶斯神经网络的随机计算特征等需求
。
选择采用
MRAM
，以缓解传统冯诺依曼架构的“存储墙”问题并大幅降级整体功耗
。
[0006]为实现上述目的，本专利技术完整的技术方案包括：
[0007]一种利用
MRAM
实现基于随机计算的贝叶斯神经网络存算一体方法，所述方法适用于随机计算域的贝叶斯神经网络，利用非易失性存储器件
MRAM
设计存算一体架构，实现数据在原位的存储和计算；
[0008]所述存算一体架构包括等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列，所述等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列预存有贝叶斯神经网络的权重数据，
[0009]所述等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列利用三极管作为电路的开关信号，表示数据的输入，采用预充电感知放大器
(PCSA)
作为信号读取方式，得出计算结果
。
[0010]所述等效均值
μ
′
计算阵列的每一行均单独通过行字线
(RWL)
与行控制器连接，所述的行控制器包括与等效均值
μ
′
计算阵列的每一行单独连接的多个三极管，所述三极管作为电路的开关信号，完成输入数据
xj
的输入；
[0011]所述等效标准差
σ
′
计算阵列的每一行均单独通过行字线
(RWL)
与行控制器连接，所述的行控制器包括与等效标准差
σ
′
计算阵列的每一行单独连接的多个三极管，所述三极管作为电路的开关信号，完成输入数据
x
j
的输入；所述等效标准差
σ
′
计算阵列的每一列均
单独通过列字线
(CWL)
将实时高斯随机数发生器与列控制器连接，所述的列控制器包括与等效标准差
σ
′
计算阵列的每一行单独连接的多个三极管，所述三极管作为电路的开关信号，完成高斯随机数的输入
。
[0012]进一步的，所述等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列的每一列均单独连接有一个
PCSA
，采用
PCSA
作为信号读取器件，得出计算结果
。
[0013]进一步的，在等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列的计算过程中，不涉及
MRAM
的翻转，只有高阻或低阻两种状态，用来分别表示0和1，同时
MRAM
不存在中间态
。
[0014]进一步的，所述贝叶斯神经网络的输入数据作为控制信号不用预先存储，为实时输入并实时得出计算结果；
[0015]在等效均值
μ
′
计算阵列中，每次输入只有1根
RWL
有数据输入，其他都处于断开状态；
[0016]在等效标准差
σ
′
计算阵列中，每次输入过程中，只有1根
RWL
有数据输入，其他
RWL
都处于断开状态，且所有
CWL
均与等效标准差
σ
′
计算阵列保持导通并输入高斯随机数
。
[0017]进一步的，所述
PCSA
作为信号读取的器件，读取出来的高
/
低电平直接表述计算结果为1或
0。
[0018]进一步的，所述存算一体架构还包括数据选择器
MUX
，用以实现加法计算，
[0019]进一步的，所述存算一体架构还包括计数器
Counter
，用以计算随机比特流代表的具体值
。
[0020]本专利技术与现有技术相比的有益效果为：
[0021]1.
采用存算一体的方式，显著缓解了“存储墙”的问题
。
[0022]2.MRAM
的功耗低，占用面积小，相对于
CMOS
技术，能够大幅降级计算功耗
。
[0023]3.
器件有两种状态，分别代表
0/1
，可以通过注入电流来实现翻转，以完成数据的预存储，在运算阶段不涉及
MRAM
器件的翻转
。
[0024]4.
目前的存内计算方案都是在模拟域中进行，通过累积阵列中的电压
/
电流值，经过放大器，再进行模
/
数转化，从而得到最后的计算值
。
而本专利技术的阵列在数字域中而非在模拟域中计算，无需复杂的数
/
模和模
/
数转换器，外围电路简单，电路可靠性强
。
...

【技术保护点】

【技术特征摘要】
1.
一种利用
MRAM
实现基于随机计算的贝叶斯神经网络存算一体方法，其特征在于，所述方法适用于随机计算域的贝叶斯神经网络，利用非易失性存储器件
MRAM
设计存算一体架构，实现数据在原位的存储和计算；所述存算一体架构包括等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列，所述等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列预存有贝叶斯神经网络的权重数据，所述等效均值
μ
′
计算阵列和等效标准差
σ
′
计算阵列利用三极管作为电路的开关信号，表示数据的输入，采用预充电感知放大器
(PCSA)
作为信号读取方式，得出计算结果
。
所述等效均值
μ
′
计算阵列的每一行均单独通过行字线
(RWL)
与行控制器连接，所述的行控制器包括与等效均值
μ
′
计算阵列的每一行单独连接的多个三极管，所述三极管作为电路的开关信号，完成输入数据
xj
的输入；所述等效标准差
σ
′
计算阵列的每一行均单独通过行字线
(RWL)
与行控制器连接，所述的行控制器包括与等效标准差
σ
′
计算阵列的每一行单独连接的多个三极管，所述三极管作为电路的开关信号，完成输入数据
x
j
的输入；所述等效标准差
σ
′
计算阵列的每一列均单独通过列字线
(CWL)
将实时高斯随机数发生器与列控制器连接，所述的列控制器包括与等效标准差
σ
′
计算阵列的每一列单独连接的多个三极管，所述三极管作为电路的开关信号，完成高斯随机数的输入
。2....

【专利技术属性】
技术研发人员：贾小涛，顾慧毅，张有光，赵巍胜，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：