神经形态芯片制造技术

本发明专利技术公开了一种神经形态芯片

【技术实现步骤摘要】
神经形态芯片
[0001]本专利技术专利申请系申请号为“202080028125.9”、
申请日为
2020
年4月6日
、
名称为“事件驱动脉冲卷积神经网络”中国专利技术专利申请的分案申请，在此以引用的方式将该专利申请内容及其所引用的优先权内容全部纳入本申请之中
。


[0002]本专利技术涉及一种神经形态芯片，并具体涉及一种操作事件驱动脉冲卷积神经网络的电子电路
。

技术介绍

[0003]冯
·
诺依曼
(Von Neumann)
计算架构是一种将程序指令存储器和数据存储器合并在一起的电脑设计概念结构
。
该架构自专利技术至今，在计算机领域一直处于统治地位，是手机
、
台式机
、
笔记本电脑
、
计算服务器
、
超级计算中心的底层基础架构
。
[0004]冯氏架构并非十全十美，其发展道路上遇到了“摩尔墙”、“热墙”、“内存墙”瓶颈
。
对于能源效率要求较高的系统，比如超低功耗传感器系统
、
电池驱动的机器人
、
数以亿计的物联网
(IoT)
设备，耗能的图形处理单元
(GPU)
或者将原始数据发送到进一步分析数据的云端
(Cloud)
，不是可行
/
最佳的选择
。
[0005]神经网络是
20
世纪
50
年代开发出来的一种非布尔计算范式，比如现如今著名的卷积神经网络
(CNN)、
循环神经网络
(RNN)
等，这类对生物神经系统高度数学抽象的神经网络，比如神经元激活函数是
Sigmoid
函数
、ReLU
函数等，通常被称为人工神经网络
(ANN)。
卷积神经网络，其灵感来自大脑视觉皮层的生物结构
[1]，视觉皮层包含简单和复杂的细胞排列
。
人们发现这些细胞基于视野的子区域而激活，这些子区域称为感受野
。
受这项研究发现的启发，卷积层中的神经元连接到该层之前各层的子区域
。
神经网络的运行过程通常分为前期的训练
/
学习阶段和后期的推理阶段，前者通常依赖著名且流行的反向传播
(BP)
与梯度优化算法
[2]。
[0006]文献1：
Hubel,David H.,and Torsten N.Wiesel."Receptive fields of single neurones in the cat's striate cortex."The Journal of physiology148.3(1959):574.
[0007]文献2：
Rumelhart,David E.,Geoffrey E.Hinton,and Ronald J.Williams."Learning representations by back
‑
propagating errors."Nature 323.6088(1986):533
‑
536.
[0008]可以运行神经网络的计算平台包括
CPU、DSP、GPU、FPGA、ASIC
，或其结合
。
中央处理器
(CPU)
是家喻户晓的计算机核心，它以能实现复杂的控制流为特点，其诞生并非是为了运行神经网络，适用范围广，是通用计算平台的代表
。
但在
CPU
中执行神经网络学习的过程是极为缓慢的，因而神经网络早期相关研究一直限于小规模网络
。
由于
CPU、
数字信号处理器
(DSP)
的能源效率
、
速度等原因，它们并非运行神经网络的优选硬件架构
。
[0009]文献3是由斯坦福大学研究人员提出的大规模神经网络在
GPU
上并行学习的方法，
证明了基于
GPU
的学习方案可以比基于
CPU
的方案快近
70
倍，这引发了大规模神经网络的研究热潮
。
由于高度并行的神经网络与擅长并行计算的
GPU
之间十分契合，因而在过去十年里大规模
ANN
研究取得了丰硕成果，比如
AlexNet、VGGNet、ResNet、AlphaGo、Transformer、BERT
等
。
[0010]文献3：
Raina,Rajat,Anand Madhavan,and Andrew Y.Ng."Large
‑
scaledeep unsupervised learning using graphics processors."Proceedings of the 26th annual international conference on machine learning.2009.
[0011]为了高效率
、
低功耗地执行神经网络，为神经网络打造匹配的芯片，被称为神经网络加速器
(NNA)
或神经网络处理器
(NPU)。
神经网络加速器主要包括专用集成电路
(ASIC)、
现场可编程门阵列
(FPGA)、GPU
等类型，其中前两者开发周期较长，后两者则可以使用现成的成熟商业芯片
。
[0012]FPGA
具有高性能
、
低能耗
、
高并行
、
高灵活性等优势
。
与
CPU
比，
FPGA
具有较高计算性能和超高的资源利用率；与
GPU
比，
FPGA
的计算性能没有明显超越，但功耗可以显著更低
。
虽然
FPGA
具有更高的灵活性，但一方面这并不意味编程简单，另一方面它的资源通常是硬性受限的，比如可用编程单元数量和存储通信带宽，因而如何在资源约束下获得最佳性能和能效，是研究
FPGA
加速器的重要课题
。
[0013]尽管当前
GPU
的功耗普遍在数十至数百瓦之间，但由于
GPU
的通用性
、
和使用上的易用性
、
广泛性，以及日新月异且不断膨胀的网络模型等各种原因，
GPU
仍然是当前最受欢迎的主流神经网络计算平台
。
为了适应边缘端人工智能
(AI)
需求，一些
GPU
设备商也推出了低功耗<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种电子电路，其特征在于：被配置和布置用于操作脉冲卷积神经网络
(1)
，包括多个层
(10
，
10'
，
10”)
，每一层包括：内核模块
(110)
，被配置为以事件驱动的方式存储和处理至少一个卷积核
(410)
的内核值；神经元模块
(120)
，被配置为以事件驱动的方式存储并更新所述脉冲卷积神经网络
(1)
中神经元的神经元状态，并输出由更新的神经元
(420)
产生的脉冲事件
(150)
；内存映射器
(130)
，被配置为通过与至少一个卷积核
(410)
的卷积来确定来自源层
(10')
的输入脉冲事件
(140)
所投射的神经元
(420)
，并且所确定的神经元
(420)
的神经元状态将用至少一个卷积核
(410)
的适用内核值更新；以及，所述内存映射器被配置为以事件驱动的方式处理输入的脉冲事件，且是异步电子电路
。2.
根据权利要求1所述的电子电路，其特征在于：所述内核模块
(110)
包括连接到关联的内核存储器
(112)
的内核接口
(111)
；关联的内核存储器
(112)
被配置为在内核地址中存储至少一个卷积核的内核值；以及，所述内核模块
(110)
与所述神经元模块
(120)
电连接，且所述内核模块是异步模块
。3.
根据权利要求1或2所述的电子电路，其特征在于：所述内存映射器
(130)
与所述内核模块
(110)
电连接；此外，所述内存映射器
(130)
被配置和布置为：
a)
从脉冲卷积神经网络
(1)
的源层接收输入脉冲事件
(140)
，输入脉冲事件
(140)
包括源层中神经元坐标
(421)
的信息；并且，响应接收到的输入脉冲事件
(140)
，
b)
确定接收的输入脉冲事件
(140)
与至少一个卷积核完成卷积后所投射的神经元坐标
(422)
和对应的神经元
(420)
的神经元地址；
c)
通过对应的内核坐标
(411)
确定内核地址，所述内核地址是适用于所确定的神经元地址对应的神经元状态的内核值的地址，其中，所确定的神经元地址对应的神经元状态通过适用的内核值更新；
d)
向内核模块提供所确定的神经元地址
。4.
根据权利要求3所述的电子电路，其特征在于：所述神经元模块
(120)
被配置和布置为：
a)
接收所确定的神经元地址
(142n)
和适用的内核值
(142k)
；
b)
对于每个接收到的神经元地址
(142n)
，基于适用的内核值
(142k)
，为神经元
(420)
确定更新后的神经元状态；
c)
为达到至少一个预设阈值
(502)
的更新的神经元
(420)
输出离去的脉冲事件
(150)。5.
根据权利要求3所述的电子电路，其特征在于：所述内存映射器
(130)
还被配置和布置为：向内核模块提供所确定的内核地址，...

【专利技术属性】
技术研发人员：奥勒，
申请(专利权)人：成都时识科技有限公司，
类型：发明
国别省市：