神经网络计算装置及包含该计算装置的处理器制造方法及图纸

本发明专利技术提供一种神经网络计算装置以及包含该计算装置的处理器。该计算装置包括脉动阵列处理单元和主处理器，所述主处理器用于控制神经网络中的计算元素向所述脉动阵列处理单元的装载以及在所述脉动阵列处理单元中的传递，所述脉动阵列处理单元由多个处理单元构成，每个处理单元对接收的计算元素执行相关运算和/或将接收到的计算元素传递给下一个处理单元，其中，所述计算元素包括神经元数据和对应的权重值。利用本发明专利技术的计算装置能够加快神经网络的计算速度并降低计算过程中对带宽的需求。

【技术实现步骤摘要】
神经网络计算装置及包含该计算装置的处理器
本专利技术涉及人工智能
，尤其涉及一种神经网络的计算装置以及包含该计算装置的神经网络处理器。
技术介绍
深度学习是机器学习领域的重要分支，在近些年来取得了重大突破。采用深度学习算法训练的神经网络模型在图像识别、语音处理、智能机器人等应用领域取得了令人瞩目的成果。深度神经网络通过建立模型模拟人类大脑的神经连接结构，在处理图像、声音和文本等信号时，通过多个变换阶段分层对数据特征进行描述。随着神经网络复杂度的不断提高，神经网络技术在实际应用过程中存在占用资源多、运算速度慢、能量消耗大等问题，因此该技术在嵌入式设备或低开销数据中心等领域应用时存在严重的能效问题和运算速度瓶颈。采用硬件加速器替代传统软件计算的方法成为了提高神经网络计算效率的一种行之有效方式。目前主流的硬件加速方式包括通用图形处理器、专用处理器芯片和现场可编程逻辑阵列(FPGA)等。然而，由于神经网络处理器属于计算密集型和访存密集型处理器，一方面，神经网络模型中包括大量乘法加法运算及其他非线性运算，需要神经网络处理器保持高负载运行，以保障神经网络模型的运算需求；另一方面，神经网络运算过程中存在大量的参数迭代，计算单元需要对存储器进行大量访问，这极大增加了对处理器的带宽设计需求，同时增加了访存功耗。因此，需要对现有的神经网络处理器进行改进，以解决计算电路硬件开销高、片上访存带宽大的问题。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺陷，提供一种应用于神经网络的计算装置以及包含该计算装置的处理器。根据本专利技术的第一方面，提供了一种神经网络计算装置。该计算装置包括脉动阵列处理单元和主处理器，所述主处理器用于控制神经网络中的计算元素向所述脉动阵列处理单元的装载以及在所述脉动阵列处理单元中的传递，所述脉动阵列处理单元由多个处理单元构成，每个处理单元对接收的计算元素执行相关运算和/或将接收到的计算元素传递给下一个处理单元，其中，所述计算元素包括神经元数据和对应的权重值。在本专利技术的一个实施例中，所述脉动阵列处理单元包括采用一维矩阵形式串接的多个处理单元。在本专利技术的一个实施例中，所述主处理器控制所述神经元数据向所述脉动阵列处理单元的装载和流动并控制所述对应的权重值预先存储在所述脉动阵列处理单元的相应处理单元中。在本专利技术的一个实施例中，所述脉动阵列处理单元采用二维矩阵形式，其中，各处理单元采用相同的结构，每个处理单元仅与相邻的处理单元耦合。在本专利技术的一个实施例中，所述主处理器控制所述神经元数据从二维矩阵的行方向装载并沿行方向流动，并且控制所述对应的权重值从二维矩阵的列方向装载并沿列方向流动。在本专利技术的一个实施例中，各处理单元包括：数据旁路单元：其第一端用于接收入所述神经元数据并将其输出给乘法器，第二端用于将接收到的所述神经元数据直接输出；权重旁路单元：其第一端用于接入接收所述权重值并将其输出给乘法器，第二端用于将接收到的所述权重值直接输出；乘法器：用于从所述数据旁路单元接收神经元数据以及从所述权重旁路单元接收权重值并执行乘法运算；累加器：用于累加来自于所述乘法器的输出并将累加结果从该处理单元输出。在本专利技术的计算装置中，还包括数据寄存器，其用于存储所述数据旁路单元接收的神经元数据。在本专利技术的计算装置中，还包括权重寄存器，其用于存储所述权重旁路单元接收的权重值。在本专利技术的计算装置中，所述主处理器还用于根据相关运算的特点和计算单元的资源使用情况决定是否由所述脉动阵列处理单元执行当前的运算。根据本专利技术的第二方面，提供了一种神经网络处理器。该处理器包括：计算单元，其包括根据本专利技术的计算装置；存储单元，其用于存储神经元数据、权重值和指令；控制单元，其用于获得保存在所述存储单元的指令并发出控制信号。与现有技术相比，本专利技术的优点在于：通过在神经网络处理器中采用脉动阵列的计算单元结构，提升了神经网络处理器的运算效率，降低了对处理器的带宽需求。附图说明以下附图仅对本专利技术作示意性的说明和解释，并不用于限定本专利技术的范围，其中：图1示出了现有技术中神经网络的拓扑示意图；图2示出了根据本专利技术一个实施例的神经网络处理器的示意框图；图3示出了根据本专利技术一个实施例的神经网络处理器中的计算单元的脉动阵列结构图；图4示出了利用本专利技术的一个实施例的二维矩阵形式的脉动阵列结构图；图5示出了根据本专利技术一个实施例的脉动阵列结构中每个处理单元的结构框图；图6示出了根据本专利技术另一实施例的一维矩阵形式的脉动阵列结构图。具体实施方式为了使本专利技术的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示的现有技术中神经网络的通用拓扑图，神经网络是对人脑结构和行为活动进行建模形成的数学模型，通常分为输入层、隐藏层和输出层等结构，每一层均由多个神经元节点构成，本层的神经元节点的输出值(在本文中称为神经元数据或节点值)，会作为输入传递给下一层的神经元节点，逐层连接。神经网络本身具有仿生学特征，其多层抽象迭代的过程与人脑及其他感知器官有着类似的信息处理方式。神经网络多层结构的第一层输入值为原始图像(在本专利技术中的“原始图像”指的是待处理的原始数据，不仅仅是狭义的通过拍摄照片获得的图像)，典型地，对于神经网络的每一层，可通过对该层的神经元数据(在本文中有时也简称数据)和其对应的权重值进行计算来得到下一层的神经元数据。例如，假设表示神经网络中某一层的几个神经元节点，它们与下一层的节点y相连，表示对应连接的权重，则y的取值定义：y＝x×w。因此，对于神经网络的各层都存在大量的乘法和加法操作。为了提高处理速度，可采用定制的处理器来实现神经网络中运算，参见图2示出的根据本专利技术一个实施例的适用于神经网络模型的处理器。概括而言，该实施例中的神经网络处理器200基于存储-控制-计算的结构。存储结构用于存储参与计算的数据、神经网络权重及处理器的操作指令；控制结构用于解析操作指令，生成控制信号，该信号用于控制处理器内数据的调度和存储以及神经网络的计算过程；计算结构用于参与该处理器中的神经网络计算操作，保证数据在计算单元中能够正确地与相应权重进行计算。计算结构、控制结构和存储结构之间可互相通信。具体而言，存储结构用于存储神经网络处理器外部传来的数据(例如，原始特征图数据)或用于存储处理过程中产生的数据，包括处理过程中产生的处理结果或中间结果，这些结果可以来自于神经网络处理器内部的运算部件或其他外部运算部件。此外，存储结构还可用于存储参与计算的指令信息(例如，载入神经元数据至计算单元、计算开始、计算结束、或将计算结果存储至存储单元等)。相应地，在图2的实施例中，存储结构进一步细分为输入数据存储单元211、权重存储单元212、指令存储单元213和输出数据存储单元214，其中，输入数据存储单元211用于存储参与计算的神经元数据，该数据包括原始特征图数据和参与中间层计算的数据；权重存储单元212用于存储已经训练好的神经网络权重；指令存储单元213用于存储参与计算的指令信息，指令可被控制单元220解析为控制流来调度神经网络的计算；输出数据存储单元214用于存储计算得到的神经元响应值。通过本文档来自技高网...

【技术保护点】
一种神经网络计算装置，其特征在于，包括脉动阵列处理单元和主处理器，所述主处理器用于控制神经网络中的计算元素向所述脉动阵列处理单元的装载以及在所述脉动阵列处理单元中的传递，所述脉动阵列处理单元由多个处理单元构成，每个处理单元对接收的计算元素执行相关运算和/或将接收到的计算元素传递给下一个处理单元，其中，所述计算元素包括神经元数据和对应的权重值。

【技术特征摘要】
1.一种神经网络计算装置，其特征在于，包括脉动阵列处理单元和主处理器，所述主处理器用于控制神经网络中的计算元素向所述脉动阵列处理单元的装载以及在所述脉动阵列处理单元中的传递，所述脉动阵列处理单元由多个处理单元构成，每个处理单元对接收的计算元素执行相关运算和/或将接收到的计算元素传递给下一个处理单元，其中，所述计算元素包括神经元数据和对应的权重值。2.根据权利要求1所述的计算装置，其特征在于，所述脉动阵列处理单元包括采用一维矩阵形式串接的多个处理单元。3.根据权利要求2所述的计算装置，其特征在于，所述主处理器控制所述神经元数据向所述脉动阵列处理单元的装载和流动并控制所述对应的权重值预先存储在所述脉动阵列处理单元的相应处理单元中。4.根据权利要求1所述的计算装置，其特征在于，所述脉动阵列处理单元采用二维矩阵形式，其中，各处理单元采用相同的结构，每个处理单元仅与相邻的处理单元耦合。5.根据权利要求4所述的计算装置，其特征在于，所述主处理器控制所述神经元数据从二维矩阵的行方向装载并沿行方向流动，并且控制所述对应的权重值从二维矩阵的列方向装载并沿列方向流动。6.根据权利要求1至5中任一...

【专利技术属性】
技术研发人员：韩银和，许浩博，王颖，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11