一种用于执行神经网络运算以及矩阵/向量运算的装置和方法制造方法及图纸

一种用于执行神经网络运算以及矩阵/向量运算的装置和方法，该装置包括存储单元、寄存器单元、控制单元、运算单元和高速暂存存储器，参与计算的神经元/矩阵/向量数据暂存在高速暂存存储器上，使得运算过程中可以更加灵活有效地支持不同宽度的数据，提升计算任务的执行性能。本发明专利技术定制的神经网络运算以及矩阵/向量运算模块能够更加高效地实现各种神经网络运算以及矩阵/向量运算，提升计算任务的执行性能；此外，本发明专利技术采用的指令具有超长指令字的格式。

【技术实现步骤摘要】
一种用于执行神经网络运算以及矩阵/向量运算的装置和方法
本专利技术涉及神经网络运算
，更具体地涉及一种用于执行神经网络运算以及矩阵/向量运算的装置和方法。
技术介绍
人工神经网络(ANNs)，简称神经网络(NNs)，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。目前，神经网络在智能控制、机器学习等很多领域均获得长足发展。由于神经网络属于算法数学模型，其涉及大量的数学运算，因此如何快速、准确地执行神经网络运算是当前迫切需要解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种执行神经网络运算以及矩阵/向量运算的装置和方法，以实现高效的神经网络运算以及矩阵/向量运算。为了实现上述目的，作为本专利技术的一个方面，本专利技术提供了一种用于执行神经网络运算以及矩阵/向量运算的装置，包括存储单元、寄存器单元、控制单元、运算单元和高速暂存存储器，其中：存储单元，用于存储神经元/矩阵/向量；寄存器单元，用于存储神经元地址/矩阵地址/向量地址，其中所述神经元地址为神经元在所本文档来自技高网...

【技术保护点】
一种用于执行神经网络运算以及矩阵/向量运算的装置，包括存储单元、寄存器单元、控制单元、运算单元和高速暂存存储器，其中：存储单元，用于存储神经元/矩阵/向量；寄存器单元，用于存储神经元地址/矩阵地址/向量地址，其中所述神经元地址为神经元在所述存储单元中存储的地址，所述矩阵地址为矩阵在所述存储单元中存储的地址，所述向量地址为向量在所述存储单元中存储的地址；控制单元，用于执行译码操作，根据读取指令控制各个单元模块；运算单元，用于根据指令从所述寄存器单元中获取神经元地址/矩阵地址/向量地址，根据所述神经元地址/矩阵地址/向量地址在所述存储单元中获取相应的神经元/矩阵/向量，以及根据由此获取的神经元/矩...

【技术特征摘要】
1.一种用于执行神经网络运算以及矩阵/向量运算的装置，包括存储单元、寄存器单元、控制单元、运算单元和高速暂存存储器，其中：存储单元，用于存储神经元/矩阵/向量；寄存器单元，用于存储神经元地址/矩阵地址/向量地址，其中所述神经元地址为神经元在所述存储单元中存储的地址，所述矩阵地址为矩阵在所述存储单元中存储的地址，所述向量地址为向量在所述存储单元中存储的地址；控制单元，用于执行译码操作，根据读取指令控制各个单元模块；运算单元，用于根据指令从所述寄存器单元中获取神经元地址/矩阵地址/向量地址，根据所述神经元地址/矩阵地址/向量地址在所述存储单元中获取相应的神经元/矩阵/向量，以及根据由此获取的神经元/矩阵/向量和/或指令中携带的数据进行运算，得到运算结果；其特征在于，将参与所述运算单元计算的神经元/矩阵/向量数据暂存在高速暂存存储器上，当需要时所述运算单元从所述高速暂存存储器上读取。2.如权利要求1所述的用于执行神经网络运算以及矩阵/向量运算的装置，其特征在于，所述高速暂存存储器能够支持不同大小的神经元/矩阵/向量数据。3.如权利要求1所述的用于执行神经网络运算以及矩阵/向量运算的装置，其特征在于，所述寄存器单元为标量寄存器堆，提供运算过程中所需的标量寄存器。4.如权利要求1所述的用于执行神经网络运算以及矩阵/向量运算的装置，其特征在于，所述运算单元包括向量乘法部件、累加部件和标量乘法部件；以及所述运算单元负责装置的神经网络/矩阵/向量运算，包括卷积神经网络正向运算操作、卷积神经网络训练操作、神经网络Pooling运算操作、fullconnection神经网络正向运算操作、fullconnection神经网络训练操作、batchnormalization运算操作、RBM神经网络运算操作、矩阵-向量乘运算操作、矩阵-矩阵加/减运算操作、向量外积运算操作、向量内积运算操作、向量四则运算操作、向量逻辑运算操作、向量超越函数运算操作、向量比较运算操作、求向量最大/最小值运算操作、向量循环移位运算操作、生成服从一定分布的随机向量运算操作。5.如权利要求1所述的用于执行神经网络运算以及矩阵/向量运算的装置，其特征在于，所述装置还包括指令缓存单元，用于存储待执行的运算指令；所述指令缓存单元优选为重排序缓存；以及所述装置还包括指令队列，用于顺序缓存译码后的指令，送往依赖关系处理单元。6.如权利要求5所述的用于执行神经网络运算以及矩阵/向量运算的装置，其特征在于，所述装置还包括依赖关系处理单元和存储队列，所述依赖关系处理单元用于在运算单元获取指令前，判断所述运算指令与前一运算指令是否防问相同的神经元/矩阵/向量存储地址，若是，将所述运算指令存储在所述存储队列中；否则，直接将该运算指令提供给所述运算单元，待前一运算指令执行完毕后，将存储队列中的所述运算指令提供给所述运算单元；所述存储队列用于存储与之前指令在数据上有依赖关系的指令，并在依赖关系消除之后，提交所述指令。7.如权利要求1所述的用于执行神经网络运算以及矩阵/向量运算的装置，其特征在于，所述装置的指令集采用Load/Store结构，所述运算单元不对内存中的数据进行操作；以及所述装置的指令集优选采用...

【专利技术属性】
技术研发人员：陶劲桦，陈天石，陈云霁，
申请(专利权)人：北京中科寒武纪科技有限公司，
类型：发明
国别省市：北京,11