一种计算设备及神经网络的加速方法技术

本申请实施例公开了一种计算设备，包括：计算阵列，包括多个计算单元，用于将输入数据与预设的权重矩阵进行计算，获得第一计算结果，其中，所述第一计算结果为模拟信号形式，所述输入数据为数字信号形式；模拟运算电路，连接所述计算阵列，用于对所述第一计算结果进行逐点运算，获得第二计算结果，其中，所述第二计算结果为模拟信号形式；模数转换电路，连接所述模拟运算电路，用于将所述第二计算结果转换为数字信号，获得第三计算结果。采用本申请实施例，可以减少硬件开销，降低功耗。

【技术实现步骤摘要】
一种计算设备及神经网络的加速方法
本申请涉及神经网络领域，尤其涉及一种计算设备及神经网络的加速方法。
技术介绍
长短期记忆网络(longshort-termmemory，LSTM)是一种时间递归神经网络，由于其独特的设计结构，适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM可以采用忆阻器阵列来处理矩阵乘法运算，忆阻器阵列的外围电路主要包括模数转换器(digital-to-analogconverter，ADC)，由于ADC在LSTM硬件系统中的硬件开销较大，导致功耗很高。
技术实现思路
本申请实施例提供一种计算设备及神经网络的加速方法，减少了硬件资源的开销，降低了功耗。第一方面，本申请实施例提供一种计算设备，包括：计算阵列，包括多个计算单元，用于将输入数据与预设的权重矩阵进行计算，获得第一计算结果，其中，第一计算结果为模拟信号形式，输入数据为数字信号形式；模拟运算电路，连接计算阵列，用于对第一计算结果进行逐点运算，获得第二计算结果，其中，第二计算结果为模拟信号形式；模数转换电路，连接模拟运算电路，用于将第二计算结果转换为数字信号，获得第三计算结果。通过首先将第一计算结果输入到模拟运算电路，然后将模拟运算电路输出的第二计算结果输入到模数转换电路，减少了模拟转换电路在神经网络中的硬件开销，从而降低了功耗。并且，通过模数转换电路将模拟信号转换为数字信号，使得在片上网络传输数字信号，从而可以较为高效地实现多个瓷片协同工作来实现较大规模的神经网络。在一种可能的设计中，激活函数电路，用于对第一计算结果执行激活函数计算，获得第一中间结果；逐点计算电路，连接激活函数电路，用于对第一中间结果执行逐点计算。通过引入激活函数电路和逐点计算电路，提高神经网络运算的准确性。在另一种可能的设计中，权重矩阵是根据模拟运算电路的电路特性获得的误差项确定的。通过引入电路特性调整神经网络模型的权重矩阵，提高神经网络的推理精度。在另一种可能的设计中，误差项包括误差项的一阶导数的关系表达式；模拟运算电路，还用于根据误差项的一阶导数的关系表达式调整模拟运算电路所实现的对应算子的输出值，所述模拟运算电路所实现的对应算子的输出值用于调整初始权重矩阵以获得所述权重矩阵。通过误差项的一阶导数的关系表达式调整神经网络模型的权重矩阵，提高神经网络的推理精度。在另一种可能的设计中，所述模拟运算电路，还用于通过所述激活函数的一阶导数的理论关系表达式与所述误差项的一阶导数的关系表达式之和进行训练，调整所述模拟运算电路所实现的对应算子的输出值。在另一种可能的设计中，误差项包括误差项的关系表达式；模拟运算电路，还用于根据误差项的关系表达式调整模拟运算电路所实现的对应算子的输出值。进而通过调整后的模拟运算电路所实现的对应算子的输出值调整神经网络模型的权重矩阵，从而提高神经网络的推理精度。在另一种可能的设计中，所述模拟运算电路，还用于通过所述模拟运算电路的理论关系表达式与所述误差项的关系表达式之和进行训练，调整所述模拟运算电路所实现的对应算子的输出值。在另一种可能的设计中，该计算设备应用于长短期记忆网络LSTM系统。第二方面，本申请实施例提供了一种神经网络的加速方法，该方法为第一方面提供的计算设备中的计算阵列、模拟运算电路和模数转换电路所执行的方法，执行如上述第一方面相同的流程和步骤。第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一方面的方法。第四方面，本申请提供了一种计算机程序产品，计算机程序产品用于存储计算机程序，当计算机程序在计算机上运行时，使得计算机执行上述任一方面的方法。附图说明为了更清楚地说明本申请实施例或
技术介绍
中的技术方案，下面将对本申请实施例或
技术介绍
中所需要使用的附图进行说明。图1是本申请实施例提供的一种神经网络芯片的结构示意图；图2是本申请实施例提供的一种权重矩阵的示意图；图3是本申请实施例提供的一种计算单元的示意图；图4是本申请实施例提供的一种神经网络处理单元的结构示意图；图5是本申请实施例提供的一种计算设备的结构示意图；图6是本申请实施例提供的一种tanh函数电路的示意图；图7是本申请实施例提供的一种σ函数电路的示意图；图8是本申请实施例提供的一种逐点乘法电路的示意图；图9是本申请实施例提供的另一种计算设备的结构示意图；图10是本申请实施例提供的一种训练模型部署的示意图；图11是本申请实施例提供的一种电路特性的示意图；图12是本申请实施例提供的一种输出值调整方法的流程图；图13是本申请实施例提供的一种神经网络的加速方法的流程示意图。具体实施方式下面结合本申请实施例中的附图对本申请实施例进行描述。人工神经网络(artificialneuralnetwork，ANN)，简称为神经网络(neuralnetwork，NN)或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络可以包括卷积神经网络(convolutionalneuralnetwork,CNN)、深度神经网络(deepneuralnetwork,DNN)、多层感知器(multilayerperceptron，MLP)等神经网络。神经网络电路可以由多个神经网络芯片(chip)组成的芯片阵列。如图1所示，图1是本申请实施例提供的一种神经网络芯片的结构示意图。神经网络芯片可以包括多个神经网络处理单元以及多个路由器。图1以神经网络处理单元为瓷片(tile)为例进行描述。一个tile可以与一个或多个路由器相连，多个结构相同的tile通过路由器相连构成片上网络(network-on-chip，NoC)。其中，每个瓷片可以包括ADC、输入输出缓存器(Input/Outputbuffer)、内存缓存器(memorybuffer)、路由器(router)、忆阻器阵列(ReRAMcrossbararray)和模拟运算电路，其中，忆阻器阵列用于将输入数据(例如xt)与预设的权重矩阵(Wf、Wi、Wc、Wo)进行计算。模拟运算电路可以包括sigmoid单元(例如σ函数)、tanh单元(例如tanh函数)、乘法单元(例如*)和加法单元(例如+)。在本申请实施例中，由于神经网络系统的瓷片中包括至少一个ReRAMcrossbar(交叉开关)，又由于ReRAM具有存储和计算一体的优势，权重可以在计算之前配置到ReRAMcell上，而计算结果可以直接发送给下一层进行流水线计算。权重通常用于表示输入数据对于输出数据的重要程度。在神经网络中，权重通常用一个矩阵表示。如图2所示，图2所示的j行k列的权重矩阵可以是一个神经网络层的一个权重，该权重矩阵中的每一个元素代表一个权重值。在本申请实施本文档来自技高网...

【技术保护点】
1.一种计算设备，其特征在于，包括：/n计算阵列，包括多个计算单元，用于将输入数据与预设的权重矩阵进行计算，获得第一计算结果，其中，所述第一计算结果为模拟信号形式，所述输入数据为数字信号形式；/n模拟运算电路，连接所述计算阵列，用于对所述第一计算结果进行逐点运算，获得第二计算结果，其中，所述第二计算结果为模拟信号形式；/n模数转换电路，连接所述模拟运算电路，用于将所述第二计算结果转换为数字信号，获得第三计算结果。/n

【技术特征摘要】
1.一种计算设备，其特征在于，包括：
计算阵列，包括多个计算单元，用于将输入数据与预设的权重矩阵进行计算，获得第一计算结果，其中，所述第一计算结果为模拟信号形式，所述输入数据为数字信号形式；
模拟运算电路，连接所述计算阵列，用于对所述第一计算结果进行逐点运算，获得第二计算结果，其中，所述第二计算结果为模拟信号形式；
模数转换电路，连接所述模拟运算电路，用于将所述第二计算结果转换为数字信号，获得第三计算结果。


2.如权利要求1所述的计算设备，其特征在于，所述模拟运算电路包括：
激活函数电路，用于对所述第一计算结果执行激活函数计算，获得第一中间结果；
逐点计算电路，连接所述激活函数电路，用于对所述第一中间结果执行逐点计算。


3.如权利要求2所述的计算设备，其特征在于，所述权重矩阵是根据所述模拟运算电路的电路特性获得的误差项确定的。


4.如权利要求3所述的计算设备，其特征在于，所述误差项包括所述误差项的一阶导数的关系表达式；
所述模拟运算电路，还用于根据所述误差项的一阶导数的关系表达式调整所述模拟运算电路所实现的对应算子的输出值，所述模拟运算电路所实现的对应算子的输出值用于调整初始权重矩阵以获得所述权重矩阵。


5.如权利要求4所述的计算设备，其特征在于，所述模拟运算电路，还用于通过所述激活函数的一阶导数的理论关系表达式与所述误差项的一阶导数的关系表达式之和进行训练，调整所述模拟运算电路所实现的对应算子的输出值。


6.如权利要求1-5任一项所述的计算设备，其特征在于，所述计算设备应用于长短期记忆网络LSTM系统。<...

【专利技术属性】
技术研发人员：张悠慧，韩建辉，蒋磊，王侃文，吴华强，
申请(专利权)人：华为技术有限公司，清华大学，
类型：发明
国别省市：广东;44