对神经网络执行训练的设备及其集成电路板卡制造技术

本披露公开了一种对神经网络执行训练的设备和集成电路板卡，其中该设备以包括在组合处理装置中的计算装置来体现，该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于该计算装置和其他处理装置的数据。本披露的方案可以加速对神经网络的训练。

Equipment and integrated circuit board for training neural network

【技术实现步骤摘要】
对神经网络执行训练的设备及其集成电路板卡
本披露一般地涉及人工智能领域。更具体地，本披露涉及用于对神经网络执行训练的设备及其集成电路板卡。
技术介绍
随着人工智能领域技术的不断发展，如何高效地训练神经网络以获得良好的神经网络模型成为当前关注的一个焦点。现有的神经网络在训练中通常采用浮点型数据来执行运算以期获得好的训练结果。尽管浮点型数据具有相对较高的数据精度，但在训练过程中会对运行神经网络的硬件平台提出更高的硬件要求，例如更大的存储空间、更高的功耗。另外，在一些训练场景中，使用精度相对较低的数据类型也同样可以达到与浮点型数据相同或近似的训练效果，从而使得应用浮点型数据在一些情况下并不必要。
技术实现思路
为了解决在上文中所提到的一些或全部的问题，提供一种对神经网络进行高效训练的方式，本披露在多个方面中提供了如下的技术方案。在一个方面中，本披露提供一种对神经网络执行训练的设备，其中训练所述神经网络包括前向传播过程和反向传播过程，所述设备包括：前向处理单元，其配置用于在所述前向传播过程中，使用定点型的神经网络数据来对与所述神经网络的至少一个层相关联的前向算子执行运算；以及反向处理单元，其配置用于在所述反向传播过程中，使用所述定点型的神经网络数据来对与所述前向算子对应的反向算子执行运算以执行更新操作。在又一个方面中，本披露还提供一种集成电路板卡，包括如上所述的设备。通过上述用于对神经网络执行训练的设备和集成电路板，在训练神经网络的迭代训练中，本披露的方案加速神经网络的相关运算例如乘加操作，从而加速神经网络的训练过程并减小功耗。在一些应用场景中，本披露的方案还支持对执行量化操作后的数据进行复用的功能，从而减小将数据从高精度数据类型的数据量化到定点型数据的多次量化化操作，进一步缩短训练时间。另外，通过经本披露方案所训练的神经网络，其可以被广泛运用于图像处理、语音识别、数据采集等各类领域，极大地改善相关领域的效率成本。附图说明通过结合附图，可以更好地理解本专利技术的上述特征，并且其众多目的，特征和优点对于本领域技术人员而言是显而易见的，其中相同的附图标记表示相同的元件，并且其中：图1是示出可以应用本披露的技术方案的神经网络的示例性框图；图2是示出根据本披露实施例的神经网络中相关算子操作的示例性流程图；图3是示出根据本披露实施例的涉及量化误差原理的曲线图；图4是示出根据本披露实施例的用于对神经网络执行训练的设备的框图；图5是示出根据本披露实施例的用于权值复用的示例性系统框图；图6是示出根据本披露实施例的用于通过硬件平台来训练神经网络的方法的流程图；图7是示出根据本披露实施例的用于神经网络运算的计算装置的框图；图8是示出根据本披露实施例的一种组合处理装置的结构图；以及图9是示出根据本披露实施例的一种板卡的结构示意图。具体实施方式现在将参考附图描述本专利技术的实施例。应当理解，为了说明的简单和清楚，在认为合适的情况下，可以在附图中重复附图标记以指示对应或类似的元件。另外，本申请阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而，本领域普通技术人员在本公开的教导下，可以在没有这些具体细节的情况下实施本文所描述的多个实施例。在其他情况下，本方没有详细描述公知的方法、过程和组件，以免不必要地模糊本文描述的实施例。而且，该描述不应被视为限制本文描述的实施例的范围。如前所述，本披露的方案主要应用于人工智能领域，特别是应用于对神经网络进行高效的训练中，因此这里有必要对本披露所涉及的神经网络架构及其工作原理进行介绍。神经网络(neuralnetwork，NN)是一种模仿生物神经网络的结构和功能的数学模型，神经网络由大量的神经元连接进行计算。因此，神经网络是一种计算模型，由大量的节点(或称“神经元”)相互连接构成。每个节点代表一种特定的输出函数，称为激活函数(activationfunction)。每两个神经元之间的连接都代表一个通过该连接信号的加权值，称之为权值，这相当于神经网络的记忆。神经网络的输出则依神经元之间的连接方式以及权值和激活函数的不同而不同。在神经网络中，神经元是神经网络的基本单位。它获得一定数量的输入和一个偏置，当信号(值)到达时会乘以一个权值。连接是将一个神经元连接到另一层或同一层的另一个神经元，连接伴随着与之相关联的权值。另外，偏置是神经元的额外输入，它始终为1，并具有自己的连接权值。这确保即使所有的输入都为空(全部为0)，神经元也会激活。在应用中，如果不对神经网络中的神经元应用一个非线性函数，神经网络只是一个线性函数而已，那么它并不比单个神经元强大。如果让一个神经网络的输出结果在0到1之间，例如，在猫狗鉴别的例子中，可以把接近于0的输出视为猫，将接近于1的输出视为狗。为了完成这个目标，在神经网络中引入激活函数，比如：sigmoid激活函数。关于这个激活函数，只需要知道它的返回值是一个介于0到1的数字。因此，激活函数用于将非线性引入神经网络，它会将神经网络运算结果缩小到较小的范围内。实际上，激活函数怎样表达并不重要，重要的是通过一些权值将一个非线性函数参数化，可以通过改变这些权值来改变这个非线性函数。图1是示出可以应用本披露的技术方案的神经网络100的示例性框图。如图1中所示，该神经网络100包括输入层和输出层以及位于该输入层和输出层之间的多个隐藏层，在本例中示例性示为卷积层、激活层、池化层和全连接层。输入层的神经元被称为输入神经元，在本例中绘出3个输入神经元，其接收3个输入信号x1，x2，x3。输入层作为神经网络中的第一层，接受需要输入信号(值)并将它们传递到下一层。通常情况下，输入层不会对输入信号(值)做操作，并且没有关联的权值和偏置。对于特定的神经网络，例如卷积神经网络，其输入层可以处理多维数据。常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可以包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组，以此类推。在一些特定的应用场景中，也可以在输入层处对数据进行预处理操作，例如可以对数据去均值、归一化及降维等操作。隐含层包含用于对输入数据应用不同变换的神经元(节点)。在图1所示出的神经网络中包括了四个隐藏层，即包括4个神经元(节点)的卷积层、4个神经元的激活层、2个神经元的池化层、6个神经元的全连接层。最后，由全连接层的运算值传递给输出层。输出层的神经元被称为输出神经元。输出层接收来自最后一个隐含层的输出。在图1所示的神经网络中，输出层有2个神经元，有2个输出信号y1和y2。从所示出的隐藏层可以看出，基于特定的隐藏层，每个隐藏层的每一个神经元可以或可以不与下一块层的每一个神经元进行连接，例如激活层和池化层的神经元是部分连接，而池化层与全连接层之间是全连接。下面对于本例中的示例性隐藏层进行简要的描述。需要理解的是这里关于上述各个隐藏层的描述仅仅是示例性的而本文档来自技高网...

【技术保护点】
1.一种对神经网络执行训练的设备，其中训练所述神经网络包括前向传播过程和反向传播过程，所述设备包括：/n前向处理单元，其配置用于在所述前向传播过程中，使用定点型的神经网络数据来对与所述神经网络的至少一个层相关联的前向算子执行运算；以及/n反向处理单元，其配置用于在所述反向传播过程中，使用所述定点型的神经网络数据来对与所述前向算子对应的反向算子执行运算以执行更新操作。/n

【技术特征摘要】
1.一种对神经网络执行训练的设备，其中训练所述神经网络包括前向传播过程和反向传播过程，所述设备包括：
前向处理单元，其配置用于在所述前向传播过程中，使用定点型的神经网络数据来对与所述神经网络的至少一个层相关联的前向算子执行运算；以及
反向处理单元，其配置用于在所述反向传播过程中，使用所述定点型的神经网络数据来对与所述前向算子对应的反向算子执行运算以执行更新操作。


2.根据权利要求1所述的设备，进一步包括：
量化单元，其配置用于利用量化算子对高精度数据类型的神经网络数据执行量化操作，以获得所述定点型的神经网络数据。


3.根据权利要求2所述的设备，其中所述量化算子包括量化策略算子和量化参数算子，其中所述量化策略算子至少用于确定是否执行量化参数的更新操作，而所述量化参数算子至少用于确定量化参数，并使用所述量化参数对所述高精度数据类型的神经网络数据执行所述量化操作。


4.根据权利要求1所述的设备，其中所述高精度数据类型是浮点型数据类型。


5.根据权利要求1-4的任意一项所述的设备，其中所述神经网络数据包括神经元和权值中的至少一种数据。


6.根据权利要求5所述的设备，其中所述神经网络的至少一个层是卷积层或全连接层。


7.根据权利要求6所述的设备，其中所述量化参数包括用于对神经元数据执行量化操作的神经元量化参数和用于对权值数据执行量化操作的权值量化参数，所述前向处理单元还配置用于在所述前向传播过程中执行：
根据所述神经元量化参数，使用所述量化参数算子将所述高精度数据类型的神经元数据量化成定点型的神经元数据；以及
根据所述权值量化参数，使用所述量化...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海;31