门控激活单元运算的并行执行制造技术

提供了用于交织门控激活单元的矩阵运算的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。该方法中的一个包括：接收神经网络的门控激活单元的多个权重矩阵，该门控激活单元具有两个或更多个层，每一个层定义包括以下的运算：(i)层的权重矩阵和拼接的输入向量之间的矩阵运算，以及(ii)使用该矩阵运算的结果的非线性激活运算。多个权重矩阵的行通过将对应行的组分配给相应线程块被交织，每一个线程块是用于由并行处理设备的多个独立处理单元中的一个独立处理单元执行的计算单元。

Parallel execution of gating activation unit operation

【技术实现步骤摘要】
【国外来华专利技术】门控激活单元运算的并行执行
技术介绍
本说明书涉及在并行处理硬件上实现神经网络的技术。神经网络是使用一个或多个层的非线性计算单元来预测针对接收到的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一个层——即下一个隐藏层或输出层——的输入。网络的每一层根据相应的参数集的当前值从接收到的输入生成输出。对于当前时间步，循环神经网络生成由针对一个或多个先前的时间步生成的其他输出所通知的输出。一些循环神经网络使用门控激活单元。这种循环神经网络可以被称为门控循环神经网络。门控激活单元通过实现控制在先前的时间步中生成的信息有多少应记住且有多少应遗忘的功能来维持一种类型的记忆。普通的门控激活单元包括长短期记忆单元(LSTM单元)、门控循环单元(GRU)及其几种变体。通常，门控激活单元至少使用先前的隐藏状态和当前输入来更新当前隐藏状态。更新隐藏状态通常涉及一种或多种线性变换和一种或多种非线性激活。每个线性变换可以使用权重矩阵和偏置向量。因此，训练门控循环神经网络涉及学习用于每个门控激活单元的权重矩阵和偏置本文档来自技高网...

【技术保护点】
1.一种在并行处理设备上实现神经网络的方法，所述方法包括：/n接收所述神经网络的门控激活单元的多个权重矩阵，所述门控激活单元具有两个或更多个层，每一个层定义包括以下的运算：(i)该层的权重矩阵与拼接的输入向量之间的矩阵运算，以及(ii)使用所述矩阵运算的结果的非线性激活运算；以及/n通过将所述多个权重矩阵的对应行的组分配给相应的线程块来交织所述多个权重矩阵的行，每一个线程块是用于由并行处理设备的多个独立处理单元中的一个独立处理单元执行的计算单元。/n

【技术特征摘要】
【国外来华专利技术】1.一种在并行处理设备上实现神经网络的方法，所述方法包括：
接收所述神经网络的门控激活单元的多个权重矩阵，所述门控激活单元具有两个或更多个层，每一个层定义包括以下的运算：(i)该层的权重矩阵与拼接的输入向量之间的矩阵运算，以及(ii)使用所述矩阵运算的结果的非线性激活运算；以及
通过将所述多个权重矩阵的对应行的组分配给相应的线程块来交织所述多个权重矩阵的行，每一个线程块是用于由并行处理设备的多个独立处理单元中的一个独立处理单元执行的计算单元。


2.根据权利要求1所述的方法，进一步包括使用所述神经网络通过以下来处理数据：
由每一个线程块，接收输入向量；
由每一个线程块，生成当前状态向量的相应的部分，包括：
使用分配给该线程块的所述多个权重矩阵的对应行的一个或多个组以及所述输入向量的拼接来执行多个部分矩阵运算，以及
使用所述多个部分矩阵运算的相应的结果来执行多个非线性激活运算。


3.根据权利要求1或权利要求2所述的方法，其中，交织所述行包括：将来自所述多个权重矩阵中的每一个权重矩阵的至少一个行分配给每一个线程块。


4.根据权利要求1、权利要求2或权利要求3所述的方法，其中，交织所述行包括：将相同数量的行分配给所有线程块。


5.根据前述权利要求中的任一项所述的方法，其中，所述门控激活单元是所述神经网络的门控循环单元或长短期记忆单元。


6.根据前述权利要求中的任一项所述的方法，其中，由每一个线程块生成所述当前状态向量的部分包括：由多个线程块至少部分地并行生成所述当前状态向量的多个部分。


7.根据前述权利要求中的任一项所述的方法，其中，层的所述运算包括：所述层的矩阵运算的结果和所述层的偏置向量之间的偏置加法运算，并且进一步包括：
将所述偏置向量的部分指配...

【专利技术属性】
技术研发人员：埃里克·康拉德·埃尔森，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国;GB