【技术实现步骤摘要】
【国外来华专利技术】利用链接指令的神经网络处理
技术介绍
神经网络技术被用来执行诸如阅读理解、语言转换或语音识别之类的复杂任务。虽然神经网络可以执行这样的任务,但是使用通用CPU或通用GPU来部署神经网络是很昂贵的。另外,虽然相对于CPU,GPU提供增加的吞吐量,但它们具有较差的延迟。
技术实现思路
在一个示例中,本公开涉及一种在包括全局寄存器和流水线的硬件节点中用于处理指令的方法,该流水线包括:矩阵矢量单元,该矩阵矢量单元包括至少一个累加器寄存器;第一多功能单元,其中第一多功能单元被连接以接收来自矩阵矢量单元的输入;第二多功能单元,其中第二多功能单元被连接以接收来自第一多功能单元的输出;以及第三多功能单元,其中第三多功能单元被连接以接收来自第二多功能单元的输出。该方法可以包括经由全局寄存器从输入队列接收第一类型指令,其中第一类型指令只能由矩阵矢量单元执行,并且由矩阵矢量单元执行第一类型指令并将第一类型指令的第一结果存储在至少一个累加器寄存器中。该方法还可以包括经由全局寄存器从输入队列接收第二类型指令,其中第二类型指令只能由第一多功能单元、第二多功能单元或第三多功能单元中的至少一个执行,并且使用第一多功能单元执行第二类型指令,其中该执行包括对至少第一类型指令的第一结果执行操作并生成第二结果。该方法可以进一步包括在不将第一结果或第二结果存储在全局寄存器中的情况下,将第二结果传递给第二多功能单元,并且在那之后将第二结果传递给第三多功能单元。在另一示例中,本公开涉及一种硬件节点,包括全局寄存器和被配置为处理指令的流水线,该流水线包括:矩阵矢量单元,该矩阵矢量单元包括至少一个累加器寄存器;第一 ...
【技术保护点】
1.一种在包括全局寄存器和流水线的硬件节点中用于处理指令的方法,所述流水线包括:矩阵矢量单元,所述矩阵矢量单元包括至少一个累加器寄存器;第一多功能单元,其中所述第一多功能单元被连接以接收来自所述矩阵矢量单元的输入;第二多功能单元,其中所述第二多功能单元被连接以接收来自所述第一多功能单元的输出;以及第三多功能单元,其中所述第三多功能单元被连接以接收来自所述第二多功能单元的输出,所述方法包括:经由所述全局寄存器从输入队列接收第一类型指令,其中所述第一类型指令只能由所述矩阵矢量单元执行,并且由所述矩阵矢量单元执行所述第一类型指令并将所述第一类型指令的第一结果存储在所述至少一个累加器寄存器中;经由所述全局寄存器从所述输入队列接收第二类型指令,其中所述第二类型指令只能由所述第一多功能单元、所述第二多功能单元或所述第三多功能单元中的至少一个执行,并且使用所述第一多功能单元执行所述第二类型指令,其中所述执行包括对至少所述第一类型指令的所述第一结果执行操作并生成第二结果;以及在不将所述第一结果或所述第二结果存储在所述全局寄存器中的情况下,将所述第二结果传递给所述第二多功能单元并且之后将所述第二结果传递 ...
【技术特征摘要】
【国外来华专利技术】2017.02.28 US 62/465,063;2017.06.29 US 15/637,4951.一种在包括全局寄存器和流水线的硬件节点中用于处理指令的方法,所述流水线包括:矩阵矢量单元,所述矩阵矢量单元包括至少一个累加器寄存器;第一多功能单元,其中所述第一多功能单元被连接以接收来自所述矩阵矢量单元的输入;第二多功能单元,其中所述第二多功能单元被连接以接收来自所述第一多功能单元的输出;以及第三多功能单元,其中所述第三多功能单元被连接以接收来自所述第二多功能单元的输出,所述方法包括:经由所述全局寄存器从输入队列接收第一类型指令,其中所述第一类型指令只能由所述矩阵矢量单元执行,并且由所述矩阵矢量单元执行所述第一类型指令并将所述第一类型指令的第一结果存储在所述至少一个累加器寄存器中;经由所述全局寄存器从所述输入队列接收第二类型指令,其中所述第二类型指令只能由所述第一多功能单元、所述第二多功能单元或所述第三多功能单元中的至少一个执行,并且使用所述第一多功能单元执行所述第二类型指令,其中所述执行包括对至少所述第一类型指令的所述第一结果执行操作并生成第二结果;以及在不将所述第一结果或所述第二结果存储在所述全局寄存器中的情况下,将所述第二结果传递给所述第二多功能单元并且之后将所述第二结果传递给所述第三多功能单元。2.根据权利要求1所述的方法,其中所述第一多功能单元、所述第二多功能单元和所述第三多功能单元中的每一个还包括:逐点加法块、逐点乘法块、S型块、双曲正切块和无操作块。3.根据权利要求1所述的方法,还包括:在将所述第二结果传递给所述第三多功能单元之后,将所述第二结果传递给被耦合到所述流水线的输出队列。4.根据权利要求1所述的方法,其中所述第一类型指令包括矢量类型的指令,并且所述第二类型指令包括标量类型的指令。5.根据权利要求1所述的方法,其中所述第一类型指令包括存储指示符,所述存储指示符使得所述第一结果被存储在所述至少一个累加器寄存器中。6.根据权利要求1所述的方法,其中所述第二类型指令包括前向指示符,所述前向指示符使得所述第二结果被传递给所述流水线中的下一个单元。7.根据权利要求...
【专利技术属性】
技术研发人员:J·弗沃斯,E·S·钟,D·C·伯格,
申请(专利权)人:微软技术许可有限责任公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。