用于神经网络处理的具有矩阵-向量相乘区块的硬件节点制造技术

技术编号:22334433 阅读:74 留言:0更新日期:2019-10-19 13:06
提供了用于神经网络处理的硬件和方法。提供了一种系统中的方法,系统包括多个节点,其中每个节点包括多个区块。方法包括接收N乘M系数矩阵,该N乘M系数矩阵被配置成控制神经网络模型。方法包括将N乘M系数矩阵的第一行和第二行存储在第一和第二片上存储器中,该第一和第二片上存储器被并入多个区块中的第一和第二区块内。方法包括使用第一计算单元来处理系数的第一行和第一组输入向量,该第一计算单元被并入多个区块中的第一区块内。方法包括使用第二计算单元来处理系数的第二行和第二组输入向量,该第二计算单元被并入多个区块中的第二区块内。

【技术实现步骤摘要】
【国外来华专利技术】用于神经网络处理的具有矩阵-向量相乘区块的硬件节点
技术介绍
神经网络技术用于执行复杂的任务,诸如阅读理解、语言翻译或语音识别。虽然神经网络可以执行这种任务,但使用通用CPU或通用GPU进行部署是很昂贵的。另外,虽然GPU相对于CPU提供了增加的吞吐量,但它们具有较差的延时。
技术实现思路
在一个示例中,本公开涉及一种用于评估系统中的神经网络模型的方法,系统包括经由网络互连的多个节点,其中每个节点包括多个区块(tile)。方法可以包括经由入口树接收N乘M系数矩阵,其中N乘M系数矩阵被配置成控制神经网络模型,其中N是等于或大于8的整数并且M是等于或大于8整数。方法还可以包括:将N乘M系数矩阵的第一行存储在第一片上存储器中,并且将N乘M系数矩阵的第二行存储在第二片上存储器中,该第一片上存储器被并入多个区块中的第一区块内,该第二片上存储器被并入多个区块中的第二区块内。方法还可以包括:使用第一计算单元来处理经由入口树接收的N乘M系数矩阵的第一行和第一组输入向量,该第一计算单元被并入多个区块中的第一区块内。方法还可以包括:使用第二计算单元来处理经由入口树接收的N乘M系数矩阵的第二行和第二组输入向量,该第本文档来自技高网...

【技术保护点】
1.一种用于评估系统中的神经网络模型的方法,所述系统包括经由网络互连的多个节点,其中每个节点包括多个区块,所述方法包括:经由入口树接收N乘M系数矩阵,其中所述N乘M系数矩阵被配置成控制所述神经网络模型,其中N是等于或大于8的整数,并且M是等于或大于8的整数;将所述N乘M系数矩阵的第一行存储在第一片上存储器中,并且将所述N乘M系数矩阵的第二行存储在第二片上存储器中,所述第一片上存储器被并入所述多个区块中的第一区块内,所述第二片上存储器被并入所述多个区块中的第二区块内;使用第一计算单元来处理经由所述入口树接收的所述N乘M系数矩阵的所述第一行和第一组输入向量,所述第一计算单元被并入所述多个区块中的所...

【技术特征摘要】
【国外来华专利技术】2017.02.28 US 62/465,063;2017.06.29 US 15/637,6081.一种用于评估系统中的神经网络模型的方法,所述系统包括经由网络互连的多个节点,其中每个节点包括多个区块,所述方法包括:经由入口树接收N乘M系数矩阵,其中所述N乘M系数矩阵被配置成控制所述神经网络模型,其中N是等于或大于8的整数,并且M是等于或大于8的整数;将所述N乘M系数矩阵的第一行存储在第一片上存储器中,并且将所述N乘M系数矩阵的第二行存储在第二片上存储器中,所述第一片上存储器被并入所述多个区块中的第一区块内,所述第二片上存储器被并入所述多个区块中的第二区块内;使用第一计算单元来处理经由所述入口树接收的所述N乘M系数矩阵的所述第一行和第一组输入向量,所述第一计算单元被并入所述多个区块中的所述第一区块内;以及使用第二计算单元来处理经由所述入口树接收的所述N乘M系数矩阵的所述第二行和第二组输入向量,所述第二计算单元被并入所述多个区块中的所述第二区块内。2.根据权利要求1所述的方法,其中处理所述第一行还包括:对所述N乘M系数矩阵的所述第一行和所述第一组输入向量执行第一逐点点积运算。3.根据权利要求1所述的方法,其中处理所述第二行还包括:对所述N乘M系数矩阵的所述第二行和所述第二组输入向量执行第二逐点点积运算。4.根据权利要求2所述的方法,还包括:经由出口树输出由所述第一逐点点积运算生成的第一组输出值,所述出口树被耦合到所述多个区块中的每个区块。5.根据权利要求3所述的方法,还包括:经由出口树输出由所述第二逐点点积运算生成的第二组输出值,所述出口树被耦合到所述多个区块中的每个区块。6.根据权利要求1所述的方法,其中所述N乘M系数矩阵包括与所述神经网络模型相对应的权重。7.根据权利要求1所述的方法,其中所述第一组输入向量和所述第二组输入向量中的每组输入向量包括输入向量的运行时值和输入向量的过去值。8.一种包括多个区块的硬件节点,所述硬件节点包括:入口树,被配置成接收N乘M系数矩阵,其中所述N乘M系数矩阵被配置成控制神经网络模型,其中N是等于或大于8的整数,并且M是等于或大于8的整数;第一片上存储器,被并入所述多个区块中的第一区块内,所述第一片上存储器被配置成存储所述N乘M系数矩阵的第一行;第二片上存储器,被并入所述多个区块中的...

【专利技术属性】
技术研发人员:J·弗沃斯E·S·钟
申请(专利权)人:微软技术许可有限责任公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1