利用模型固定的神经网络处理制造技术

提供了用于神经网络处理的系统和方法。提供了一种在系统中的方法，该系统包括经由网络互连的多个节点，其中每个节点包括多个片上存储器块和多个计算单元。该方法包括在服务激活时接收与神经网络模型相对应的N×M矩阵系数。该方法包括将与神经网络模型相对应的系数加载到多个片上存储器块中以供多个计算单元处理。该方法包括：无论是否有对多个片上存储器块的利用作为神经网络模型的评估的一部分，都在多个片上存储器块中维持与神经网络模型相对应的系数直到服务被中断或神经网络模型被修改或替换。

Neural network processing with fixed model

【技术实现步骤摘要】
【国外来华专利技术】利用模型固定的神经网络处理
技术介绍
神经网络技术被用来执行诸如阅读理解、语言转换或语音识别之类的复杂任务。虽然神经网络可以执行这样的任务，但是使用通用CPU或通用GPU来部署神经网络是很昂贵的。另外，虽然相对于CPU，GPU提供增加的吞吐量，但它们具有较差的延迟。
技术实现思路
在一个示例中，本公开涉及一种用于评估与系统中的服务相对应的神经网络模型的方法，该系统包括经由网络互连的多个节点，其中每个节点包括多个片上存储器块和多个计算单元。该方法可以包括在服务激活时接收与神经网络模型相对应的N×M矩阵系数，其中N是等于或大于8的整数，并且M是等于或大于8的整数。该方法还可以包括：将与神经网络模型相对应的N×M矩阵系数加载到多个片上存储器块中，以用于由多个计算单元处理。该方法可以进一步包括，无论是否有对多个片上存储器块的利用作为神经网络模型的评估的一部分，都在多个片上存储器块中维持与多个神经网络模型相对应的N×M矩阵系数，直到服务被中断或神经网络模型被修改或替换。在另一示例中，本公开涉及一种用于评估与系统中的服务相对应的神经网络模型的方法，该系统包括经由网络互连的多个节点，其中每个节点包括多个片上本文档来自技高网...

【技术保护点】
1.一种用于评估与系统中的服务相对应的神经网络模型的方法，所述系统包括经由网络互连的多个节点，其中每个节点包括多个片上存储器块和多个计算单元，所述方法包括：在服务激活时，将所述神经网络模型分区成分离的层，其中每个层包括与所述神经网络模型相对应的N×M矩阵系数，其中N是等于或大于8的整数，并且M是等于或大于8的整数；将与所述神经网络模型相对应的所述N×M矩阵系数加载到所述多个片上存储器块中，以用于由所述多个计算单元处理；以及无论是否有对所述多个片上存储器块的利用作为所述神经网络模型的评估的一部分，都在所述多个片上存储器块中维持与所述神经网络模型相对应的所述N×M矩阵系数，直到所述服务被中断或所述...

【技术特征摘要】
【国外来华专利技术】2017.02.28 US 62/465,063;2017.06.29 US 15/637,6641.一种用于评估与系统中的服务相对应的神经网络模型的方法，所述系统包括经由网络互连的多个节点，其中每个节点包括多个片上存储器块和多个计算单元，所述方法包括：在服务激活时，将所述神经网络模型分区成分离的层，其中每个层包括与所述神经网络模型相对应的N×M矩阵系数，其中N是等于或大于8的整数，并且M是等于或大于8的整数；将与所述神经网络模型相对应的所述N×M矩阵系数加载到所述多个片上存储器块中，以用于由所述多个计算单元处理；以及无论是否有对所述多个片上存储器块的利用作为所述神经网络模型的评估的一部分，都在所述多个片上存储器块中维持与所述神经网络模型相对应的所述N×M矩阵系数，直到所述服务被中断或所述神经网络模型被修改或替换。2.根据权利要求1所述的方法，其中所述节点包括现场可编程门阵列(FPGA)，并且其中所述多个片上存储器块中的每个片上存储器块包括静态随机存取存储器块。3.根据权利要求2所述的方法，其中所述多个计算单元中的每个计算单元包括所述FPGA上的预先配置的资源集。4.根据权利要求1所述的方法，其中所述多个片上存储器块按行布置，并且其中所述多个计算单元中的每个计算单元被配置为在每个时钟周期处理所述行中的至少一行的至少一个子集。5.根据权利要求1所述的方法，其中将与所述神经网络模型相对应的所述N×M矩阵系数加载到所述多个片上存储器块中包括：经由广播块将与所述N×M矩阵系数相对应的数据流式传输到所述多个片上存储器块中，所述N×M矩阵系数对应于所述神经网络模型。6.根据权利要求5所述的方法，其中所述流式传输不包括响应于与所述N×M矩阵系数相关联的任何操作，...

【专利技术属性】
技术研发人员：E·S·钟，D·C·伯格，J·弗沃斯，K·奥恰洛夫，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US