神经网络模型的高效处理制造技术

描述了一种计算装置的编译器，该编译器标识被计算装置的应用频繁调用的神经网络模型的序列，按照该序列编译模型，并且仅当来自先前调用的另一相同序列的相同编译后的模型并非在SRAM中已经存在时，才将编译后的模型加载到硬件加速器的静态随机存取存储器(SRAM)。这样防止了不必要地将编译后的模型重新加载到SRAM中，从而提高运行速度并节省计算能量。从而提高运行速度并节省计算能量。从而提高运行速度并节省计算能量。

【技术实现步骤摘要】
【国外来华专利技术】神经网络模型的高效处理


[0001]本公开涉及神经网络模型在硬件加速器上的高效处理。

技术介绍

[0002]各种移动装置应用(例如，相机应用、社交媒体应用等)可能都需要在硬件加速器上使用对应的神经网络模型。通常，硬件加速器的架构允许在其存储器中存储单个神经网络模型的参数，并且因此硬件加速器的编译器一次只能编译一个神经网络模型。当需要执行另一神经网络模型(例如，另一应用的模型)时，该神经网络模型的参数替换先前神经网络模型的参数。因此，当需要通过硬件加速器来处理先前的神经网络模型时，将这个模型的参数再次加载到硬件加速器的一个或多个存储器中。这样将参数重新加载到存储器中会消耗大量存储器和电力，从而导致延迟。

技术实现思路

[0003]描述了一种计算装置的编译器，该编译器标识被计算装置的应用频繁调用的神经网络模型的序列，按照该序列编译模型，并且仅当来自先前调用的另一相同序列的相同编译后的模型并非在SRAM中已经存在时，才将编译后的模型加载到硬件加速器的静态随机存取存储器(SRAM)。
[0004]在一个方面中，描述了一种通过编译本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由编译器执行的方法，所述方法包括：标识第一神经网络模型集，所述第一神经网络模型集在过去的预设时间量中已经在计算装置的硬件加速器上被执行超过阈值次数；标识所述第一模型集在所述硬件加速器上被执行的序列；编译所述第一神经网络模型集中的每个神经网络模型以用于由所述硬件加速器执行；以及对于所述第一神经网络模型集中的每个神经网络模型，将编译后的模型输出到所述硬件加速器以用于根据所述序列存储在所述硬件加速器的一个或多个存储器中，当所述第一神经网络模型集要在所述硬件加速器上再次被执行时，对于所述第一神经网络模型集中的每个神经网络模型根据所述序列对所述编译后的模型的所述存储防止需要将所述第一神经网络模型集的所述序列的编译结果再编译重新加载到所述一个或多个存储器中。2.根据权利要求1所述的方法，进一步包括：对于所述第一神经网络模型集中的每个神经网络模型，接收包括该神经网络模型的参数的数据结构，其中，所述编译进一步包括编译所述第一神经网络模型集中的每个神经网络模型的数据结构，以生成所述第一神经网络模型集中的每个神经网络模型的编译后的数据结构，所述编译后的数据结构是所述编译后的模型。3.根据权利要求1所述的方法，进一步包括：将相同的第一散列指派给所述序列中的每个编译后的模型；将所述第一散列连同所述序列中的每个编译后的模型一起输出到所述硬件加速器，以用于存储在所述硬件加速器的所述一个或多个存储器中；将相同的第二散列指派给模型的第二序列中的每个编译后的模型，所述第二序列在所述第一序列之后，当所述第二序列与所述第一序列相同时，所述第二散列与所述第一散列相同，当所述第二序列与所述第一序列不同时，所述第二散列与所述第一散列不同，其中：如果所述第二散列与所述第一散列不同，则所述硬件加速器被配置为利用所述一个或多个存储器中的所述第二序列中的每个编译后的模型替换所述一个或多个存储器中的所述第一序列中的每个编译后的模型；如果所述第二散列与所述第一散列相同，则所述硬件加速器被配置为防止从所述一个或多个存储器中擦除所述第一序列中的每个编译后的模型。4.根据权利要求1所述的方法，其中，所述第一神经网络模型集中的每个神经网络模型在过去已经在所述硬件加速器上被处理五次以上。5.根据权利要求4所述的方法，其中，所述编译器编译所述第一神经网络模型集，同时所述硬件加速器同时执行其他一个或多个神经网络模型的神经网络计算。6.根据权利要求1所述的方法，进一步包括：在预设时间间隔之后更新所述第一模型集的标识和所述序列的标识。7.根据权利要求6所述的方法，进一步包括：响应于所述第一神经网络模型集的所述编译故障，放弃更新达预设时间。8.根据权利要求7所述的方法，其中，所述放...

【专利技术属性】
技术研发人员：阿伦，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：