利用自我修正代码减少神经网络的计算量制造技术

在各种实施方式中，提供了用于减少神经网络处理的系统和方法。编译器可以从具有可重复操作集的神经网络的源代码生成指令。所述指令可以包含多个块。所述编译器可以向所述多个块添加覆写指令，当所述覆写指令由一个或多个执行引擎执行时触发覆写动作。所述覆写动作使后续块的指令被NOP指令覆写。只有在满足条件时才会触发所述覆写动作。才会触发所述覆写动作。才会触发所述覆写动作。

【技术实现步骤摘要】
【国外来华专利技术】利用自我修正代码减少神经网络的计算量

技术介绍

[0001]人工智能是寻求建立能够以人类的方式做出决定的智能机器的研究和工程领域。人工神经网络属于人工智能的子领域，称为机器学习。机器学习是研究赋予计算机学习能力而无需明确编程的研究领域。实现机器学习算法的程序能够学习执行任务，而不需要程序中的明确代码来解释每种可能性或所有可能的行为。
[0002]神经网络的架构可以包含输入层、输出层和一些中间层，通常被称为隐藏层。每一层对前一层的输出执行计算，最后一层(输出层)提供最终结果。有了更多的层，理论上，神经网络可以执行更复杂的任务，诸如语言翻译和识别(或分类)图像的内容。具有三个以上隐藏层的神经网络有时被称为深度神经网络。深度神经网络可以有许多隐藏层，诸如，例如，五层到一千多层之间。
[0003]神经网络可以使用中央处理单元(CPU)来执行计算。然而，CPU倾向于为顺序计算而不是并行计算进行优化，因此可能具有较差的响应时间。图形处理单元(GPU)为并行计算进行了优化，但不一定能将一个计算单元的结果直接提供给另一个计算单元。通常情况下，结果必须先写到存储器中，然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由用于神经网络的编译器从源代码中生成多个指令块，其中，每个指令块包含每个块共有的指令集，并且其中，基于条件将所述指令集执行多达多次迭代；为所述多个块中的指令块生成覆写指令，其中，执行所述覆写指令触发覆写动作，所述覆写动作使所述多个块中的后续块的指令被无操作(NOP)指令覆写；以及将所述覆写指令添加到所述指令块。2.根据权利要求1所述的方法，其中，所述覆写动作使直接存储器访问(DMA)引擎以所述NOP指令覆写所述后续块的所述指令。3.根据权利要求1至2中任一项所述的方法，其中，所述覆写指令被添加到所述指令块的末端。4.根据权利要求1至3中任一项所述的方法，其中，当所述条件得到满足时，执行所述覆写指令触发所述覆写动作。5.根据权利要求1至4中任一项所述的方法，其中，所述指令集对应于在所述神经网络的节点或层中执行的可重复操作集。6.根据权利要求1至5中任一项的所述方法，进一步包括：生成评估指令，当执行所述评估指令时，致使确定是否满足所述条件；以及将所述评估指令添加到所述指令块。7.根据权利要求1至6中任一项所述的方法，其中，所述覆写动作使所述评估指令在所述后续块中被NOP指令覆写。8.根据权利要求1至7中任一项所述的方法，进一步包括：由所述编译器识别用于所述神经网络的所述源代码中的可重复操作集，其中，所述覆写指令是响应于识别所述可重复操作集而生成的。9.根据权利要求1至8中任一项所述的方法，其中，所述编译器将所述覆写指令添加到所述多个块中的每个块。10.一种非暂时性计算机可读存储介质，包括指令，当所述指令由处理器执行时，使所述处理...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：亚马逊技术股份有限公司，
类型：发明
国别省市：