用于从卷积提前退出的系统、方法和设备技术方案

本文中所公开的包括用于从卷积提前退出的系统、方法和设备。在一些实施例中，至少一个处理元件(PE)电路被配置为针对与具有操作数集的点积运算相对应的神经网络的节点使用操作数集的子集来执行计算，以生成操作数集的子集的点积值。至少一个PE电路可以将操作数集的子集的点积值与阈值进行比较。至少一个PE电路可以至少基于比较的结果来确定是否激活神经网络的节点。网络的节点。网络的节点。

【技术实现步骤摘要】
【国外来华专利技术】用于从卷积提前退出的系统、方法和设备


[0001]本公开大体上涉及针对神经网络的处理，包括但不限于从神经网络的AI加速器中的卷积提前退出。

技术介绍

[0002]机器学习正在各种不同的计算环境中实现，例如，包括计算机视觉、图像处理等。一些机器学习系统可以包含神经网络(例如，人工神经网络)。然而，从处理的观点和从能源效率的观点两者来看，神经网络的这种实现在计算上可能是昂贵的。

技术实现思路

[0003]根据本专利技术，提供了一种从卷积提前退出的方法，该方法包括：由至少一个处理元件(PE)针对与具有操作数集的点积运算相对应的神经网络的节点使用操作数集的子集来执行计算，以生成操作数集的子集的点积值；由至少一个PE电路将操作数集的子集的点积值与阈值进行比较；以及由至少一个PE电路至少基于比较的结果来确定是否激活神经网络的节点。
[0004]在一些实施例中，该方法可选地包括由至少一个PE电路标识操作数集的子集以执行计算。在一些实施例中，该方法可选地包括选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少低一定量。在一些实施例中，方法可选地包括选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少高一定量。
[0005]可选地，该方法包括重新排列操作数集以执行计算。在一些实施例中，该方法可选地包括通过重新排列神经网络的神经网络图来重新排列操作数集。在一些实施例中，方法可选地包括重新排列神经网络的神经网络图的至少一些节点或层的操作数。在一些实施例中，该方法可选地包括至少基于神经网络的输出的期望的精度来设置阈值。在一些实施例中，该方法可选地包括至少基于节能水平来设置阈值，该节能水平是通过使用操作数集的子集而不是使用操作数集中的全部执行计算而可被实现的。在一些实施例中，操作数集可选地包括节点的权重或核(例如，核元件)。
[0006]根据本专利技术，还提供了一种用于从卷积提前退出的设备，该设备包括至少一个处理元件(PE)电路，被配置为：针对与具有操作数集的点积运算相对应的神经网络的节点使用操作数集的子集来执行计算，以生成操作数集的子集的点积值；将操作数集的子集的点积值与阈值进行比较；以及至少基于比较的结果来确定是否激活神经网络的节点。
[0007]在一些实施例中，至少一个PE电路还可选地被配置为标识操作数集的子集以执行计算。在一些实施例中，至少一个PE电路还可选地被配置为选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少低一定量。在一些实施例中，至少一个PE电路还可选地被配置为选择若干操作数作为操作数集的子集，该若干操作数使部分点积值比阈值至少高一定量。
[0008]在一些实施例中，该设备还可选地包括处理器，该处理器被配置为重新排列操作
数集以执行计算。在一些实施例中，处理器可选地被配置为通过重新排列神经网络的神经网络图来重新排列操作数集。在一些实施例中，该设备还可选地包括处理器，该处理器被配置为重新排列神经网络的神经网络图的至少一些节点或层的操作数。在一些实施例中，该设备还可选地包括处理器，该处理器被配置为至少基于神经网络的输出的期望的精度来设置阈值。在一些实施例中，处理器可选地被配置为至少基于节能水平来设置阈值，该节能水平是通过使用操作数集的子集而不是使用操作数集中的全部执行计算而可被实现的。在一些实施例中，操作数集可选地包括节点的权重或核。
[0009]在下面详细讨论这些和其他方面以及实现将。前述信息以下具体实施方式包括各个方面和实现的说明性示例，并且提供用于理解所要求保护的方面和实现的性质和特征的概述或框架。图提供对各个方面和实现的图示和进一步理解，并且并入本说明书中并构成本说明书的一部分。
附图说明
[0010]无意按比例绘制附图。相同的参考标号和标记在各个图中指示相同的元件。为了清楚起见，在每个图中可以不不标记每个组件。
[0011]图1A是根据本公开的示例实现的用于执行人工智能(AI)相关处理的系统的实施例的框图。
[0012]图1B是根据本公开的示例实现的用于执行人工智能(AI)相关处理的设备的实施例的框图。
[0013]图1C是根据本公开的示例实现的用于执行人工智能(AI)相关处理的设备的实施例的框图。
[0014]图1D示出了根据本公开的示例实现的代表计算系统的框图。
[0015]图2A是根据本公开的示例实现的用于从卷积提前退出的设备的框图。
[0016]图2B是图示了根据本公开的示例实现的用于从卷积提前退出的过程的流程图。
具体实施方式
[0017]在转向详细图示了某些实施例的图之前，应理解的是，本公开并不限于说明书中所述或图中所示的细节或方法。还应理解的是，本文中所使用的术语仅出于描述的目的，而不应被视为限制。
[0018]出于阅读下面对本专利技术的各个实施例的描述，本说明书的章节以及其相应内容的以下描述可能是有帮助的：
[0019]‑
A节描述了环境、系统、配置和/或其他方面，对实践或实现本系统、方法和设备的实施例是有用的；以及
[0020]‑
节B描述了用于从卷积提前退出的设备、系统和方法的实施例。
[0021]用于人工智能相关处理的环境
[0022]在B节中讨论系统、设备和/或方法的实施例的细节之前，讨论对实践或实现系统、设备和/或方法的某些实施例有用的环境、系统、配置和/或其他方面可能是有帮助的。现在参考图1A，描绘了用于执行人工智能(AI)相关处理的系统的实施例。在简要概述中，系统包括一个或多个AI加速器108，可以使用输入数据110来执行AI相关处理。尽管被称为AI加速
器108，但是有时也被称为神经网络加速器(NNA)、神经网络芯片或硬件、AI处理器、AI芯片等。(多个)AI加速器108可以根据输入数据110和/或参数128(例如，权重和/或偏差信息)来执行AI相关处理，以输出或提供输出数据112。AI加速器108可以包括和/或实现一个或多个神经网络114(例如，人工神经网络)、一个或多个(多个)处理器24和/或一个或多个存储设备126。
[0023]在硬件、或者硬件与软件的组合中实现上述元件或组件中的每一个。例如，这些元件或组件中的每一个可以包括任何应用、程序、库、脚本、任务、服务、过程、或者任何类型和形式的可执行指令，它们在硬件上执行，诸如电路系统，其可以包括数字和/或模拟元件(例如，一个或多个晶体管、逻辑门、寄存器、存储器设备、电阻元件、导电元件、电容元件)。
[0024]输入数据110可以包括任何类型或形式的数据，用于配置、调整、训练和/或激活(多个)AI加速器108的神经网络和/或用于由(多个)处理器124处理。神经网络114有时被称为人工神经网络(ANN)。配置、调整和/或训练神经网络可以指或包括机器学习过程，其中训练数据集(例如，作为输入数据110)，诸如历史数据，被提供给神经网络，以进行处理。调整或配置可以指或包括对神经网络114进行训练或处理，以允许本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于从卷积提前退出的方法，所述方法包括：由至少一个处理元件(PE)电路针对与具有操作数集的点积运算相对应的神经网络的节点使用所述操作数集的子集来执行计算，以生成所述操作数集的所述子集的点积值；由所述至少一个PE电路将所述操作数集的所述子集的所述点积值与阈值进行比较；以及由所述至少一个PE电路至少基于所述比较的结果来确定是否激活所述神经网络的所述节点。2.根据权利要求1所述的方法，还包括由所述至少一个PE电路标识所述操作数集的所述子集，以执行所述计算。3.根据权利要求1或2所述的方法，还包括选择若干操作数作为所述操作数集的所述子集，所述若干操作数使部分点积值比所述阈值至少低一定量。4.根据权利要求1至3中的任一项所述的方法，还包括选择若干操作数作为所述操作数集的所述子集，所述若干操作数使部分点积值比所述阈值至少高一定量。5.根据权利要求1至4中的任一项所述的方法，还包括重新排列所述操作数集，以执行所述计算，其中所述操作数是通过重新排列所述神经网络的神经网络图而被重新排列的。6.根据权利要求1至5中的任一项所述的方法，还包括重新排列所述神经网络的神经网络图的至少一些节点或层的操作数，并且其中所述阈值是基于节能水平而可被设置的，所述节能水平是通过使用所述操作数集的所述子集而不是使用所述操作数集中的全部执行所述计算而可实现的。7.根据权利要求1至6中的任一项所述的方法，还包括至少基于所述神经网络的输出的期望的准确性来设置所述阈值。8.根据权利要求1至7中的任一项所述的方法，其中所述操作数集包括所述节点的权重或核。9.一种用于从卷积提前退出的设备，所述设备包...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：