利用网络中的路径来表示神经网络以提高神经网络的性能制造技术

人工神经网络(ANN)是一种通过考虑例子学习执行任务来模拟人脑的计算系统。通过利用分别将ANN的输入连接到ANN的输出的各个路径表示人工神经网络，可以降低ANN的复杂性，与使用全连接的ANN图的实现相比，ANN可以以快得多的方式被训练和实现。

【技术实现步骤摘要】
利用网络中的路径来表示神经网络以提高神经网络的性能优先权本申请要求2018年3月26日提交的，题为“线性神经网络(LINEARNEURALNETWORKS)”的申请号为62/648,263(卷号：NVIDP1217+/18BR0082US01)的美国临时申请的权益，其全部内容通过引用合并于此。
本专利技术涉及人工神经网络，并且更具体地，涉及使用网络内的路径表示神经网络。
技术介绍
人工神经网络(ANN)是一种常用的计算系统，其可以处理各种各样的任务，例如分类、图像识别、回归、函数逼近、根据经学习的分布的数据样本等。然而，目前的全连接ANN的实现本质上是二次型的，而且实现、训练和操作在计算上是昂贵和耗时的。此外，当前的硬件处理单元必须利用线性算法以提高效率。因此，需要在时间和存储器空间上实现带有线性复杂度的ANN。附图说明图1示出了根据一个实施例的、用于实施线性神经网络的方法的流程图。图2示出了根据一个实施例的并行处理单元。图3A示出了根据一个实施例的、在图2的并行处理单元中的通用处理集群。图3B示出了根据一个实施例的、图2的并行处理单元的存储器分区单元。图4A示出了根据一个实施例的、图3A的流多处理器。图4B是根据一个实施例的、使用图2中的PPU实现的处理系统的概念图。图4C示出了示例性的系统，其中可以实现前面各种实施例的各种体系架构和/或功能。图5是根据一个实施例的、由图2中的PPU实现的图形处理管线的概念图。图6示出了根据一个实施例的、人工神经网络的示例性的有向图。图7示出了根据一个实施例的、对到作为ReLU神经单元的半空间的投射的示例性的解释。图8示出了根据一个实施例的、两个丢弃(dropout)实例与一个分区实例的示例性的比较。图9示出了根据一个实施例的、在人工神经网络中的示例性的选中路径。图10示出了根据一个实施例的、对在推理(和训练)期间在线的整个特征层的激活进行子采样。图11示出了根据一个实施例的、用于生成连接人工神经网络中的一组神经单元的路径的方法的流程图。图12示出了根据一个实施例的、用于压缩人工神经网络的方法的流程图。图13示出了根据一个实施例的、用于执行网络归一化的方法的流程图。详细描述人工神经网络(ANN)是一种计算系统，其通过考虑例子学习执行任务从而模拟人脑。这些ANN通常是通过使用连接来连接多个神经单元层来创建的，其中每个神经单元直接或间接地连接到其他每个神经单元，从而在ANN中创建全连接层。然而，与在ANN中的全连接层相比，通过利用从ANN的输入到ANN的输出的路径来表示人工神经网络，可降低ANN的复杂度，并且ANN可以被训练并以快得多的方式来实现。图1示出了根据一个实施例的、实现线性神经网络的方法100的流程图。虽然方法100是在处理单元的上下文中描述的，但是方法100也可以由程序、定制电路或定制电路和程序的组合来执行。例如，方法100可以由GPU(图形处理单元)、CPU(中央处理单元)、FPGA(现场可编程门阵列)或任何能够执行对ANN的评估和/或训练的处理器或可重新配置处理器执行。进一步地，本领域技术人员将理解，执行方法100的任何系统都在本专利技术实施例的范围和精神之内。如操作102所示，人工神经网络(ANN)被创建，该人工神经网络由多个路径表示，每个路径将该ANN的至少一个输入连接到该ANN的至少一个输出。此外，所述多个路径中的每个路径包含多个顶点以及多个边，每个顶点表示所述ANN内的神经单元，每个边表示所述ANN内的加权连接。在一个实施例中，输入数据由ANN处理以产生输出数据。在另一个实施例中，输入数据可以包括一个或更多个图像数据、文本数据、音频数据、视频数据、随机数、伪随机数或准随机数等。在另一个实施例中，可以使用嵌入函数将输入数据映射到由ANN处理的浮点值向量。在另一个实施例中，嵌入可以由人工神经网络本身表示。在另一个实施例中，输出数据可以包括一个或更多个分类(classification)、归类(categorization)、概率、回归、函数逼近(functionapproximation)、根据经学习的分布的数据样本(例如生成式对抗网络(GAN))等。在另一个实施例中，输入数据可以包括环境数据(例如，对汽车周围环境的已记录的图像数据等)，输出数据可以包括环境数据中一个或更多个对象的识别/分类(例如汽车、骑自行车者、行人等)。在另一个实施例中，使用标记的输入训练数据对ANN进行训练。例如，该训练可以是半监督的、未监督的等。在另一个实施例中，ANN是增强学习机器的核心，用于采取行动并近似一个值。在这种情况下，通过对马尔可夫链的仿真，以半监督的方式训练ANN。另一方面，ANN被用来预测下一项数据，并通过提供包含将被预测的下一数据的训练数据，以一种无监督的方式进行训练。此外，在一个实施例中，所述多个路径中的每一个都可以包括路径序列。在另一个实施例中，可将路径序列划分为多个相邻块，以创建由路径序列表示的一系列人工神经网络。在另一个实施例中，通过执行一个或更多个随机采样、伪随机采样和准随机采样，可以生成多个路径中的每一个。在另一个实施例中，可以在硬件中执行伪随机采样和准随机采样。在另一个实施例中，可以给定路径的部分，并且缺失的部分可以像前面描述的那样生成。在另一个实施例中，路径可以逐路径生成，也可以逐代生成，即每次对所有路径同时生成一个步骤。进一步地，在一个实施例中，可以在另一个ANN上执行采样。在另一个实施例中，可以在ANN的全连接层上执行采样，以确定多个路径。在另一个实施例中，所述多个路径可以包括所述ANN的全连接层或所述ANN的卷积层内的所有可能的路径的子集的一个或更多个。例如，另一个ANN可以包含多个层，其中每个层包括一组神经单元(例如顶点)。如果另一个ANN是全连接的，则该另一个ANN的一层内的每个神经单元(顶点)(通过边)连接到前一层内的所有神经单元以及后一层内的所有神经单元。这些连接称为边。以这种方式，全连接的ANN的所有神经单元都直接或间接地相互连接。此外，这些路径可以通过采样另一个ANN中神经单元层之间的所有连接(边)的子集来生成。例如，在另一个ANN中的一个输入层和第一层之间，可以采样连接输入层中的一个顶点和第一层顶点的一条边。然后可以对连接另一ANN中的第一层顶点与第二层顶点的边进行采样。这可以一直进行下去，直到完整的路径被采样，该路径利用ANN的每个中间层中的一个顶点经由边将输入层中的顶点连接到ANN的输出层的顶点。这可以针对输入层的所有顶点和输出层的所有顶点执行，并且另一ANN的输入层的每个顶点经由一个边的完整的路径经由ANN的中间层连接到输出层的唯一的顶点。此外，在一个实施例中，可以使用任意网络图，通过均匀地采样路径创建网络。在另一个实施例中，任意网络图可以包括未经训练的ANN。在另一个实施例中，可从未经训练的ANN中选择多个路径，并可用于创建表示未经训练的ANN的另一个ANN。在另一个实施例中，接着可以训练该另一个ANN。同样，在一个实施例中，加权连接可以确定地初始化。例如，ANN中的每个加权连接都可以用一个常数值初始化。在另一个实施例中，加权连接可以用来自低差异序列的值初始化。此外，在一个实施例中，可以通过对与该ANN层本文档来自技高网...

【技术保护点】
1.一种方法，包括：创建由多条路径表示的人工神经网络(ANN)，每条所述路径将所述ANN的至少一个输入连接到所述ANN的至少一个输出，其中所述多条路径中的每条路径包括多个顶点以及多个边，每个顶点表示所述ANN中的神经单元，每个边表示所述ANN中的经加权的连接。

【技术特征摘要】
2018.03.26 US 62/648,263;2019.03.13 US 16/352,5961.一种方法，包括：创建由多条路径表示的人工神经网络(ANN)，每条所述路径将所述ANN的至少一个输入连接到所述ANN的至少一个输出，其中所述多条路径中的每条路径包括多个顶点以及多个边，每个顶点表示所述ANN中的神经单元，每个边表示所述ANN中的经加权的连接。2.根据权利要求1所述的方法，其中所述多条路径中的每条路径包括路径的序列。3.根据权利要求2所述的方法，其中所述路径的序列被划分为多个相邻块，以创建由所述路径的序列表示的一系列人工神经网络。4.根据权利要求1所述的方法，其中通过执行以下中的一个或更多个来生成所述多条路径中的每条路径：随机抽样，伪随机抽样，以及准随机抽样。5.根据权利要求4所述的方法，其中所述伪随机抽样和所述准随机抽样在硬件中执行。6.根据权利要求1所述的方法，其中通过均匀采样路径、利用任意的网络图来创建所述ANN。7.根据权利要求1所述的方法，其中确定地初始化所述经加权的连接。8.根据权利要求7所述的方法，其中以具有低偏差序列的值或常数值的数字来初始化所述经加权的连接。9.根据权利要求1所述的方法，其中通过对与所述ANN的层的多个给定权重成比例的所述多条路径进行采样来创建所述ANN。10.根据权利要求9所述的方法，其中采样所述多条路径包括子采样卷积权重。11.根据权利要求10所述的方法，其中卷积权重是每个滤波器单独或全部子采样的。12.根据权利要求9所述的方法，其中选择所述多条路径，而不执行与权重的任何乘法。13.根据权利要求1所述的方法，其中所述ANN是通过对与所述ANN的层的多个给定激活成比例的所述多条路径进行采样而创建的。14.根据权利要求13所述的方法，其中在所述ANN的训练以及利用所述ANN执行的推断中的至少一个的过程中，选择与所述多个...

【专利技术属性】
技术研发人员：A·凯勒，G·莫尔迪多，N·甘博亚，M·V·基尔斯布里克，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国,US