在机器学习中对神经网络的拓扑的高效学习和使用制造技术

本申请公开了在机器学习中对神经网络的拓扑的高效学习和使用。描述了一种用于促进在自主机器处的机器学习中对神经网络拓扑的学习和应用的机制。如本文中所描述的实施例的一种方法包括：监测和检测与对在具有处理器的计算装置处的机器学习操作相关的神经网络的结构学习；以及基于所述神经网络中的一个或多个的一个或多个拓扑而生成递归生成模型。所述方法可以进一步包括：将所述生成模型转换成判别模型。

【技术实现步骤摘要】
在机器学习中对神经网络的拓扑的高效学习和使用本申请要求由YehezkelRohekar(耶海兹克尔·罗厄卡尔)等人于2017年5月5日提交的题为EFFICIENTLEARNINGANDUSINGOFTOPOLOGIESOFNEURALNETWORKSINMAHCINELEARNING(在机器学习中对神经网络的拓扑的高效学习和使用)的美国临时申请号62/501,794的权益和优先权，所述美国临时申请通过引用结合在此。
本文所描述的实施例总体上涉及数据处理，并且更具体地涉及促进在自主机器处进行的机器学习中对深度学习神经网络的拓扑的高效学习和使用。
技术介绍
当前的并行图形数据处理包括被开发用于对图形数据执行如例如线性内插、曲面细分、光栅化、纹理映射、深度测试等特定操作的系统和方法。传统地，图形处理器使用固定功能计算单元来处理图形数据；然而，最近，部分图形处理器已经被制成是可编程的，使得这种处理器能够支持更广泛的操作以处理顶点和片段数据。为了进一步提高性能，图形处理器通常实现如流水线处理等处理技术，所述处理技术尝试在图形流水线的不同部分中并行处理尽可能多的图形数据。具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理量最大化。在SIMT架构中，多组并行线程尝试尽可能经常地同步执行程序指令，以提高处理效率。ShaneCook(肖恩·库克)的《CUDAProgramming(CUDA编程)》的第3章第37至51页(2013年)和/或NicholasWilt(尼古拉斯·威尔特)的《CUDAHandbook,AComprehensiveGuidetoGPUProgramming(CUDA手册——GUP编程综合指南)》的第2.6.2至3.1.2章节(2013年6月)中可以找到关于SIMT架构的软件和硬件的总体概述。机器学习已经成功解决了许多种任务。在训练和使用机器学习算法(例如，神经网络)时产生的计算自然地适应于高效并行实现。因此，如通用图形处理单元(GPGPU)等并行处理器已经在深度神经网络的实际实现中起到了重要作用。具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理量最大化。在SIMT架构中，多组并行线程尝试尽可能经常地同步执行程序指令，以提高处理效率。通过并行机器学习算法实现提供的效率允许使用大容量网络，并且使那些网络能够通过较大数据集进行训练。附图说明在附图中通过示例的方式而不是通过限制的方式来展示了实施例，在附图中，相同参考号指代类似元件。为了能够详细理解以上述特征的方式，可以通过参考实施例具有对上文简述的更具体说明，附图中展示了所述实施例中的一些。然而，要指出的是，附图仅仅展示了典型实施例，并且因此不应被认为是对本专利技术范围的限制，因为附图可以展示其他等效实施例。图1是框图，展示了被配置成实现本文所述实施例的一个或多个方面的计算机系统。图2A至图2D展示了根据实施例的并行处理器部件。图3A和图3B是根据实施例的图形多处理器的框图。图4A至图4F展示了其中多个图形处理单元通信地耦合至多个多核处理器的示例性架构。图5是根据实施例的图形处理流水线的概念图。图6展示了根据一个实施例的托管拓扑学习和应用机制的计算装置。图7展示了根据一个实施例的拓扑学习和应用机制。图8展示了根据一个实施例的递归深度生成模型。图9A展示了根据一个实施例的逆图模型。图9B展示了根据一个实施例的具有双向连接的逆模型。图9C展示了根据一个实施例的判别模型。图9D展示了根据一个实施例的图模型的另一个实施例。图9E展示了根据一个实施例的图模型的另一个实施例。图9F展示了根据一个实施例的图模型的另一个实施例。图10展示了根据实施例的机器学习软件栈。图11展示了根据实施例的高度并行的通用图形处理单元。图12展示了根据实施例的多GPU计算系统。图13A展示了示例性深度神经网络的层。图13B展示在卷积神经网络CNN的卷积层内的示例性计算阶段。图14展示了对深度神经网络的训练和部署。图15展示了对深度神经网络的训练和部署图16是框图，展示了分布式学习。图17展示了适合于使用经训练模型来执行推理的示例性推理芯片上系统(SOC)。图18是具有处理器的计算机系统的实施例的框图，所述处理器具有一个或多个处理器核和图形处理器。图19是处理器的一个实施例的框图，所述处理器具有一个或多个处理器核、集成存储器控制器、以及集成图形处理器。图20是图形处理器的一个实施例的框图，所述图形处理器可以是分立的图形处理单元、或者可以是与多个处理核集成的图形处理器。图21是用于图形处理器的图形处理引擎的实施例的框图。图22是图形处理器的另一实施例的框图。图23是包括处理元件阵列的线程执行逻辑的框图。图24展示了根据实施例的图形处理器执行单元指令格式。图25是图形处理器的另一实施例的框图，所述图形处理器包括图形流水线、媒体流水线、显示引擎、线程执行逻辑、以及渲染输出流水线。图26A是框图，展示了根据实施例的图形处理器命令格式。图26B是框图，展示了根据实施例的图形处理器命令序列。图27展示了根据实施例的数据处理系统的示例性图形软件架构。图28是框图，展示了根据实施例的可以用于制造用于执行操作的集成电路的IP核开发系统。图29是框图，展示了根据实施例的可以使用一个或多个IP核来制作的示例性芯片上系统集成电路。图30是框图，展示了芯片上系统集成电路的示例性图形处理器。图31是框图，展示了芯片上系统集成电路的附加示例性图形处理器。具体实施方式实施例提供了一种用于使用生成式且无监督的无标签数据来学习判别式且有监督的深度学习网络(DNN)的高效且硬件友好的拓扑的系统且数学上合理的新颖技术。在一个实施例中，提供了一种用于学习如概率模型等深度潜变量模型(LVM)的新颖技术。进一步地，在一个实施例中，提供了一种用于将如深度LVM等模型转换成桥接两个机器学习域(如概率图模型和神经网络)的DNN的新颖技术。这允许以高效且系统的方式来处理大规模问题。实施例提供了一种用于学习自动拓扑的技术，所述自动拓扑：1)学习由能够被并行处理的较小子拓扑组成的其他拓扑，如供并行和顺序执行的食谱；2)使用无标签数据(无监督学习)；3)在数学上合理且一致，从而保证找到最优解决方案(在某些假设下)；并且4)足够灵活以向单个问题提供一系列拓扑，其中，解决方案可能因其计算成本而有所不同。实施例提供了方法中途放弃(methodologicaldropout)，如每次训练迭代时都随机丢弃(drop)神经元的训练技巧。这种新颖技术提供了从数据的统计信息中学习中途放弃时间表，其中，共同地并且以及时的方式丢弃多组神经元，例如，与常用的随机中途放弃形成对比的方法中途放弃。这允许提前知道哪些神经元将被丢弃并且能够通过相关硬件促进以实现更高的效率。进一步地，相比使用常见中途放弃技术来训练的情况，使用这种新颖技术来训练的网络有可能具有更高或不同的准确度。实施例提供了一种用于进行深度神经网络分解以生成并行和顺序执行时间表并且实现可能地每子网络(可学习)精度级别的存储器共享的新颖技术。例如，用于使用时间表来将给定深度网络分解成一组较小的独立网络以供执行和存储器共享的新颖技术。这种新本文档来自技高网...

【技术保护点】
1.一种用于促进在机器学习中对神经网络拓扑的学习和应用的设备，所述设备包括：检测/观察逻辑，所述检测/观察逻辑如由处理器促进或至少部分地结合到所述处理器中，用于监测和检测与在具有所述处理器的所述设备处的机器学习操作相关的神经网络；生成模型逻辑，所述生成模型逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于基于所述神经网络中的一个或多个的一个或多个拓扑而生成递归生成模型；以及判别模型逻辑，所述判别模型逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于将所述生成模型转换成判别模型。

【技术特征摘要】
2017.05.05 US 62/501,794;2017.07.26 US 15/659,8531.一种用于促进在机器学习中对神经网络拓扑的学习和应用的设备，所述设备包括：检测/观察逻辑，所述检测/观察逻辑如由处理器促进或至少部分地结合到所述处理器中，用于监测和检测与在具有所述处理器的所述设备处的机器学习操作相关的神经网络；生成模型逻辑，所述生成模型逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于基于所述神经网络中的一个或多个的一个或多个拓扑而生成递归生成模型；以及判别模型逻辑，所述判别模型逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于将所述生成模型转换成判别模型。2.如权利要求1所述的设备，其中，所述生成模型是无监督的并且基于无标签数据，并且其中，所述判别模式是有监督的并且基于深度标签深度神经网络拓扑，其中，所述判别模型是从所述生成模型中学习到的。3.如权利要求1所述的设备，其中，所述判别模型逻辑进一步用于将所述生成模型逆转成多个逆模型，其中，在所述多个逆模型中的每一个中添加了双向连接以连接具有公共父节点的潜变量，从而将所述多个逆模型合并成单个逆模型。4.如权利要求3所述的设备，其中，所述判别模型逻辑进一步用于通过移除所述双向连接并且向潜在叶添加充当子节点的类节点来将所述逆模型转换成所述判别模型。5.如权利要求1所述的设备，进一步包括：中途放弃逻辑，所述中途放弃逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于对来自所述神经网络中的一个或多个的神经元执行方法中途放弃，其中，所述方法中途放弃是根据基于与所述神经元相关的历史统计数据的预测性来执行的；分解逻辑，所述分解逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于生成并行和顺序执行时间表以便采用所述神经网络中的所述一个或多个的子网络精度级别进行存储器共享；以及实时学习/更新逻辑，所述实时学习/更新逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于基于与所述神经网络的网络拓扑相关的当前可用数据和历史可用数据中的至少一项来对所述神经网络的所述拓扑执行实时学习和更新。6.如权利要求1所述的设备，进一步包括：结构学习逻辑，所述结构学习逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于促进端到端结构学习和子网络结构学习中的至少一种；以及训练和特征逻辑，所...

【专利技术属性】
技术研发人员：R·Y·耶海兹凯罗厄卡，G·科伦，S·尼斯莫，G·诺维克，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US