增强神经网络制造技术

方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于利用附加操作增强神经网络。方法之一包括由管理表示计算图系统的用户的神经网络操作的计算图的执行的计算图系统维护指定多个预训练的神经网络的数据，其中，预训练的神经网络中的每一个是已经对训练数据进行训练以确定该神经网络的相应参数的已训练值的神经网络；获得指定表示神经网络操作的用户计算图的数据，该用户计算图包括通过边连接的多个节点；识别(i)用户计算图中的第一节点之后的插入点和(ii)来自多个预训练的神经网络中的特定预训练的神经网络；以及将远程调用节点插入到用户计算图中。

Enhanced neural network

【技术实现步骤摘要】
【国外来华专利技术】增强神经网络相关申请的交叉引用本申请要求于2017年9月15日提交的美国专利申请No.62/559,463的优先权，其全部内容通过引用合并于此。
技术介绍
本说明书涉及使用神经网络处理输入。机器学习模型接收输入，并基于接收到的输入生成输出，例如，预测输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型的参数的值生成输出。一些机器学习模型是采用多层模型对于接收到的输入生成输出的深度模型。例如，深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，每个隐藏层将非线性变换应用于接收到的输入以生成输出。一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从输入序列生成输出序列的神经网络。特别地，递归神经网络使用在处理输入序列中的先前输入之后的网络的内部状态的部分或全部来从输入序列中的当前输入生成输出。
技术实现思路
本说明书描述一种实施为在一个或多个位置的一个或多个计算机上的计算机程序的系统如何利用由不同的、单独的已训练的神经网络执行的操作来增强表示神经网络操作的计算图。可以实施本说明书中描述本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n通过计算图系统维护指定多个预训练的神经网络的数据，所述计算图系统管理表示所述计算图系统的用户的神经网络操作的计算图的执行，其中，所述预训练的神经网络中的每一个是已经对训练数据进行训练以确定该神经网络的相应参数的已训练值的神经网络；/n获得指定表示神经网络操作的用户计算图的数据，所述用户计算图包括通过边连接的多个节点；/n识别(i)所述用户计算图中的第一节点之后的插入点和(ii)来自所述多个预训练的神经网络中的特定预训练的神经网络；以及/n将远程调用节点插入到所述用户计算图中，其中，所述远程调用节点被配置为，在所述用户计算图的执行期间：/n接收由所述用户计算图的所述第一节...

【技术特征摘要】
【国外来华专利技术】20170915 US 62/559,4631.一种方法，包括：
通过计算图系统维护指定多个预训练的神经网络的数据，所述计算图系统管理表示所述计算图系统的用户的神经网络操作的计算图的执行，其中，所述预训练的神经网络中的每一个是已经对训练数据进行训练以确定该神经网络的相应参数的已训练值的神经网络；
获得指定表示神经网络操作的用户计算图的数据，所述用户计算图包括通过边连接的多个节点；
识别(i)所述用户计算图中的第一节点之后的插入点和(ii)来自所述多个预训练的神经网络中的特定预训练的神经网络；以及
将远程调用节点插入到所述用户计算图中，其中，所述远程调用节点被配置为，在所述用户计算图的执行期间：
接收由所述用户计算图的所述第一节点生成的输出张量，
使用远程调用提供所述输出张量作为特定已训练的神经网络的输入，
响应于所述远程调用，获得由所述特定已训练的神经网络生成的网络输出，以及
提供由所述特定已训练的神经网络生成的所述网络输出作为所述远程调用节点的输出；
接收所述用户计算图的图输入；以及
对所述图输入利用所述插入的远程调用节点执行所述用户计算图。


2.根据权利要求1所述的方法，其中，由所述用户计算图表示的所述神经网络操作是第一神经网络的推断操作。


3.根据权利要求1所述的方法，其中，由所述用户计算图表示的所述神经网络操作是用于训练第一神经网络的训练操作。


4.根据权利要求1-3中的任一项所述的方法，其中，识别所述插入点和所述特定预训练的神经网络包括：
从用户设备的用户接收指定所述插入点和所述特定预训练的神经网络的用户输入。


5.根据权利要求1-3中的...

【专利技术属性】
技术研发人员：谢里·摩尔，杰里迈亚·哈姆森，诺亚·菲德尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US