【技术实现步骤摘要】
【国外来华专利技术】全局归一化神经网络相关申请的交叉引用本申请要求2016年3月18日提交的美国临时申请序列号62/310,491的优先权。该在先申请的公开内容被认为是本申请的公开内容的一部分，并且通过引用被并入本申请的公开内容中。
技术介绍
本说明书涉及使用神经网络的自然语言处理。神经网络采用一层或多层非线性单元来预测接收输入的输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每个层根据相应参数集的当前值从接收的输入生成输出。
技术实现思路
本说明书描述了在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统，其使用全局归一化神经网络来处理文本序列以生成决策序列。通常，本说明书中描述的主题的一个创新方面可以体现在在训练数据上训练具有参数的神经网络的方法中，其中神经网络被配置为接收输入状态并处理输入状态以针对决策集中的每个决策生成相应的得分。该方法包括接收第一训练数据的动作，第一训练数据包括多个训练文本序列、以及针对每个训练文本序列的对应的金决策序列。该方法包括在第一训练数据上训练神经网络的动作...
【技术保护点】
1.一种在训练数据上训练具有参数的神经网络的方法，其中，所述神经网络被配置为接收输入状态并且处理所述输入状态以针对决策集中的每个决策生成相应的得分，并且其中所述方法包括：接收第一训练数据，所述第一训练数据包括多个训练文本序列，并且针对每个训练文本序列，包括对应的金决策序列；以及在所述第一训练数据上训练所述神经网络，以根据所述神经网络的参数的第一值确定所述神经网络的所述参数的训练值，针对所述第一训练数据中的每个训练文本序列，包括：维持针对所述训练文本序列的预定数量的候选预测决策序列的波束；通过使用由所述神经网络根据所述神经网络的所述参数的当前值生成的得分，一次向每个候选预测决...
【技术特征摘要】
【国外来华专利技术】2016.03.18 US 62/310,4911.一种在训练数据上训练具有参数的神经网络的方法，其中，所述神经网络被配置为接收输入状态并且处理所述输入状态以针对决策集中的每个决策生成相应的得分，并且其中所述方法包括：接收第一训练数据，所述第一训练数据包括多个训练文本序列，并且针对每个训练文本序列，包括对应的金决策序列；以及在所述第一训练数据上训练所述神经网络，以根据所述神经网络的参数的第一值确定所述神经网络的所述参数的训练值，针对所述第一训练数据中的每个训练文本序列，包括：维持针对所述训练文本序列的预定数量的候选预测决策序列的波束；通过使用由所述神经网络根据所述神经网络的所述参数的当前值生成的得分，一次向每个候选预测决策序列添加一个决策来更新所述波束中的每个候选预测决策序列；在每次决策已被添加到每个候选预测决策序列之后，确定与对应于所述训练文本序列的金决策序列的前缀相匹配的金候选预测决策序列已经从所述波束中退出；以及响应于确定所述金候选预测决策序列已经从所述波束中退出，执行梯度下降的迭代以优化取决于所述金候选预测决策序列和当前在所述波束中的所述候选预测序列的目标函数。2.根据权利要求1所述的方法，还包括：接收第二训练数据，所述第二训练数据包括多个训练文本序列，并且针对每个训练文本序列，包括相应的金决策序列；以及在所述第二训练数据上预训练所述神经网络，以通过优化目标函数来根据所述神经网络的所述参数的初始值确定所述神经网络的所述参数的第一值，所述目标函数取决于对于每个训练文本序列由所述神经网络生成的、针对对应于所述训练文本序列的所述金决策序列中的决策的得分，以及取决于对针对所述金决策序列中的决策生成的得分的局部归一化。3.根据权利要求1或2中任一项所述的方法，其中，所述神经网络是全局归一化神经网络。4.根据权利要求1-3中任一项所述的方法，其中，所述决策集是依赖关系解析的可能的解析元素集，并且其中，所述金决策序列是对应的训练文本序列的依赖性解析。5.根据权利要求1-3中任一项所述的方法，其中，所述决策集是可能的词性标签集，并且其中，所述金决策序列是包括针对在所述对应的训练文本序列中的每个单词的相应的词性标签的序列。6.根据权利要求1-3中任一项所述的方法，其中，所述决策集包括指示所述单词应该被包括在所述输入文本序列的压缩表示中的保持标签、以及指示所述单词不应该被包括在所述输入文本序列的压缩表示中的丢弃标签，并且其中，所述金决策序列是包括针对在所述对应的训练文本序列中的每个单词的相应的保持标签或丢弃标签的序列。7...
【专利技术属性】
技术研发人员：C阿尔贝蒂，A塞弗因，D安多尔，S佩特罗夫，KG甘切夫，DJ韦斯，MJ柯林斯，A普雷斯塔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。