【技术实现步骤摘要】
【国外来华专利技术】神经网络的半监督训练
本说明书涉及一种训练神经网络。
技术介绍
神经网络是采用非线性单元的一个或多个层来针对接收到的输入预测输出的机器学习模型。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一个层(即，下一个隐藏层或输出层)的输入。网络的每个层根据一相应组的参数的当前值来从接收到的输入生成输出。
技术实现思路
本说明书描述了作为计算机程序实现在一个或多个位置中的一个或多个计算机上的系统，所述系统训练神经网络，所述神经网络具有网络参数并且被配置为接收输入数据项目并处理输入数据项目，以根据网络参数来生成输入数据项目的嵌入。特别地，系统以半监督方式(即，使用已标记训练项目和未标记训练项目两者)训练神经网络。在一些方面中，方法和相对应的系统包括：获得已标记训练项目的标记批次，其中标记批次中的每个已标记训练项目与识别已标记训练项目所属的类别的相应的标记相关联；使用神经网络并根据网络参数的当前值来处理标记批次中的已标记训练项目，以针对已标记训练项目中的每一个生成相应的嵌入；获得未标记训练项目的未标记批次；使用神经网络并根据网络参数的当前值来...
【技术保护点】
1.一种训练神经网络的方法，所述神经网络具有多个网络参数并且被配置为接收输入数据项目并处理所述输入数据项目以根据所述网络参数来生成所述输入数据项目的嵌入，所述方法包括：获得已标记训练项目的标记批次，其中，所述标记批次中的每个已标记训练项目与识别所述已标记训练项目所属的类别的相应标记相关联；使用所述神经网络并根据所述网络参数的当前值来处理所述标记批次中的所述已标记训练项目，以针对每个所述已标记训练项目生成相应的嵌入；获得未标记训练项目的未标记批次；使用所述神经网络并根据所述网络参数的当前值来处理所述未标记批次中的所述未标记训练项目，以针对每个所述未标记训练项目生成相应的嵌入；...
【技术特征摘要】
【国外来华专利技术】2016.11.15 US 62/422,5501.一种训练神经网络的方法，所述神经网络具有多个网络参数并且被配置为接收输入数据项目并处理所述输入数据项目以根据所述网络参数来生成所述输入数据项目的嵌入，所述方法包括：获得已标记训练项目的标记批次，其中，所述标记批次中的每个已标记训练项目与识别所述已标记训练项目所属的类别的相应标记相关联；使用所述神经网络并根据所述网络参数的当前值来处理所述标记批次中的所述已标记训练项目，以针对每个所述已标记训练项目生成相应的嵌入；获得未标记训练项目的未标记批次；使用所述神经网络并根据所述网络参数的当前值来处理所述未标记批次中的所述未标记训练项目，以针对每个所述未标记训练项目生成相应的嵌入；确定多个相似性值，每个相似性值测量用于相应的已标记训练项目的嵌入与用于相应的未标记训练项目的嵌入之间的相似性；根据所述相似性值确定用于多个往返路径中的每一个的相应的往返路径概率，其中，每个往返路径从用于相应的起始已标记训练项目的嵌入开始，转到用于相应的未标记训练项目的嵌入，并且返回到用于相应的结束已标记训练项目的嵌入；以及执行神经网络训练过程的迭代，以确定对所述网络参数的所述当前值的第一值更新，所述第一值更新减小用于不正确的往返路径的往返路径概率，其中，不正确的往返路径是所述起始已标记训练项目和所述结束已标记训练项目具有不同的标记的往返路径。2.根据权利要求1所述的方法，进一步包括：提供指定经训练的神经网络的数据，以用于生成新输入数据项目的嵌入。3.根据权利要求1或2中的任何一项所述的方法，其中，确定用于多个往返路径中的每一个的相应的往返路径概率包括：基于用于所述往返路径的所述起始已标记训练项目的嵌入与用于所述往返路径的所述未标记训练项目的嵌入之间的所述相似性值来确定从用于所述往返路径的所述起始已标记训练项目的嵌入到用于所述往返路径的所述未标记训练项目的嵌入的前向路径的前向路径概率；基于用于所述往返路径的所述未标记训练项目的嵌入与用于所述往返路径的所述结束已标记训练项目的嵌入之间的所述相似性值来确定从用于所述往返路径的所述未标记训练项目的嵌入到用于所述往返路径的所述结束已标记训练项目的嵌入的后向路径的后向路径概率；以及根据所述前向路径概率和所述后向路径概率来确定所述往返路径概率。4.根据权利要求3所述的方法，其中，执行所述神经网络训练过程的迭代包括：执行所述迭代以确定对所述网络参数的当前值...
【专利技术属性】
技术研发人员：菲利普·霍伊瑟，亚历山大·莫德温特塞夫，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。