生成文档的矢量表示制造技术

包括在计算机存储介质上编码的计算机程序的方法、系统以及装置，用于生成文档矢量表示。所述方法中的一个包括：获得新文档；以及使用经训练的神经网络系统来确定所述新文档的矢量表示，其中，所述经训练的神经网络系统已被训练成接收输入文档以及来自所述输入文档的单词序列并且生成单词集中的每个单词的相应单词分数，其中，所述相应单词分数中的每一个都表示对应单词跟随所述输入文档中的所述序列中的最后一个单词的预测似然率，并且其中，使用经训练的神经网络系统来确定所述新文档的矢量表示包括迭代地将所述多个单词序列中的每一个提供给所述经训练的神经网络系统以使用梯度下降来确定所述新文档的所述矢量表示。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
本说明书涉及使用数据处理系统的文本分类。文本分类系统能够对电子文本段进行分类，例如电子文档。例如，文本分类系统能够将文本段分类为与预定的主题集中的一个或多个相关。一些文本分类系统接收文本段的特征作为输入并且使用所述特征来生成所述文本段的分类。神经网络是机器学习模型，其采用模型的一个或多个层来生成针对所接收的输入的输出，例如分类。一些神经网络除输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作到网络中的下一层的输入，即，网络的下一个隐藏层或者输出层。网络的每个层都根据相应的参数集的当前值而从所接收的输入中生成输出。
技术实现思路
一般而言，在本说明书中所述主题的一个创新方面能够被体现在包括以下动作的方法中：获得新文档，其中，所述新文档包括多个单词序列，并且针对每个单词序列包括跟随所述新文档中的所述单词序列中的最后一个单词的单词；以及使用经训练的神经网络系统来确定所述新文档的矢量表示，其中，所述经训练的神经网络系统已被训练成接收输入文档以及来自所述输入文档的单词序列并且生成预定单词集中的每个单词的相应单词分数，其中，所述相应单词分数中的每一个都表示对应单词跟随所述输入文档中的所述序列中的最后一个单词的预测似然率，并且其中，使用经训练的神经网络系统来确定所述新文档的矢量表示包括迭代地将所述多个单词序列中的每一个提供给所述经训练的神经网络系统以使用梯度下降来确定所述新文档的所述矢
量表示。该方面的其他实施例包括对应的计算机系统、装置以及被记录在一个或多个计算机存储设备上的计算机程序，每个计算机存储设备都被配置成执行所述方法的所述动作。一个或多个计算机的系统能够被配置成借助具有软件、固件、硬件或其组合而执行特定的操作或动作，这些被安装于所述系统上，所述系统在操作中致使所述系统执行所述动作。一个或多个计算机程序能够被配置成借助包括当由数据处理装置执行时使得所述装置执行所述动作的指令而执行特定的操作或动作。这些及其他方面能够可选择地包括以下特征中的一个或多个。所述经训练的神经网络系统能够包括被配置成将所述输入文档以及来自所述输入文档的单词序列中的每个单词映射到相应的矢量表示的嵌入层、被配置成将所述矢量表示组合到组合表示内的组合层以及被配置成使用所述组合表示生成所述单词分数的分类器层。所述嵌入层能够根据第一参数集而将所述单词序列中的单词映射到矢量表示，并且所述分类器层能够根据第二参数集而从所述组合表示中生成所述单词分数。所述第一参数集的值以及上述第二参数集的值可以从训练所述神经网络系统以生成所述单词分数开始被固定。使用经训练的神经网络系统来确定所述新文档的矢量表示能够包括对于所述多个单词序列中的每一个执行梯度下降的相应迭代，以调节来自梯度下降的先前迭代的所述新文档的所述矢量表示。对于所述多个序列中的每一个执行梯度下降的相应迭代能够包括：使用所述嵌入层将所述序列中的单词中的每一个映射到矢量表示；将所述序列中的单词的矢量表示与来自先前迭代的所述新文档的矢量表示进行组合以生成组合表示；从所述组合表示中生成单词分数；使用所述单词分数以及跟随所述新文档中的所述序列的单词来计算梯度；以及使用所
述梯度来调节来自先前迭代的所述新文档的所述矢量表示。所述组合层能够被配置成将所述序列中的单词的矢量表示与所述输入文档的矢量表示相连结。所述组合层能够被配置成对所述序列中的单词的矢量表示与所述输入文档的矢量表示取平均值。所述多个单词序列中的每一个都能够包含固定数目的单词。一般而言，在本说明书中所述主题的另一个创新方面能够被体现在包括以下动作的方法中：获得多个训练文档，其中，所述多个训练文档中的每个文档包括多个训练单词序列，并且针对每个单词序列包括跟随所述训练文档中的所述训练单词序列中的最后一个单词的单词；以及使用梯度下降以及反向传播来依靠所述训练文档中的每一个训练神经网络系统，其中，所述神经网络系统被配置成接收识别输入文档以及来自所述输入文档的输入单词序列的数据并且生成预定单词集中的每个单词的相应单词分数，其中，所述相应单词分数中的每一个都表示对应单词跟随所述输入文档中的所述序列中的最后一个单词的预测似然率，并且其中，依靠所述训练文档中的每一个训练所述神经网络系统包括针对每个训练文档，对于所述训练文档中的每个单词序列执行梯度下降的相应迭代。该方面的其他实施例包括对应的计算机系统、装置以及记录在一个或多个计算机存储设备上的计算机程序，每个计算机存储设备都被配置成执行所述方法的所述动作。这些及其他方面能够可选择地包括以下特征中的一个或多个。所述神经网络系统能够包括被配置成将所述输入文档以及来自所述输入文档的单词序列中的每个单词映射到相应的矢量表示的嵌入层、被配置成将所述矢量表示组合到组合表示内的组合层以及被配置成使用所述组合表示生成所述单词分数的分类器层。所述嵌入层能够根据第一参数集而将所述单词序列中的单词映射到矢量表示，并且所述分类器层能够根据第二参数集而从所述组合表示中生成所述单词分数。对于
所述训练文档中的所述多个单词序列中的每一个执行梯度下降的相应迭代能够包括：使用所述嵌入层将所述序列中的单词中的每一个映射到矢量表示；使用所述嵌入层将指示所述训练文档的所述数据映射到矢量表示；将所述序列中的单词的矢量表示与来自先前迭代的所述新文档的矢量表示进行组合以生成组合表示；从所述组合表示中生成单词分数；使用所述单词分数以及跟随所述训练文档中的所述序列的单词来计算梯度；以及使用所述梯度来调节所述第二参数集的值。执行梯度下降的相应迭代能够进一步包括使用反向传播来调节所述第一参数集的值。所述组合层能够被配置成将所述序列中的单词的矢量表示与所述输入文档的矢量表示相连结。所述组合层能够被配置成对所述序列中的单词的矢量表示与所述输入文档的矢量表示取平均值。所述多个单词序列中的每一个都能够包含固定数目的单词。本说明书中所述的主题的特定实施例能够被实施以便实现以下优点中的一个或多个。能够例如由文本分类系统将用作文档的特征的所述文档的矢量表示有效地生成。神经网络系统能够被训练以仅使用未经标记的训练文档来生成所述文档表示。由所述经训练的神经网络系统生成的所述矢量表示能够具有多个期望的属性。例如，与不包括在语义上类似的内容的两个文档的文档矢量表示相比，在语义上类似的文档能够具有更接近的文档矢量表示。在附图以及下面的描述中阐明了本说明书的主题的一个或多个实施例的细节。通过说明书、附图和权利要求，所述主题的其他特征、方面和优势将变得显而易见。附图说明图1示出了示例矢量表示系统。图2是用于确定新文档的文档矢量表示的示例过程的流程图。图3是用于依靠来自训练文档的单词序列来训练神经网络系统的示例过程的流程图。图4是用于调节新文档的文档矢量表示的示例过程的流程图。在各图中相同的附图标号和标记指示相同的元素。具体实施方式图1示出了示例矢量表示系统100。矢量表示系统100是作为一个或多个位置中的一个或多个计算机上的计算机程序所实现的系统的示例，能够在其中实现下述的系统、组件以及技术。矢量表示系统100生成来自输入文档的单词序列的单词分数，例如，来自输入文档102的单词序列106的单词分数126。单词序列106的单词分数126包括预定本文档来自技高网...

【技术保护点】
一种方法，包括：获得新文档，其中，所述新文档包括多个单词序列，并且针对每个单词序列，包括跟随所述新文档中的所述单词序列中的最后一个单词的单词；以及使用经训练的神经网络系统来确定所述新文档的矢量表示，其中，所述经训练的神经网络系统已被训练用于接收输入文档以及来自所述输入文档的单词序列，并且用于生成预定单词集中的每个单词的相应单词分数，其中，所述相应单词分数中的每一个表示对应单词跟随所述输入文档中的所述序列中的最后一个单词的预测似然率，并且其中，使用所述经训练的神经网络系统来确定所述新文档的所述矢量表示包括：迭代地将所述多个单词序列中的每一个提供给所述经训练的神经网络系统，以使用梯度下降来确定所述新文档的所述矢量表示。

【技术特征摘要】
【国外来华专利技术】2014.01.31 US 61/934,6741.一种方法，包括：获得新文档，其中，所述新文档包括多个单词序列，并且针对每个单词序列，包括跟随所述新文档中的所述单词序列中的最后一个单词的单词；以及使用经训练的神经网络系统来确定所述新文档的矢量表示，其中，所述经训练的神经网络系统已被训练用于接收输入文档以及来自所述输入文档的单词序列，并且用于生成预定单词集中的每个单词的相应单词分数，其中，所述相应单词分数中的每一个表示对应单词跟随所述输入文档中的所述序列中的最后一个单词的预测似然率，并且其中，使用所述经训练的神经网络系统来确定所述新文档的所述矢量表示包括：迭代地将所述多个单词序列中的每一个提供给所述经训练的神经网络系统，以使用梯度下降来确定所述新文档的所述矢量表示。2.如权利要求1所述的方法，其中，所述经训练的神经网络系统包括：嵌入层，所述嵌入层被配置成将所述输入文档以及来自所述输入文档的所述单词序列中的每个单词映射到相应的矢量表示；组合层，所述组合层被配置成将所述矢量表示组合成组合表示；以及，分类器层，所述分类器层被配置成使用所述组合表示来生成所述单词分数。3.如权利要求2所述的方法，其中，根据第一参数集，所述嵌入层将所述单词序列中的所述单词映射到矢量表示，并且其中，根据第二参数集，所述分类器层从所述组合表示中生成所述单词分数。4.如权利要求3所述的方法，其中，自从训练所述神经网络系统以生成所述单词分数，所述第一参数集的值以及所述第二参数集的
\t值是固定的。5.如权利要求2所述的方法，其中，使用所述经训练的神经网络系统来确定所述新文档的所述矢量表示包括：对于所述多个单词序列中的每一个执行梯度下降的相应迭代，以调节来自梯度下降的先前迭代的所述新文档的所述矢量表示。6.如权利要求5所述的方法，其中，对于所述多个序列中的每一个执行梯度下降的相应迭代包括：使用所述嵌入层，将所述序列中的所述单词中的每一个映射到矢量表示；将所述序列中的所述单词的所述矢量表示与来自所述先前迭代的所述新文档的所述矢量表示进行组合，以生成组合表示；从所述组合表示中生成单词分数；使用所述单词分数以及跟随所述新文档中的所述序列的所述单词来计算梯度；以及使用所述梯度来调节来自所述先前迭代的所述新文档的所述矢量表示。7.如权利要求2所述的方法，其中，所述组合层被配置成将所述序列中的所述单词的所述矢量表示与所述输入文档的所述矢量表示相连结。8.如权利要求2所述的方法，其中，所述组合层被配置成对所述序列中的所述单词的所述矢量表示与所述输入文档的所述矢量表示取平均值。9.如权利要求1所述的方法，其中，所述多个单词序列中的每一个包含固定数目的单词。10.一种方法，包括：获得多个训练文档，其中，所述多个训练文档中的每个文档包括多个训练单词序列，并且针对每个单词序列，包括跟随所述训练文档中的所述训练单词序列中的最后一个单词的单词；以及使用梯度下降以及反向传播，来依靠所述训练文档中的每一个训练神经网络系统，其中，所述神经网络系统被配置成接收识别输入文档以及来自所述输入文档的输入单词序列的数据，并且生成预定单词集中的每个单词的相应单词分数，其中，所述相应单词分数中的每一个表示对应单词跟随所述输入文档中的所述序列中的最后一个单词的预测似然率，并且其中，依靠所述训练文档中的每...

【专利技术属性】
技术研发人员：国·V·勒，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US