词向量处理方法、装置以及设备制造方法及图纸

本说明书实施例公开了词向量处理方法、装置以及设备。所述方法包括：获取对语料分词得到的各词，建立各词的词向量，根据各词的词向量，以及各词在语料中的上下文词的词向量，对卷积神经网络进行训练，根据各词的词向量和训练后的卷积神经网络，获取各词的词向量的训练结果。 1

Word vector processing methods, devices and equipment

The embodiment of the specification discloses a word vector processing method, device and device. The methods include: obtaining the words obtained from the word segmentation word, establishing the word vector of each word, training the convolution neural network according to the vector of each word and the word vector of the context words in the corpus, and obtaining the training of word vectors of each word according to the word vector of each word and the convolution neural network after training. Result\u3002 One

【技术实现步骤摘要】
词向量处理方法、装置以及设备
本说明书涉及计算机软件
，尤其涉及词向量处理方法、装置以及设备。
技术介绍
如今的自然语言处理的解决方案，大都采用基于神经网络的架构，而在这种架构下一个重要的基础技术就是词向量。词向量是将词映射到一个固定维度的向量，该向量表征了该词的语义信息。在现有技术中，常见的用于生成词向量的算法比如包括：谷歌公司的词向量算法、微软公司的深度神经网络算法等。基于现有技术，需要一种更准确的词向量方案。
技术实现思路
本说明书实施例提供词向量处理方法、装置以及设备，用以解决如下技术问题：需要一种更准确的词向量方案。为解决上述技术问题，本说明书实施例是这样实现的：本说明书实施例提供的一种词向量处理方法，包括：获取对语料分词得到的各词；建立所述各词的词向量；根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练；根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果。本说明书实施例提供的一种词向量处理装置，包括：获取模块，获取对语料分词得到的各词；建立模块，建立所述各词的词向量；训练模块，根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练；处理模块，根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果。本说明书实施例提供的另一种词向量处理方法，包括：步骤1，建立通过对语料分词得到的各词构成的词汇表，所述各词不包括在所述语料中出现次数少于设定次数的词；跳转步骤2；步骤2，确定各词的总数量，相同的词只计一次；跳转步骤3；步骤3，为各词分别建立维度为所述数量的一个不同的1-hot词向量；跳转步骤4；步骤4，遍历分词后的所述语料，对遍历到的当前词执行步骤5，若遍历完成则执行步骤6，否则继续遍历；步骤5，以当前词为中心，向两侧分别滑动至多k个词建立窗口，将窗口中除当前词以外的词作为上下文词，并将所有上下文词的词向量输入卷积神经网络的卷积层进行卷积计算，卷积计算结果输入所述卷积神经网络的池化层进行池化计算，得到第一向量；将当前词以及在所述语料中选择的负样例词的词向量输入所述卷积神经网络的全连接层进行计算，分别得到第二向量和第三向量；根据所述第一向量、所述第二向量、所述第三向量，以及指定的损失函数，更新所述卷积神经网络的参数；所述卷积计算按照如下公式进行：所述池化计算按照如下公式进行：或者所述损失函数包括：其中，xi表示第i个上下文词的词向量，xi:i+θ-1表示将第i～i+θ-1个上下文词的词向量拼接得到的向量，yi表示通过所述卷积计算得到的向量的第i个元素，ω表示卷积层的权重参数，ζ表示卷积层的偏置参数，σ表示激励函数，max表示求最大值函数，average表示求平均值函数，c(j)表示池化计算后得到的所述第一向量的第j个元素，t表示上下文词的数量，c表示所述第一向量，w表示所述第二向量，w'm表示第m个负样例词对应的所述第三向量，ω表示卷积层的权重参数，ζ表示卷积层的偏置参数，表示全连接层的权重参数，τ表示全连接层的偏置参数，γ表示超参数，s表示相似度计算函数，λ表示负样例词的数量；步骤6，将所述各词的词向量分别输入训练后的所述卷积神经网络的全连接层进行计算，得到对应的词向量训练结果。本说明书实施例提供的一种词向量处理设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：对语料分词得到各词；建立所述各词的词向量；根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练；根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：卷积神经网络可以通过卷积计算和池化计算，对词的上下文整体语义信息进行刻画，提取更多的上下文语义信息，进而能够得到更为准确的词向量训练结果，因此，可以部分或者全部地解决上述技术问题。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图；图2为本说明书实施例提供的一种词向量处理方法的流程示意图；图3为本说明书实施例提供的实际应用场景下，一种卷积神经网络的结构示意图；图4为本说明书实施例提供的另一种词向量处理方法的流程示意图；图5为本说明书实施例提供的对应于图2的一种词向量处理装置的结构示意图。具体实施方式本说明书实施例提供词向量处理方法、装置以及设备。为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图。该整体架构中，主要涉及四部分：语料中的词、词的词向量及词在语料中的上下文词的词向量、卷积神经网络训练服务器。前三部分涉及的动作可以由相应的软件和/或硬件功能模块执行，比如，可以也由卷积神经网络训练服务器执行。词及其上下文词的词向量用于训练卷积神经网络，进而用训练后的卷积神经网络再对词向量进行推理，通过网络训练过程和词向量推理过程，实现了词向量训练，推理结果即为词向量训练结果。本说明书的方案适用于英文词的词向量，也适用于中文、日文和德文等任意语言的词向量。为了便于描述，以下各实施例主要针对英文词的场景，对本说明书的方案进行说明。图2为本说明书实施例提供的一种词向量处理方法的流程示意图。从设备角度而言，该流程的执行主体比如包括以下至少一种设备：个人计算机、大中型计算机、计算机集群、手机、平板电脑、智能可穿戴设备、车机等。图2中的流程可以包括以下步骤：S202：获取对语料分词得到的各词。在本说明书实施例中，所述各词具体可以是：语料中至少出现过一次的词中的至少部分词。为了便于后续处理，可以将各词保存在词汇表中，需要使用时从词汇表中读取词即可。需要说明的是，考虑到若某词在语料中出现的次数太少，则后续处理时相应的迭代次数也少，训练结果可信度相对低，因此，可以将这种词筛除，使其不包含在所述各词中。在这种情况下，所述各词具体是：语料中至少出现过一次的词中的部分词。S204：建立所述各词的词向量。在本说明书实施例中，所建立的词向量可以是初始化的词向量，需要通过训练后才能够较好地反映词义。为了保证方案的效果，在建立词向量时，可能会有一些限制条件。比如，一般不为不同词的建立相同的词向量；又比如，词向量中的元素取值一般不能全为0；等等。在本说明书实施例中，建立词向量的方式有多种，比如，建立独热(1-hot)词向量、或本文档来自技高网...

【技术保护点】
1.一种词向量处理方法，包括：

【技术特征摘要】
1.一种词向量处理方法，包括：获取对语料分词得到的各词；建立所述各词的词向量；根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练；根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果。2.如权利要求1所述的方法，所述建立所述各词的词向量，具体包括：确定所述各词的总数量；分别为所述各词建立维度为所述总数量的词向量，其中，所述各词的词向量互不相同，所述词向量中有一个元素为1，其余元素为0。3.如权利要求1所述的方法，所述根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练，具体包括：根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练。4.如权利要求3所述的方法，所述根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练，具体包括：对分词后的所述语料进行遍历，对遍历到的当前词执行：确定当前词在分词后的所述语料中的一个或多个上下文词以及负样例词；将当前词的上下文词的词向量输入卷积神经网络的卷积层进行卷积计算；将卷积计算结果输入所述卷积神经网络的池化层进行池化计算，得到第一向量；将当前词的词向量输入所述卷积神经网络的全连接层进行计算，得到第二向量，以及将当前词的负样例词的词向量输入所述卷积神经网络的全连接层进行计算，得到第三向量；根据所述第一向量、所述第二向量、所述第三向量，以及指定的损失函数，更新所述卷积神经网络的参数。5.如权利要求4所述的方法，所述进行卷积计算，具体包括：按照如下公式，进行卷积计算：其中，xi表示第i个上下文词的词向量，xi:i+θ-1表示将第i～i+θ-1个上下文词的词向量拼接得到的向量，yi表示通过所述卷积计算得到的向量的第i个元素，ω表示卷积层的权重参数，ζ表示卷积层的偏置参数，σ表示激励函数。6.如权利要求4所述的方法，所述进行池化计算，具体包括：进行最大化池化计算或者平均池化计算。7.如权利要求4所述的方法，所述根据所述第一向量、所述第二向量、所述第三向量，以及指定的损失函数，更新所述卷积神经网络的参数，具体包括：计算所述第二向量与所述第一向量的第一相似度，以及所述第三向量与所述第一向量的第二相似度；根据所述第一相似度、所述第二相似度，以及指定的损失函数，更新所述卷积神经网络的参数。8.如权利要求4所述的方法，所述损失函数具体包括：其中，c表示所述第一向量，w表示所述第二向量，w'm表示第m个负样例词对应的所述第三向量，ω表示卷积层的权重参数，ζ表示卷积层的偏置参数，表示全连接层的权重参数，τ表示全连接层的偏置参数，γ表示超参数，s表示相似度计算函数，λ表示负样例词的数量。9.如权利要求1所述的方法，所述根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果，具体包括：将所述各词的词向量分别输入训练后的所述卷积神经网络的全连接层进行计算，获得计算后输出的向量，作为对应的词向量训练结果。10.一种词向量处理装置，包括：获取模块，获取对语料分词得到的各词；建立模块，建立所述各词的词向量；训练模块，根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练；处理模块，根据所述各词的词向量和训练后的所述卷积神经网络，获取所述各词的词向量的训练结果。11.如权利要求10所述的装置，所述建立模块建立所述各词的词向量，具体包括：所述建立模块确定所述各词的总数量；分别为所述各词建立维度为所述总数量的词向量，其中，所述各词的词向量互不相同，所述词向量中有一个元素为1，其余元素为0。12.如权利要求10所述的装置，所述训练模块根据所述各词的词向量，以及所述各词在所述语料中的上下文词的词向量，对卷积神经网络进行训练，具体包括：所述训练模块根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练。13.如权利要求12所述的装置，所述训练模块根据所述各词的词向量，以及所述各词在所述语料中的上下文词和负样例词的词向量，对卷积神经网络进行训练，具体包括：所述训练模块对分词后的所述语料进行遍历，对遍历到的当前词执行：确定当前词在分词后的所述语料中的一个或多个上下文词以及负样例词；将当前词的上下文词的词向量输入卷积神经网络的卷积层进行卷积...

【专利技术属性】
技术研发人员：曹绍升，周俊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY