一种句向量生成方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种句向量生成方法、装置及电子设备。所述句向量生成方法包括：确定目标文本中的目标语句；确定目标语句的前N个第一语句以及目标语句的后M个第二语句；获取每一第一语句和每一第二语句的句向量；将每一第一语句和每一第二语句的句向量，作为预设句向量预测模型的输入参数，通过预设句向量预测模型，预测出目标语句的目标句向量。本发明专利技术实施中，在生成目标语句的句向量时，不再是基于目标语句的词向量，而是基于目标语句的前后语句，并通过预设句向量预测模型，预测目标语句的句向量。由于不同语言环境中目标语句的前后语句，相似的概率较低，因此，这样得到的句向量，能够较好的对目标语句的语义信息进行表达，准确度较高。

A method, device and electronic equipment of sentence vector generation

【技术实现步骤摘要】
一种句向量生成方法、装置及电子设备
本专利技术实施例涉及自然语言处理
，尤其涉及一种句向量生成方法、装置及电子设备。
技术介绍
在很多自然语言处理(NaturalLanguageProcessing，简称NLP)任务中，经常需要将一个句子表达成一个向量，用于后续的分类、聚类等处理。现有技术中，在获得一个句子的向量表示时，是基于词向量来获得句子的句向量。现有的句向量表达方法在简单语言环境中能够有效地对句子的语义信息进行表达，在下游任务中能够获得较好的效果。但是对于某些复杂的语言环境，目前的句向量表达方法并不能获得很好的效果。比如对于下面两个句子：A：如何更改登录密码？B：如何更改支付密码？显然，A和B两个句子表达的是不同的含义，但是如果使用目前的句向量表达方法来获取相应的句子向量，则没有办法很好地将A和B两个句子区分开。原因是目前主流的句向量表达方法，都是基于词向量来学习句子向量，而词向量的获取都是基于上下文环境，即：词的语义是由其上下文决定的，上下文相近的词，其语义也相近。因此对于像A和B这种语境的句子，只有个别词不一样，其上下文完全一样，通过这种方式学习得到的“登录”的词向量和“支付”的词向量在向量空间非常近，不具备区分性，不能充分表达对应词的语义。因此，基于这种词向量学习得到的句向量，对语义信息的表达效果可能差，不够准确。
技术实现思路
本专利技术实施例提供一种句向量生成方法、装置及电子设备，以解决现有技术中，基于词向量得到的句向量，存在对语义信息的表达不够准确的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种句向量生成方法，包括：确定目标文本中的目标语句；其中，所述目标文本包括至少两个语句，所述目标语句为所述至少两个语句中的一个语句；确定所述目标语句的前N个第一语句以及所述目标语句的后M个第二语句，N与M均为大于或等于1的整数；获取每一所述第一语句和每一所述第二语句的句向量；将每一所述第一语句和每一所述第二语句的句向量，作为预设句向量预测模型的输入参数，通过所述预设句向量预测模型，预测出所述目标语句的目标句向量。第二方面，本专利技术实施例还提供了一种句向量生成装置，包括：第一确定模块，用于确定目标文本中的目标语句；其中，所述目标文本包括至少两个语句，所述目标语句为所述至少两个语句中的一个语句；第二确定模块，用于确定所述目标语句的前N个第一语句以及所述目标语句的后M个第二语句；其中，N与M均为大于或等于1的整数；第一获取模块，用于获取每一所述第一语句和每一所述第二语句的句向量；生成模块，用于将每一所述第一语句和每一所述第二语句的句向量，作为预设句向量预测模型的输入参数，通过所述预设句向量预测模型，预测出所述目标语句的目标句向量。第三方面，本专利技术实施例还提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的句向量生成方法中的步骤。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的句向量生成方法中的步骤。本专利技术实施中，在生成目标语句的句向量时，不再是基于目标语句的词向量，而是基于目标语句的前后语句，并通过预设句向量预测模型，预测目标语句的句向量。由于不同语言环境中目标语句的前后语句，相似的概率较低，因此，这样得到的句向量，能够较好的对目标语句的语义信息进行表达，准确度较高。附图说明图1表示本专利技术实施例提供的句向量生成方法的流程图示意图；图2表示本专利技术实施例提供的步骤104的子步骤流程示意图；图3表示本专利技术实施例提供的步骤103的子步骤流程示意图；图4表示本专利技术实施例提供的句向量生成过程的示意图之一；图5表示本专利技术实施例提供的模型训练的示意图；图6表示本专利技术实施例提供的句向量生成过程的示意图之二；图7表示本专利技术实施例提供的encoder-decoder模型框架的示意图；图8表示本专利技术实施例提供的示例中句向量生成过程的示意图之一；图9表示本专利技术实施例提供的示例中句向量生成过程的示意图之二；图10表示本专利技术实施例提供的示例中句向量生成过程的示意图之三；图11表示本专利技术实施例提供的示例中句向量生成过程的示意图之四；图12表示本专利技术的实施例提供的句向量生成装置的框图示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本专利技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本专利技术的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。依据本专利技术实施例的一个方面，提供了一种句向量生成方法，应用于电子设备。该电子设备可以包括但不限于：手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备以及计步器等中的任意一种。如图1所示，该句向量生成方法包括：步骤101：确定目标文本中的目标语句。这里所述的目标文本包括至少两个语句。对于目标文本，在进行语句划分时，可基于标点符号进行，如基于逗号、句号、省略号、分号、感叹号等标点符号。本专利技术实施例中，在将一段文本中的每个语句表达(即生成)为句向量时，首先需要确定待表达为句向量的目标语句，以便后续针对该目标语句进行处理。步骤102：确定目标语句的前N个第一语句以及目标语句的后M个第二语句。其中，N与M均为大于或等于1的整数。本专利技术实施例中，在确定目标语句后，则可以基于该目标语句，确定出目标文本中该目标语句之前预设数量的第一语句以及该目标语句之后预设数量的第二语句。其中，第一语句与第二语句均是在后续处理过程中用于生成目标语句的句向量的语句。这里N与M的数值可根据实际需求选择，如取N与M的数值均为1、2或3。当然可以理解的，N与M的数值可以相等，也可以不等，具体情况根据实际需求设计即可。步骤103：获取每一第一语句和每一第二语句的句向量。本步骤中，根据每一第一语句和每一第二语句，生成每一第一语句和每一第二语句对应的句向量，以便为后续目标语句的目标句向量的生成做准备。对于本步本文档来自技高网...

【技术保护点】
1.一种句向量生成方法，其特征在于，包括：/n确定目标文本中的目标语句；其中，所述目标文本包括至少两个语句，所述目标语句为所述至少两个语句中的一个语句；/n确定所述目标语句的前N个第一语句以及所述目标语句的后M个第二语句；其中，N与M均为大于或等于1的整数；/n获取每一所述第一语句和每一所述第二语句的句向量；/n将每一所述第一语句和每一所述第二语句的句向量，作为预设句向量预测模型的输入参数，通过所述预设句向量预测模型，预测出所述目标语句的目标句向量。/n

【技术特征摘要】
1.一种句向量生成方法，其特征在于，包括：
确定目标文本中的目标语句；其中，所述目标文本包括至少两个语句，所述目标语句为所述至少两个语句中的一个语句；
确定所述目标语句的前N个第一语句以及所述目标语句的后M个第二语句；其中，N与M均为大于或等于1的整数；
获取每一所述第一语句和每一所述第二语句的句向量；
将每一所述第一语句和每一所述第二语句的句向量，作为预设句向量预测模型的输入参数，通过所述预设句向量预测模型，预测出所述目标语句的目标句向量。


2.根据权利要求1所述的句向量生成方法，其特征在于，所述获取每一所述第一语句和每一所述第二语句的句向量，包括：
分别对每一所述第一语句以及每一所述第二语句进行分词；
分别获取每一所述第一语句以及每一所述第二语句的分词对应的词向量；
分别将每一所述第一语句以及每一所述第二语句的分词对应的词向量，输入到预设网络模型，获得每一所述第一语句和每一所述第二语句的句向量；
其中，所述预设网络模型为循环神经网络模型或长短期记忆网络模型。


3.根据权利要求1所述的句向量生成方法，其特征在于，在通过所述预设句向量预测模型，预测出所述目标语句的目标句向量之前，所述句向量生成方法还包括：
通过至少两组样本数据，对所述预设句向量预测模型进行训练，并在所述预设句向量预测模型输出的向量与目标样本语句的初始句向量之间的距离小于或等于预设距离值，或所述样本数据的组数达到预设数值时，停止训练；
其中，每组所述样本数据包括：目标样本文本中的目标样本语句的初始句向量，以及所述目标样本语句的前N个第一样本语句以及所述目标样本语句的后M个第二样本语句。


4.根据权利要求3所述的句向量生成方法，其特征在于，在通过至少两组样本数据，对所述预设句向量预测模型进行训练之前，所述句向量生成方法还包括：
对所述目标样本语句进行分词，并获取每个分词对应的词向量；
计算所有词向量的均值向量；
将所述均值向量确定为所述目标样本语句的初始句向量。


5.根据权利要求1所述的句向量生成方法，其特征在于，在所述目标文本中，若所述目标语句之前的语句的数量X小于N时，则默认存在N个所述第一语句，并设置所述目标语句之前的第N-X个语句以及第N-X个语句之前的语句，对应的句向量为第一预设句向量；
在所述目标语句之后的语句的数量Y小于M时，默认存在M个所述第二语句，并设置所述目标语句之后的第Y+1个语句以及第Y+1个语句之后的语句，对应的句向量为第二预设句向量。

【专利技术属性】
技术研发人员：贺宇，佟子健，茹立云，
申请(专利权)人：北京葡萄智学科技有限公司，
类型：发明
国别省市：北京;11