语句生成方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种语句生成方法、装置、设备及存储介质，属于人工智能领域。所述方法包括：获取输入序列；对输入序列进行编码处理得到语句特征向量；对语句特征向量进行解码得到第一预定数量的候选语句序列；对第一预定数量的候选语句序列进行聚类得到至少两类语句序列集合；从至少两类语句序列集合中筛选出第二预定数量的候选语句序列，第二预定数量的候选语句序列包括至少两种语句特征类型；根据第二预定数量的候选语句序列，确定输入序列对应的输出序列。本申请通过对解码得到的多个候选语句序列进行聚类和筛选，使得产生的多个候选语句序列包括至少两种语句特征类型，进而使得输出的输出序列存在较大的多样性，提高了语句生成效果。

Statement Generation Method, Device, Equipment and Storage Media

【技术实现步骤摘要】
语句生成方法、装置、设备及存储介质
本申请实施例涉及人工智能领域，特别涉及一种语句生成方法、装置、设备及存储介质。
技术介绍
语句生成方法可以用于任何功能的对话系统、机器翻译系统、问答系统、自动写作系统、阅读理解系统中，尤其适用于需要大信息量以及多样性的对话系统中。基于深度学习的语句生成方法是当前发展的方向，在获取到用户输入的语句序列后，其生成输出序列的方法包括：将输入的语句序列编码成向量；对向量进行解码得到输出序列。上述方法在生成输出序列的过程中，还不能有效的处理输入的语句序列，造成输出序列可能无法满足用户需求，语句生成效果较差。
技术实现思路
本申请实施例提供了一种语句生成方法、装置、设备及存储介质，可以用于解决输出序列可能无法满足用户需求导致语句生成效果较差的问题。所述技术方案如下：一方面，本申请实施例提供了一种语句生成方法，所述方法包括：获取输入序列；对所述输入序列进行编码处理得到语句特征向量，所述语句特征向量为所述输入序列的表示；对所述语句特征向量进行解码得到第一预定数量的候选语句序列；对所述第一预定数量的候选语句序列进行聚类得到至少两类语句序列集合；从所述至少两类语句序列集合中筛选出第二预定数量的候选语句序列，所述第二预定数量的候选语句序列包括至少两种语句特征类型，所述第二预定数量小于所述第一预定数量；根据所述第二预定数量的候选语句序列，确定所述输入序列对应的输出序列。另一方面，本申请实施例提供了一种语句生成装置，所述装置包括：获取模块，用于获取输入序列；编码模块，用于对所述输入序列进行编码处理得到语句特征向量，所述语句特征向量为所述输入序列的表示；解码模块，用于对所述语句特征向量进行解码得到第一预定数量的候选语句序列；聚类模块，用于对所述第一预定数量的候选语句序列进行聚类得到至少两类语句序列集合；筛选模块，用于从所述至少两类语句序列集合中筛选出第二预定数量的候选语句序列，所述第二预定数量的候选语句序列包括至少两种语句特征类型，所述第二预定数量小于所述第一预定数量；确定模块，用于根据所述第二预定数量的候选语句序列，确定所述输入序列对应的输出序列。另一方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的语句生成方法。另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的语句生成方法。本申请实施例提供的技术方案带来的有益效果至少包括：本申请实施例，通过对输入序列进行编码处理得到语句特征向量，对语句特征向量进行解码得到第一预定数量的候选语句序列，对第一预定数量的候选语句序列进行聚类和筛选得到第二预定数量的候选语句序列，由于经过聚类和筛选得到的第二预定数量的候选语句序列包括至少两种语句特征类型，使得根据第二预定数量的候选语句序列确定出的输出序列存在较大的多样性，能够有效地满足用户需求，提高了语句生成效果。附图说明图1是本申请一个示意性实施例提供的应用场景的结构示意图；图2是本申请一个示意性实施例提供的电子设备的硬件结构示意图；图3是本申请一个示意性实施例提供的语句生成方法的流程图；图4是本申请另一个示意性实施例提供的语句生成方法的流程图；图5是本申请一个示意性实施例提供的语句生成方法涉及的原理示意图；图6是本申请另一个示意性实施例提供的语句生成方法的流程图；图7是本申请另一个示意性实施例提供的语句生成方法的流程图；图8是本申请一个示意性实施例提供的语句生成装置的结构示意图；图9是本申请一个示意性实施例提供的终端的结构示意图；图10是本申请一个示意性实施例提供的服务器的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。首先，对本申请实施例涉及到的一些名词进行解释：解码：在自然语言处理中是根据输入数据逐字生成语句的处理过程。聚类：是采用聚类算法将多个数据聚合成至少两个不同类别的集合的处理过程。可选的，聚类算法包括K均值聚类算法、均值漂移聚类算法、基于密度的聚类算法、用高斯混合模型的最大期望聚类算法、凝聚层次聚类算法中的至少一种。语句评分模型：是一种用于根据输入的语句序列确定该语句序列的语句评分的数学模型。可选的，该语句评分模型用于衡量一个语句序列是否是自然语言。可选的，语句评分模型包括但不限于：深度神经网络(DeepNeuralNetwork，DNN)模型、循环神经网络(RecurrentNeuralNetworks，RNN)模型、嵌入(embedding)模型、梯度提升决策树(GradientBoostingDecisionTree，GBDT)模型、逻辑回归(LogisticRegression，LR)模型中的至少一种。DNN模型是一种深度学习框架。DNN模型包括输入层、至少一层隐层(或称，中间层)和输出层。可选地，输入层、至少一层隐层(或称，中间层)和输出层均包括至少一个神经元，神经元用于对接收到的数据进行处理。可选地，不同层之间的神经元的数量可以相同；或者，也可以不同。RNN模型是一种具有反馈结构的神经网络。在RNN模型中，神经元的输出可以在下一个时间戳直接作用到自身，即，第i层神经元在m时刻的输入，除了(i-1)层神经元在该时刻的输出外，还包括其自身在(m-1)时刻的输出。embedding模型是基于实体和关系分布式向量表示，将每个三元组实例中的关系看作从实体头到实体尾的翻译。其中，三元组实例包括主体、关系、客体，三元组实例可以表示成(主体，关系，客体)；主体为实体头，客体为实体尾。比如：小张的爸爸是大张，则通过三元组实例表示为(小张，爸爸，大张)。GBDT模型是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结果累加起来作为最终结果。决策树的每个节点都会得到一个预测值，以年龄为例，预测值为属于年龄对应的节点的所有人年龄的平均值。LR模型是指在线性回归的基础上，套用一个逻辑函数建立的模型。集束搜索(英文：beamsearch)：是一种启发式图搜索算法。在自然语言解码过程中，集束搜索为搜索当前已得到的语句序列集合(也称：语句束)，来得到最终生成的输出序列的过程。集束大小(beamssize，BS)：为beamsearch算法中限制语句束的个数。目前的解码技术都是基于beamsearch进行的，并没有体现语句内容的差异性，从而在多次解码后往往会使得所有的候选语句序列趋向于同一类别，通常都是安全的输出序列，即语句通顺但信息量缺乏的输出序列，比如“呵呵”、“说得对”等等输出序列。而本申请实施例提供了一种语句生成方法、装置、设备及存储介质，通过对输入序列进行编码处理得到语句特征向量，对语句特征向量进行解码处理得到第一预定数量的候选语句序列，对第一预定数量的候选语句序列进行聚类和筛选得到第二预定数量的候选语句序列，使得产生的多个候选语句序列包括至少两种语句特征类型，从而使得基本文档来自技高网...

【技术保护点】
1.一种语句生成方法，其特征在于，所述方法包括：获取输入序列；对所述输入序列进行编码处理得到语句特征向量，所述语句特征向量为所述输入序列的表示；对所述语句特征向量进行解码得到第一预定数量的候选语句序列；对所述第一预定数量的候选语句序列进行聚类得到至少两类语句序列集合；从所述至少两类语句序列集合中筛选出第二预定数量的候选语句序列，所述第二预定数量的候选语句序列包括至少两种语句特征类型，所述第二预定数量小于所述第一预定数量；根据所述第二预定数量的候选语句序列，确定所述输入序列对应的输出序列。

【技术特征摘要】
1.一种语句生成方法，其特征在于，所述方法包括：获取输入序列；对所述输入序列进行编码处理得到语句特征向量，所述语句特征向量为所述输入序列的表示；对所述语句特征向量进行解码得到第一预定数量的候选语句序列；对所述第一预定数量的候选语句序列进行聚类得到至少两类语句序列集合；从所述至少两类语句序列集合中筛选出第二预定数量的候选语句序列，所述第二预定数量的候选语句序列包括至少两种语句特征类型，所述第二预定数量小于所述第一预定数量；根据所述第二预定数量的候选语句序列，确定所述输入序列对应的输出序列。2.根据权利要求1所述的方法，其特征在于，所述对所述语句特征向量进行解码得到第一预定数量的候选语句序列，包括：对所述语句特征向量进行第i次解码得到所述第一预定数量的候选语句序列，所述候选语句序列包括i个解码词，所述i的初始值为1；所述根据所述第二预定数量的候选语句序列，确定所述输入序列对应的输出序列，包括：当所述第i次解码得到的解码词未包括预测的终止词时将所述i加1，继续执行对所述语句特征向量进行第i次解码得到所述第一预定数量的候选语句序列的步骤；当所述第i次解码得到的解码词包括所述预测的终止词时，获取所述第i次解码、聚类和筛选后的所述第二预定数量的候选语句序列；根据获取到的所述第二预定数量的候选语句序列，确定所述输出序列。3.根据权利要求1所述的方法，其特征在于，所述对所述第一预定数量的候选语句序列进行聚类得到至少两类语句序列集合，包括：对于所述第一预定数量的候选语句序列，采用指定聚类算法进行聚类得到所述至少两类语句序列集合，所述至少两类语句序列集合各自对应的语句特征类型是不同的；其中，所述指定聚类算法包括K均值聚类算法、均值漂移聚类算法、基于密度的聚类算法、用高斯混合模型的最大期望聚类算法、凝聚层次聚类算法中的至少一种。4.根据权利要求1或3所述的方法，其特征在于，所述语句特征类型包括第一语句特征类型、第二语句特征类型和第三语句特征类型中的至少一种；所述第一语句特征类型用于指示所述候选语句序列为安全的语句序列；所述第二语句特征类型用于指示所述候选语句序列为不通顺的语句序列；所述第三语句特征类型用于指示所述候选语句序列为通顺且具有针对性的语句序列。5.根据权利要求2所述的方法，其特征在于，所述根据获取到的所述第二预定数量的候选语句序列，确定所述输出序列，包括：获取语句评分模型，所述语句评分模型用于表示基于样本语句序列进行训练得到的语句评价规律；对于所述第二预定数量的候选语句序列中的每个所述候选语句序列，输入所述语句评分模型得到语句评分，所述语句评分用于指示所述候选语句序列的语句质量；根据所述第二预定数量的候选语句序列各自对应的语句评分，确定所述输出序列。6.根据权利要求5所述的方法，其特征在于，所述语句评分与所述候选语句序列的语句质量呈负相关关系，所述根据所述第二预定数量的候选语句序列各自对应的语句评分，确定所述输出序列，包括：确定所述第二预定数量的候选语句序列各自对应的语句评分中的最低语句评分；将所述最低语句评分对应的候选语句序列确定为所述输出序列。7.根据权利要求5所述的方法，其特征在于，所述获取语句评分模型，...

【专利技术属性】
技术研发人员：谭翊章，丁佳晨，缪畅宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44