用于生成描述文本的方法和设备技术

本文描述了一种用于生成描述文本的方法和设备。所述方法包括：将关键词序列以及具有预定风格的参考文本输入经训练的神经网络，其中所述神经网络包括关键词编码器、文本编码器、互注意力编码器以及解码器；利用关键词编码器对关键词序列进行编码以得到关键词序列的隐层状态序列；利用文本编码器对参考文本进行编码以得到参考文本的隐层状态序列；利用互注意力编码器对关键词序列的隐层状态序列和参考文本的隐层状态序列进行编码以得到融合了预定风格的关键词序列的隐层状态序列；利用解码器对融合了预定风格的关键词序列的隐层状态序列进行解码以输出具有所述预定风格的描述文本。

Methods and devices for generating description text

【技术实现步骤摘要】
用于生成描述文本的方法和设备
本公开涉及自然语言处理的
，具体地涉及用于生成描述文本的方法和设备。
技术介绍
自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。近些年来，智能写作技术得到了极大发展，尤其是利用神经网络来进行智能写作的发展更是迅速。智能写作通常是指给定包括一个或多个关键词的关键词序列的情况下，利用神经网络生成一段与所述关键词序列有关的描述文本。例如，给定描述外貌的几个关键词，利用神经网络根据提供的词语生成一段描写外貌的文本。然而，目前使用的神经网络生成的文本的句式和风格都很固定和单一，并不能满足用户日常写作或创作的需要。>
技术实现思路
...

【技术保护点】
1.一种用于生成描述文本的方法，包括：/n将关键词序列以及具有预定风格的参考文本输入经训练的神经网络，其中所述神经网络包括关键词编码器、文本编码器、互注意力编码器以及解码器；/n利用关键词编码器对所述关键词序列进行编码以得到关键词序列的隐层状态序列；/n利用文本编码器对所述参考文本进行编码以得到参考文本的隐层状态序列；/n利用互注意力编码器对所述关键词序列的隐层状态序列和参考文本的隐层状态序列进行编码以得到融合了预定风格的关键词序列的隐层状态序列；/n利用所述解码器对融合了预定风格的关键词序列的隐层状态序列进行解码以输出具有所述预定风格的描述文本。/n

【技术特征摘要】
1.一种用于生成描述文本的方法，包括：
将关键词序列以及具有预定风格的参考文本输入经训练的神经网络，其中所述神经网络包括关键词编码器、文本编码器、互注意力编码器以及解码器；
利用关键词编码器对所述关键词序列进行编码以得到关键词序列的隐层状态序列；
利用文本编码器对所述参考文本进行编码以得到参考文本的隐层状态序列；
利用互注意力编码器对所述关键词序列的隐层状态序列和参考文本的隐层状态序列进行编码以得到融合了预定风格的关键词序列的隐层状态序列；
利用所述解码器对融合了预定风格的关键词序列的隐层状态序列进行解码以输出具有所述预定风格的描述文本。


2.根据权利要求1所述的方法，其中，所述关键词序列包括用于描述同一主题的多个关键词。


3.根据权利要求2所述的方法，其中，所述主题包括外貌、动作、心理和环境。


4.根据权利要求1所述的方法，其中所述解码器具有联合注意力机制，其中利用所述解码器对融合了预定风格的关键词序列的隐层状态进行解码还包括：在每个当前解码时刻，
利用联合注意力机制计算解码器的上一解码时刻的隐层状态对参考文本的隐层状态序列的第一注意力权重以及对融合了预定风格的关键词序列的隐层状态序列的第二注意力权重；
基于第一注意力权重、第二注意力权重以及上一解码时刻解码器的隐层状态和解码得到的词确定当前解码时刻的隐层状态；
基于当前解码时刻的隐层状态，利用所述解码器对融合了预定风格的关键词序列的隐层状态序列进行解码。


5.根据权利要求4所述的方法，其中，基于当前解码时刻的隐层状态，利用所述解码器对融合了预定风格的关键词序列的隐层状态序列进行解码，包括：
基于当前解码时刻的隐层状态确定从关键词序列选择词的拷贝概率和从选词词表中选择词的生成概率；
基于所述拷贝概率计算关键词序列中每个词的被选择概率以及基于所述生成概率计算选词词表中每个词的被选择概率；
从关键词序列和选词词表中选择具有最大被选择概率的词作为解码器当前时刻输出的词。


6.根据权利要求1所述的方法，其中，所述经训练的神经网络是通过如下训练步骤被训练而得到的，所述训练步骤包括：
获取用于训练的文本和与其对应的用于训练的关键词序列；
获取具有预定风格的参考文本和与其对应的具有所述预定风格的关键词序列；
将用于训练的关键词序列以及具有预定风格的参考文本输入所述神经网络以得到第一描述文本，并计算第一描述文本与用于训练的文本的第一不一致性损失；
将具有所述预定风格的所述关键词序列以及具有预定风格的参考文本输入所述神经网络以得到第二描述文本，并计算第二描述文本与具有预定风格的参考文本的第二不一致性损失；
将总损失进行梯度回传以更新神经网络的参数，其中所述总损失为第一不一致性损失和第二不一致性损失的和。


7.根据权利要求1所述的方法，其中，所述经训练的神经网络是通过如下训练步骤被训练而得到的，所述训练步骤包括：
获取用于训练的文本和与其对应的用于训练的关键词序列；
获取具有预定风格的参考文本和与其对应的具有所述预定风格的关键词序列；
将用于训练的关键词序列以及具有预定风格的参考文本输入所述神经网络以得到第一描述文本，并计算第一描述文本与用于训练的文本的第一不一致性损失；
将具有所述预定风格的所述关键词序列以及具有预定风格的参考文本输入所述神经网络以得到第二描述文本，并计算第二描述文本与具有预定风格的参考文本的第二不一致性损失；
将具有所述预定风格的所述关键词序列以及将第一描述文本作为参考文本输入所述神经网络以得到第三描述文本，并计算第三描述文本与具有预定风格的参考文本的第三不一致性损失；以及
将...

【专利技术属性】
技术研发人员：闭玮，刘晓江，冯骁骋，孙亚威，秦兵，刘挺，
申请(专利权)人：腾讯科技深圳有限公司，哈尔滨工业大学，
类型：发明
国别省市：广东;44