摘要文本生成方法、装置和计算机设备制造方法及图纸

本申请涉及一种摘要文本生成方法、装置和计算机设备，方法包括：获取原始文本的词序列；通过机器学习模型的第一通道和第二通道，分别对词序列各自进行编码和解码，且在解码时参考机器学习模型前一时刻所输出摘要词的词向量，从而得到当前时刻的第一隐层状态向量和第二隐层状态向量，进而根据当前时刻的第一隐层状态向量和第二隐层状态向量确定机器学习模型当前时刻输出的摘要词；根据机器学习模型所输出的各摘要词生成摘要文本。本申请提供的方案可以实现提升生成的摘要文本的可读性。

Text generation method, device and computer equipment

The present application relates to a summary text generation method, apparatus, and computer device, comprising: acquiring word sequences of the original text; encoding and decoding word sequences respectively through the first and second channels of the machine learning model, and referring to the summary words output at the previous moment of the machine learning model in decoding The first hidden layer state vector and the second hidden layer state vector of the current time are obtained by using the word vector of the first hidden layer state vector and the second hidden layer state vector of the current time. . The scheme provided by this application can achieve the readability of the generated summary text.

【技术实现步骤摘要】
摘要文本生成方法、装置和计算机设备
本申请涉及计算机
，特别是涉及一种摘要文本生成方法、装置和计算机设备。
技术介绍
自动摘要文本在许多NLP(NaturalLanguageProcessing，自然语言处理)领域中有着非常重要的应用。如新闻标题生成、会议纪要、社交短文本的话题生成、智能客服任务等等。如何生成可读性强的摘要文本变成了炙手可热的研究课题。目前，为了自动生成摘要文本，通常采用的是将文本序列输入基于RNN(Recurrentneuralnetworks，循环神经网络)的机器学习模型，经过计算或变换后输出得到摘要文本序列。然而，这种方式生成的摘要文本存在可读性差的问题。
技术实现思路
基于此，有必要针对目前采用的方式所生成的摘要文本可读性差的问题，提供一种摘要文本生成方法、装置、计算机可读存储介质和计算机设备。一种摘要文本生成方法，包括：获取原始文本的词序列；通过预训练的机器学习模型中第一通道的编码器，对所述词序列进行语义相关编码，得到所述词序列中各词对应的语义编码向量；通过所述机器学习模型中第二通道的编码器，对所述词序列进行主题相关编码，得到所述词序列中各词对应的主题编码向量；通过所述第一通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述语义编码向量解码，得到当前时刻的第一隐层状态向量；通过所述第二通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述主题编码向量解码，得到当前时刻的第二隐层状态向量；根据当前时刻的第一隐层状态向量和第二隐层状态向量，确定所述机器学习模型当前时刻输出的摘要词；根据所述机器学习模型所输出的各摘要词生成摘要文本。一种摘要文本生成装置，包括：获取模块，用于获取原始文本的词序列；第一编码模块，用于通过预训练的机器学习模型中第一通道的编码器，对所述词序列进行语义相关编码，得到所述词序列中各词对应的语义编码向量；第二编码模块，用于通过所述机器学习模型中第二通道的编码器，对所述词序列进行主题相关编码，得到所述词序列中各词对应的主题编码向量；第一解码模块，用于通过所述第一通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述语义编码向量解码，得到当前时刻的第一隐层状态向量；第二解码模块，用于通过所述第二通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述主题编码向量解码，得到当前时刻的第二隐层状态向量；确定模块，用于根据当前时刻的第一隐层状态向量和第二隐层状态向量，确定所述机器学习模型当前时刻输出的摘要词；生成模块，根据所述机器学习模型所输出的各摘要词生成摘要文本。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述摘要文本生成方法的步骤。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述摘要文本生成方法的步骤。上述摘要文本生成方法、装置、计算机设备和计算机可读存储介质，采用的机器学习模型是基于双通道的编码器-解码器结构。其中，第一通道的编码器对原始文本的词序列进行语义相关编码，实现了对原始文本的语义特征提取；第二通道的编码器对原始文本的词序列进行主题相关编码，引入了原始文本的主题信息特征。这样，通过第一通道的解码器根据前一时刻所输出摘要词的词向量对词序列中各个词对应的语义编码向量解码，得到的当前时刻的第一隐层状态向量就包含了词序列中各个词的语义信息；通过第二通道的解码器根据前一时刻所输出摘要词的词向量对词序列中各个词对应的主题编码向量解码，得到的当前时刻的第二隐层状态向量就包含了词序列中各个词的主题信息。从而，根据当前时刻的第一隐层状态向量和第二隐层状态向量确定的当前时刻输出的摘要词不仅基于原始文本的语义信息，还引入了主题信息，使得依据该机器学习模型输出的各摘要词生成的摘要文本可读性得到了极大提升。附图说明图1为一个实施例中摘要文本生成方法的应用环境图；图2为一个实施例中摘要文本生成方法的流程示意图；图3为一个实施例中通过第一通道的解码器，根据机器学习模型前一时刻所输出摘要词的词向量对语义编码向量解码，得到当前时刻的第一隐层状态向量的流程示意图；图4为一个实施例中通过第二通道的解码器，根据机器学习模型前一时刻所输出摘要词的词向量对主题编码向量解码，得到当前时刻的第二隐层状态向量的流程示意图；图5为一个实施例中将获取的第一隐层状态向量、机器学习模型前一时刻所输出摘要词的词向量和语义编码向量输入至第一通道的解码器的隐层中的流程示意图；图6为一个实施例中将获取的第二隐层状态向量、机器学习模型前一时刻所输出摘要词的词向量和主题编码向量输入至第二通道的解码器的隐层中的流程示意图；图7为另一个实施例中将获取的第二隐层状态向量、机器学习模型前一时刻所输出摘要词的词向量和主题编码向量输入至第二通道的解码器的隐层中的流程示意图；图8为一个实施例中摘要文本生成方法所采用的机器学习模型的框架示意图；图9为一个实施例中对机器学习模型进行训练的步骤的流程示意图；图10为一个具体的实施例中摘要文本生成方法的流程示意图；图11为一个实施例中摘要文本生成装置的结构框图；图12为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中摘要文本生成方法的应用环境图。参照图1，该摘要文本生成方法应用于摘要文本生成系统。该摘要文本生成系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。如图2所示，在一个实施例中，提供了一种摘要文本生成方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该摘要文本生成方法具体包括如下步骤：S202，获取原始文本的词序列。其中，原始文本的词序列，可以是对原始文本进行分词处理后得到的各个词所形成的序列。原始文本可以是新闻中的文本，可以是会议纪要中的文本，还可以是社交应用的会话文本等。原始文本可以是中文文本，也可以是英文文本。对于原始文本为中文文本的分词处理，可采用基于词典或基于统计的分词方式。对于原始文本为英文文本的分词处理，可以根据空格拆分单词。具体地，服务器可直接获取原始文本，对原始文本进行分词处理，得到相应的词序列。服务器也可接收由预处理服务器根据原始文本生成的词序列，通过预训练的机器学习模型的输入层，对接收的词序列进行下一步处理。S204，通过预训练的机器学习模型中第一通道的编码器，对词序列进行语义相关编码，得到词序列中各词对应的语义编码向量。其中，预训练的机器学习模型采用基于神经网络的Sequence-to-Sequence(序列-序列)框架。Sequence-to-Sequence框架是包含Encoder-Decoder(编码器-解码器)结构的框架。Encoder-Decoder结构将输入序列转换为另一本文档来自技高网...

【技术保护点】
1.一种摘要文本生成方法，包括：获取原始文本的词序列；通过预训练的机器学习模型中第一通道的编码器，对所述词序列进行语义相关编码，得到所述词序列中各词对应的语义编码向量；通过所述机器学习模型中第二通道的编码器，对所述词序列进行主题相关编码，得到所述词序列中各词对应的主题编码向量；通过所述第一通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述语义编码向量解码，得到当前时刻的第一隐层状态向量；通过所述第二通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述主题编码向量解码，得到当前时刻的第二隐层状态向量；根据当前时刻的第一隐层状态向量和第二隐层状态向量，确定所述机器学习模型当前时刻输出的摘要词；根据所述机器学习模型所输出的各摘要词生成摘要文本。

【技术特征摘要】
1.一种摘要文本生成方法，包括：获取原始文本的词序列；通过预训练的机器学习模型中第一通道的编码器，对所述词序列进行语义相关编码，得到所述词序列中各词对应的语义编码向量；通过所述机器学习模型中第二通道的编码器，对所述词序列进行主题相关编码，得到所述词序列中各词对应的主题编码向量；通过所述第一通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述语义编码向量解码，得到当前时刻的第一隐层状态向量；通过所述第二通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述主题编码向量解码，得到当前时刻的第二隐层状态向量；根据当前时刻的第一隐层状态向量和第二隐层状态向量，确定所述机器学习模型当前时刻输出的摘要词；根据所述机器学习模型所输出的各摘要词生成摘要文本。2.根据权利要求1所述的方法，其特征在于，所述通过预训练的机器学习模型中第一通道的编码器，对所述词序列进行语义相关编码，得到所述词序列中各词对应的语义编码向量，包括：获取所述词序列中各词对应的第一位置标识；根据所述第一位置标识确定所述词序列中各词的第一位置向量；依据第一位置向量和预训练词向量矩阵，确定所述词序列中各词的语义向量；将所述词序列中各词的语义向量输入至预训练的机器学习模型中第一通道的编码器的隐层中，得到所述词序列中各词的语义向量对应的语义编码向量。3.根据权利要求1所述的方法，其特征在于，所述通过所述机器学习模型中第二通道的编码器，对所述词序列进行主题相关编码，得到所述词序列中各词对应的主题编码向量，包括：获取所述词序列中各词对应的第二位置标识；根据所述第二位置标识确定所述词序列中各词的第二位置向量；依据第二位置向量和预训练主题词向量矩阵，确定所述词序列中各词的主题向量；将所述词序列中各词的主题向量输入至所述机器学习模型中第二通道的编码器的隐层中，得到所述词序列中各词的主题向量对应的主题编码向量。4.根据权利要求1所述的方法，其特征在于，所述通过所述第一通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述语义编码向量解码，得到当前时刻的第一隐层状态向量包括：获取前一时刻所述第一通道的解码器的第一隐层状态向量；将获取的第一隐层状态向量、所述机器学习模型前一时刻所输出摘要词的词向量和所述语义编码向量输入至所述第一通道的解码器的隐层中；通过所述第一通道的解码器输出当前时刻的第一隐层状态向量。5.根据权利要求4所述的方法，其特征在于，所述第一通道的解码器是基于注意力模型的解码器；所述将获取的第一隐层状态向量、所述机器学习模型前一时刻所输出摘要词的词向量和所述语义编码向量输入至所述第一通道的解码器的隐层中，包括：对应于所述词序列中各词所对应的语义编码向量，分别确定相对于当前时刻待输出的摘要词的注意力分配权重系数；根据所述词序列中各词的语义向量、所述语义编码向量和对应的注意力分配权重系数，确定所述第一通道的解码器当前时刻的第一条件输入向量；将所述第一条件输入向量和获取的第一隐层状态向量输入至所述第一通道的解码器的隐层中。6.根据权利要求5所述的方法，其特征在于，所述当前时刻的第一条件输入向量通过以下公式计算得到：di＝Wdhi-1+bd+qi-1；其中，ci表示当前时刻i的第一条件输入向量；αij表示所述词序列中的词xj(j＝1,2,3,...,m)所对应的语义编码向量zjo相对于当前时刻待输出的摘要词yi的注意力分配权重系数；zjo表示所述词序列中的词xj对应的语义编码向量；ej表示所述词序列中的词xj对应的语义向量；hi-1表示前一时刻所述第一通道的解码器的第一隐层状态向量；qi-1表示所述机器学习模型前一时刻所输出摘要词yi-1的词向量；di表示所述第一通道的解码器中注意力模型计算的解码器的第一状态向量；Wd、bd表示所述第一通道机器学习模型中预训练得到的模型参数；exp表示以自然常数e为底的指数函数；∑为求和函数；⊙为向量点乘符号。7.根据权利要求1所述的方法，其特征在于，所述通过所述第二通道的解码器，根据所述机器学习模型前一时刻所输出摘要词的词向量对所述主题编码向量解码，得到当前时刻的第二隐层状态向量包括：获取前一时刻所述第二通道的解码器的第二隐层状态向量；将获取的第二隐层状态向量、所述机器学习模型前一时刻所输出摘要词的词向量和所述主题编码向量输入至所述第二通道的解码器的隐层中；通过所述第二通道的解码器输出当前时刻的第二隐层状态向量。8.根据权利要求7所述的方法，其特征在于，所述第二通道的解码器是基于注意力模型的解码器；所述将获取的第二隐层状态向量、所述机器学习模型前一时刻所输出摘要词的词向量和所述主题编码向量输入至所述第二通道的解码器的隐层中，包括：对应于所述词序列中各词所对应的主题编码向量，分别确定相对于当前时刻待输出的摘要词的注意力分配权重系数；根据所述词序列中各词的主题向量、所述主题编码向量和对应的...

【专利技术属性】
技术研发人员：王励，姚均霖，钟黎，陶蕴哲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44