融合关键主题信息的文本摘要生成方法及装置制造方法及图纸

本申请提供一种融合关键主题信息的文本摘要生成方法及装置。该方法包括：获取待生成文本摘要的原始文本，利用预设的主题模型抽取原始文本中的关键主题信息；利用注意力机制将关键主题信息与原始文本进行融合，得到融合关键主题信息的上下文向量；将融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征；基于输入特征对预设词表中每个词对应的输出概率进行计算，依据每个词对应的输出概率选择摘要词，依据摘要词生成文本摘要。本申请能够有效的保留文本的主题信息，提升文本摘要对原文主题的覆盖度和文本摘要的流畅性。原文主题的覆盖度和文本摘要的流畅性。原文主题的覆盖度和文本摘要的流畅性。

【技术实现步骤摘要】
融合关键主题信息的文本摘要生成方法及装置


[0001]本申请涉及计算机
，尤其涉及一种融合关键主题信息的文本摘要生成方法及装置。

技术介绍

[0002]自动文本摘要一直是自然语言处理领域的经典和热门话题，近些年从传统的抽取式摘要到生成式的摘要取得了重大进展。
[0003]目前的文本摘要在引入主题信息时，由于将文档中的所有主题都引入到模型中，导致大量噪音引入到文本的信息表示中，使得生成的文本摘要变得冗余，并且没有充分有效的考虑到解码端每个步骤中关键主题信息的需求，无法有效保留原文的主题信息。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种融合关键主题信息的文本摘要生成方法及装置，以解决现有技术存在的大量噪音引入到文本的信息表示中，使文本摘要变得冗余，无法有效保留原文的主题信息的问题。
[0005]本申请实施例的第一方面，提供了一种融合关键主题信息的文本摘要生成方法，包括：获取待生成文本摘要的原始文本，利用预设的主题模型抽取所述原始文本中的关键主题信息；利用注意力机制将所述关键主题信息与所述原始文本进行融合，得到融合关键主题信息的上下文向量；将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征；基于所述输入特征对预设词表中每个词对应的输出概率进行计算，依据所述每个词对应的输出概率选择摘要词，依据所述摘要词生成文本摘要。
[0006]本申请实施例的第二方面，提供了一种融合关键主题信息的文本摘要生成装置，包括：抽取模块，被配置为获取待生成文本摘要的原始文本，利用预设的主题模型抽取所述原始文本中的关键主题信息；融合模块，被配置为利用注意力机制将所述关键主题信息与所述原始文本进行融合，得到融合关键主题信息的上下文向量；计算模块，被配置为将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征；生成模块，被配置为基于所述输入特征对预设词表中每个词对应的输出概率进行计算，依据所述每个词对应的输出概率选择摘要词，依据所述摘要词生成文本摘要。
[0007]根据本申请实施例的第三方面，提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现上述任一实施例的方法。
[0008]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述任一实施例的方法。
[0009]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0010]通过获取待生成文本摘要的原始文本，利用预设的主题模型抽取原始文本中的关键主题信息；利用注意力机制将关键主题信息与原始文本进行融合，得到融合关键主题信息的上下文向量；将融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征；基于输入特征对预设词表中每个词对应的输出概率进行计算，依据每个词对应的输出概率选择摘要词，依据摘要词生成文本摘要。本申请利用主题模型抽取关键主题信息，并将其与原始文本做注意力计算，从而增强文本信息，丰富文本信息中的主题性，通过将融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，能够有效的保留文本的主题信息，提升文本摘要对原文主题的覆盖度和文本摘要的流畅性。
附图说明
[0011]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0012]图1是本申请实施例提供的融合关键主题信息的文本摘要生成方法的流程示意图；
[0013]图2是本申请实施例提供的LDA主题模型的示意图；
[0014]图3是本申请实施例提供的融合关键主题信息的文本摘要生成装置的结构示意图；
[0015]图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0016]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0017]自动文本摘要一直是自然语言处理领域的经典和热门话题，近些年从传统的抽取式摘要到生成式的摘要取得了重大进展。文本摘要的早期研究主要是基于抽取式的方法，该方法首先使用有监督或无监督方法对原始文档中的每个句子进行评分。无监督的句子评分方法主要依赖于频率、中心性和概率主题模型。句子分类、句子回归和序列标记是常用的评估句子重要性的监督方法。预测句子重要性得分后，下一步是根据句子信息丰富度、冗余度和一些约束规则(如摘要长度等)选择句子。常用的句子选择的方法包括最大边际相关性(MMR)、整数线性规划(ILP)和子模函数最大化等。最近，在同时考虑重要性和冗余对情况下，使用神经网络直接预测给定一组选定句子的相对重要性的方法得到应用。
[0018]虽然抽取式方法可以更完整地保留原始信息，尤其是保证每个句子的流畅性，但它们很容易受到次要或冗余信息的影响。更重要的是，抽取式摘要中相邻的句子之间常常缺乏连贯性。近年来计算机性能大幅提升，深度学习技术在诸多任务中均取得了较好的成
绩，生成式摘要逐渐成为当前的研究热点。2014年，Bahdanau等人提出了基于RNN的编码器
‑
解码器结构，并成功用于机器翻译。随后，这种结构也成功应用于NLP的其他领域，包括但不限于句法解析、文本摘要和对话系统。2015年，Rush等人首先将编码器
‑
解码器结构和注意力机制引入摘要任务，并在DUC
‑
2004和Gigawords数据集上取得了良好的效果。2016年，Nallapati等人扩展他们的工作并将额外的特征组合到模型中，在DUC
‑
2004和Gigawords数据集上获得比Rush更好的结果。2017年，Tan and Wan提出了基于图的注意力机制，以提高模型对句子性的适应性。同年，Paulus等人在训练时将监督学习与强化学习相结合，他们的工作既保持了可读性，又保证了摘要的灵活性。随后，为了对潜在结构建模，Li等人对变分自编码器(VAE)中的潜在变量增加了历史依赖，并提出了一个深度循环生成解码器(DRGD)来提取目标摘要中隐含的复杂潜在结构。Paulus等人，顾等人，Zeng et al.,See等人在解码阶段使用复制机制解决OOV词的问题。在随后的工作中See等人提出了一种覆盖机制来减少单词重复，在生成式文本摘要中取得了较好的评分。2016年Xing等人考虑将主题信息应用到传统的Seq2Seq结构中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合关键主题信息的文本摘要生成方法，其特征在于，包括：获取待生成文本摘要的原始文本，利用预设的主题模型抽取所述原始文本中的关键主题信息；利用注意力机制将所述关键主题信息与所述原始文本进行融合，得到融合关键主题信息的上下文向量；将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征；基于所述输入特征对预设词表中每个词对应的输出概率进行计算，依据所述每个词对应的输出概率选择摘要词，依据所述摘要词生成文本摘要。2.根据权利要求1所述的方法，其特征在于，在所述利用预设的主题模型抽取所述原始文本中的关键主题信息之前，所述方法还包括：将所述原始文本的词嵌入序列输入到双向长短期记忆网络中，得到所述原始文本中每个词对应的编码端隐藏层向量。3.根据权利要求1所述的方法，其特征在于，所述利用预设的主题模型抽取所述原始文本中的关键主题信息，包括：利用LDA主题模型获取所述原始文本的主题概率分布和词概率分布，并选择概率最大的主题对应的概率最大的词项作为所述关键主题信息；利用BERT预训练模型对所述关键主题信息进行编码，得到关键主题词向量。4.根据权利要求1所述的方法，其特征在于，所述利用注意力机制将所述关键主题信息与所述原始文本进行融合，得到融合关键主题信息的上下文向量，包括：计算关键主题词向量与所述原始文本中每个词语的点积注意力，利用归一化函数对所述每个词语的点积注意力进行处理，得到所述每个词语的注意力分布；将所述每个词语的注意力分布与所述关键主题词向量进行点积运算，将点积运算的结果与所述原始文本中的词语相加，得到所述融合关键主题信息的上下文向量。5.根据权利要求2所述的方法，其特征在于，在所述将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算之前，所述方法还包括：计算所述编码端隐藏层向量与解码端隐藏层向量的注意力，利用归一化函数对所述注意力进行处理得到注意力分布；将所述注意力分布作为权重对所述编码端隐藏层向量进行加权求和，得到原始文本的上下文向量。6.根据权利要求1所述的方法，其特征在于，所述将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征，包括：基于所述融合关键主题信息的上下文向量、解码端隐藏层向量、以及解码端的输入进行计算，得到用于表示选择所述融合关键主题信息的上下文向量的概率；依...

【专利技术属性】
技术研发人员：段志丽，郭中华，许鹏，解观海，
申请(专利权)人：北京数字天堂信息科技有限责任公司，
类型：发明
国别省市：