文本摘要生成系统技术方案

本发明专利技术涉及一种文本摘要生成系统，涉及互联网技术领域，包括文本编码器，利用一种层次化多尺度抽象建模方法从原始文本中捕获多层次、多尺度的语义信息；动态记忆增强注意力网络，用于动态追踪注意力历史与提取文本中重要信息，提升解码器生成精炼、准确摘要的能力；摘要解码器，利用单向长短期记忆网络逐词生成完整的文本摘要，克服无法有效地定位当前解码时刻所对应的合理原始文本上下文信息，导致生成的文本摘要通常包含重复信息或者缺少关键信息。息。息。

【技术实现步骤摘要】
文本摘要生成系统


[0001]本专利技术涉及互联网
，尤其涉及文本摘要生成系统。

技术介绍

[0002]自动文本摘要是近年来学术界和工业界的研究热点之一，因其广阔的应用场景以及巨大的商业价值而备受瞩目。现有文本摘要技术大致可以分为抽取式文本摘要和生成式文本摘要：(1)抽取式文本摘要方法从原始文本或者是文档集合中直接选取若干包含关键信息的语句直接构成摘要总结。抽取式文本摘要的优点在于生成的摘要文本合理可控、通顺度较好且不容易生成完全偏离原始文本主题的摘要。但是抽取式文本摘要技术也有其固有弊端，即容易引入冗余信息，且句子之间的连贯性差；(2)生成式文本摘要方法则使用阅读理解、自然语言生成等技术，生成更加简明凝练的文本摘要。与抽取式文本摘要相比，生成式文本摘要涉及对原始文档的理解和重构，更符合人类撰写摘要的习惯，有着简洁、灵活、多样性等特点。
[0003]基于注意力机制的指针生成网络模型(Pointer Generator network)是当前应用最广泛的生成式摘要模型，也是与本专利技术最相近似的技术方案。指针生成网络模型在编码端(Encoder)引入长短期记忆神经网络(Long short
‑
term memory,LSTM)将原始文本编码成固定长度的特征表示向量，并在解码器端(Decoder)利用另一个长短期记忆神经网络将编码器输出的文本特征向量解码成文本摘要。同时，指针生成网络模型的解码器部分通过引入对编码文本的注意力机制(Attention Mechanism)，计算输入文本的上下文信息，进而生成上下文向量，在增加每个解码时刻的信息覆盖率的同时生成更加合理的摘要文本。
[0004]虽然现有的基于神经网络的生成式文本摘要模型已取得较为显著的成果，却仍然存在着许多缺点。首先，对于编码器而言，原始长文本序列通常包含了多层次、多尺度的语义信息。例如，一篇文章可以包含多个不同的主题，同时这些主题所覆盖的文本范围不同。因此，为了建模和理解原始文本中多层次、多尺度的语义信息，编码器需要利用层次化多尺度文本挖掘方法分层级地编码文本信息。然而现有的生成式文本摘要方法并没有对文本的层次化多尺度语义信息编码进行深入探索。其次，在解码端，传统注意力机制无法动态地追踪先前解码时刻的历史注意力分布。因此，在进行长文本的摘要生成时，传统注意力机制无法有效地定位当前解码时刻所对应的合理原始文本上下文信息，导致生成的文本摘要通常包含重复信息或者缺少关键信息。

技术实现思路

[0005]本专利技术提供一种文本摘要生成系统，目的是为了克服无法有效地定位当前解码时刻所对应的合理原始文本上下文信息，导致生成的文本摘要通常包含重复信息或者缺少关键信息。
[0006]为解决以上现有技术中存在的问题，本专利技术提出了一种文本摘要生成系统，包括：
[0007]文本编码器，利用一种层次化多尺度抽象建模方法从原始文本中捕获多层次、多
尺度的语义信息；
[0008]动态记忆增强注意力网络，用于动态追踪注意力历史与提取文本中重要信息，提升解码器生成精炼、准确摘要的能力；
[0009]摘要解码器，利用单向长短期记忆网络逐词生成完整的文本摘要。
[0010]优选地，所述文本编码器包括：
[0011]词嵌入层，将原始文档中的每个单词转化成词向量序列；
[0012]双向LSTM网络，获取输入的词向量序列，用来计算输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列，根据输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列生成整个输入本文序列的隐藏层向量；
[0013]层次化多尺度特征挖掘模块，利用不同的更新频率来对原始文本进行分层级建模，以捕获原始文本信息的多层次、多尺度的信息；
[0014]第一前馈神经网络，融合双向LSTM编码层与层次化多尺度特征挖掘模块的输出结果，得到最终文本向量。
[0015]优选地，所述文本编码器还包括
[0016]设置在双向LSTM网络和层次化多尺度特征挖掘模块之间的前馈神经网络，通过可训练的权重矩阵与偏置参数对双向LSTM网络输出的特征向量序列进行计算，用来学习与生成用来输入到特征挖掘模块合理的特征序列。
[0017]优选地，所述层次化多尺度特征挖掘模块包括高层的粗粒度编码层和低层的细粒度编码层；
[0018]优选地，所述高层的粗粒度编码层更新频率较低，用以捕获较长跨度的文本上下文依赖；所述低层的细粒度编码层则以较高的更新频率学习文本的邻近语义特征。
[0019]优选地，所述层次化多尺度特征挖掘模块将通过以下公式进行更新：
[0020][0021]其中j∈[1，D]，t
j
为所设定的第j层的超参数，t
j
＝2
j
‑1。
[0022]优选地，所述动态记忆增强注意力网络通过“查询向量”q
t
与键网络K生成当前时间刻“临时”的注意力分布α
r
；
[0023]利用“临时”注意力分布α
r
与值网络V计算“临时”上下文向量c
r
，同时更新”临时”隐藏层状态
[0024]利用“临时”上下文向量c
r
更新键网络K的记忆单元信息；
[0025]重复R轮上述三步操作。
[0026]优选地，所述利用“临时”上下文向量c
r
更新键网络K的记忆单元信息包括添加操作与过滤操作。
[0027]优选地，所述摘要解码器基于注意力机制单向LSTM网络来逐字生成文本摘要，在每个解码时间刻t，单词输出的概率分布计算公式如下：(13)
[0028]其中，W
o
为可训练权重矩阵，c
t
为当前时刻的编码端上下文向量，为t时刻解码
器的隐藏层状态。
[0029]优选地，所述摘要解码器采用复制机制,解决生成式文本摘要中可能出现的未登录词的问题。
[0030]优选地，所述摘要解码器引入覆盖机制,解决所述摘要解码器引在不同解码时间刻生成重复词语的问题。
[0031]与现有技术相比，本专利技术所述的文本摘要生成系统，具有如下有益效果：
[0032]1.本专利技术提出的基于层次化多尺度特征挖掘与动态记忆增强注意力网络的生成式文本摘要模型，能够模拟人类阅读文章并生成精炼摘要的过程。首先，我们提出的层次化多尺度特征挖掘模块能够从原始文本中捕获多层次、多尺度的文本语义信息。高层的粗粒度编码层更新的频率较低，能够更好地捕获长距离的依赖关系；低层的细粒度编码层则以较高的更新频率学习文本的邻近语义特征。通过这种多层次、多尺度的文本建模机制，可以同时捕捉文本中的邻近语义特征和长距离依赖特征。通过这种多层次、多尺度的文本建模机制，可以同时捕捉文本中的邻近语义特征和长距离依赖特征。同时，我们提出的动态记忆增强注意力网络能够追踪注意力历史，从而选取当前解码时刻所对应的重要原始文本上下文信息，有效地改善生成文本摘本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本摘要生成系统，其特征在于：包括文本编码器，利用一种层次化多尺度抽象建模方法从原始文本中捕获多层次、多尺度的语义信息；动态记忆增强注意力网络，用于动态追踪注意力历史与提取文本中重要信息，提升解码器生成精炼、准确摘要的能力；摘要解码器，利用单向长短期记忆网络逐词生成完整的文本摘要。2.根据权利要求1所述的文本摘要生成系统，其特征在于，所述文本编码器包括词嵌入层，将原始文档中的每个单词转化成词向量序列；双向LSTM网络，获取输入的词向量序列，用来计算输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列，根据输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列生成整个输入本文序列的隐藏层向量；层次化多尺度特征挖掘模块，利用不同的更新频率来对原始文本进行分层级建模，以捕获原始文本信息的多层次、多尺度的信息；第一前馈神经网络，融合双向LSTM编码层与层次化多尺度特征挖掘模块的输出结果，得到最终文本向量。3.根据权利要求1所述的文本摘要生成系统，其特征在于：所述文本编码器还包括设置在双向LSTM网络和层次化多尺度特征挖掘模块之间的第二前馈神经网络，通过可训练的权重矩阵与偏置参数对双向LSTM网络输出的特征向量序列进行计算，用来学习与生成用来输入到特征挖掘模块合理的特征序列。4.根据权利要求1所述的文本摘要生成系统，其特征在于：所述层次化多尺度特征挖掘模块包括高层的粗粒度编码层和低层的细粒度编码层；所述高层的粗粒度编码层更新频率较低，用以捕获较长跨度的文本上下文依赖；所述低层的细粒度编码层则以较高的更新频率学习文本的邻近语义特征。5.根据权利要求4所述的文本摘要生成系统，其特征在于：所述层次化多尺...

【专利技术属性】
技术研发人员：王李翰，杨敏，李成明，姜青山，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：