一种融合语义与上下文信息的文本摘要方法及系统技术方案

本发明专利技术提出一种融合语义与上下文信息的文本摘要方法，其特征在于：包括以下步骤：步骤A：采集文本内容以及摘要，构建文本‑摘要对训练集；步骤B：基于文本‑摘要对训练集，训练融合语义与上下文信息的深度学习网络模型；步骤C：将文本内容输入步骤B训练好的深度学习网络模型中，输出文本的摘要；本发明专利技术能够更好地捕获文本的潜在语义信息，提高了对于生成摘要的准确精度。

【技术实现步骤摘要】
一种融合语义与上下文信息的文本摘要方法及系统
本专利技术涉及自然语言处理与文本摘要应用领域，尤其是一种融合语义与上下文信息的文本摘要方法及系统。
技术介绍
近年来，随着深度学习在各个应用领域取得突飞猛进的发展，研究人员开始将其应用到自动文本摘要中。与传统的机器学习方法相比，深度学习方法能够自动地对文本的高层次特征进行提取、学习文本的语义信息，实验效果得到显著提升。随着自然语言处理越来越受到研究人员的重视和研究，自动文本摘要的关键技术成为了相关领域学者的研究热点之一。自动文本摘要可分为抽取式文本摘要和生成式文本摘要，抽取式文本摘要是从原始文档中选择能够代表文章中心意思的句子、段落等，并将它们连接起来组成摘要，而生成式摘要旨在通过学习文本的主要内容，重新组织并用简短的语言进行概括。抽取式文本摘要方法相对简单，并且产生的摘要语法结构更准确，但是句子之间的联系不够紧密，抽取出来摘要不易理解。而生成式文本摘要更加符合人类生成摘要的习惯，摘要的中心意思更加的集中，并尽可能用更少的文字表达文本的中心意思，两者有各自的优点和应用场景，都是自动文本摘要领域的研究重点。在过去的十几年内，生成式文本摘要的研究飞速发展，取得了一定的成就。早期的方法包括句子压缩、句子融合、句子修改等方法。然而，这些方法与抽取式方法相比改进不大。后来，一种完全抽象的方法应运而生，通常包含三个子任务:信息提取、内容选择和生成。该方法先从文本中提取重要信息获得候选短语，之后选择一些候选短语，组成一个子集，最后使用语法/句法规则，组合子集中的候选内容，利用文本生成方法生成摘要。Genest等人先对数据集中进行句子分割、标记化等一些预处理,之后选择最常出现的短语,最后使用SimpleNLG工具生成摘要，从一定程度上提升了摘要的流畅性。Greenbacker等人提出一种语义模型框架，先使用Sparser分析文本并构建语义模型，之后使用信息密度度量，捕获文档和模型中重要的信息，从而获得丰富的语义信息，最后将这些信息组合成摘要。近年来，深度学习方法在包括文本摘要研究在内的众多自然语言处理领域获得了广泛的应用。Rush等人提出一种基于注意力机制的模型，模型由CNN编码器和神经网络语言模型组成，此外，他们是第一个在句子摘要任务中使用带注释的Gigaword新闻数据集，并且还构建大规模语料库。随后Chopra等人在此基础上，用循环神经网络作为解码器，进一步提高了生成式文本摘要模型的性能。Nallapati等人受到seq2seq(SequencetoSequence)模型的启发，在生成式文本摘要模型上引入基于注意力机制的编码器-解码器的模型，使用词法和统计特征对关键词进行建模，用层级的编码器结构捕捉文档结构，进而获得丰富的潜在语义信息。尽管这些生成式的方法在文本摘要任务上取得了不错的结果，但是依然存在着不能准确把握文章事实、无法处理词汇表外的词和重复问题。针对上述问题，See等人提出指针-生成器网络，该网络不仅能够从源文本复制单词，还能使用生成器生成新单词，解决了OOV(OutofVocabulary)的问题，此外，为了解决摘要的重复问题，See等人提出覆盖机制跟踪历史注意力权重，进一步调节注意力权重，能够有效地提高所得到摘要的质量和效果。编码器-解码器模型在短文本序列上取得了良好的性能，但是对于较长的文档序列，这些模型通常会出现重复或者不连贯的短语。因此，近年来，出现了很多新的模型和方法解决文本的远距离依赖问题。Lin等人提出用卷积门控单元对源文本进行全局编码，能够更好地获取n-gram语法特征信息。Vaswani等人提出一种完全基于注意力机制的Tansformer模型，能更有效地对文本的长距离关系进行建模，在众多领域上表现出显著的性能。You等人在Tansformer的基础上，提出一个局部方差注意力，能够很好的学习长文本的表征，解决摘要语义不准确的问题。
技术实现思路
本专利技术提出一种融合语义与上下文信息的文本摘要方法及系统，能够更好地捕获文本的潜在语义信息，提高了对于生成摘要的准确精度。本专利技术采用以下技术方案。一种融合语义与上下文信息的文本摘要方法，包括以下步骤：步骤A：采集文本内容以及摘要，构建文本-摘要对训练集；步骤B：基于文本-摘要对训练集，训练融合语义与上下文信息的深度学习网络模型；步骤C：将文本内容输入步骤B训练好的深度学习网络模型中，输出文本的摘要。所述步骤B具体包括以下步骤：步骤B1：遍历文本-摘要对训练集，对训练集中的每个训练样本，重复下述步骤B2-B7；步骤B2：对每个训练样本，根据预训练的词向量矩阵分别对文本和摘要进行编码，得到文本的初始表征向量和摘要的初始表征向量步骤B3：将步骤B2得到的初始表征向量输入到卷积编码器中，得到文本的语义表征向量步骤B4：将步骤B2得到的初始表征向量输入到变换网络中，得到文本的上下文表征向量步骤B5：使用门控单元融合步骤B3得到的文本的语义表征向量和步骤B4得到的文本的上下文表征向量得到文本的表征向量步骤B6：将步骤B5得到的文本的表征向量和步骤B2得到的摘要的初始表征向量输入到解码器中，得到融合文本和摘要语义信息的表征向量步骤B7：将步骤B5得到的表征向量输入到全连接层，再通过Softmax，输出概率分布向量|D|为词典大小，计算公式如下：其中为隐藏层权重矩阵，为可训练的参数；步骤B8：根据目标损失函数loss，利用反向传播方法计算深度学习网络中各参数的梯度，并利用随机梯度下降方法更新参数；用交叉熵作为损失函数计算损失值，通过梯度优化算法SGD进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；其中最小化损失函数Loss的计算公式如下：其中M为摘要中词的个数；为预测第i个摘要词时，目标单词在词典中的索引；步骤B9：当深度学习网络模型产生的损失值小于设定阈值不再降低或者达到最大迭代次数，终止深度学习模型的训练。所述步骤B2具体包括以下步骤：步骤B21：每个训练样本表示为(s,a)，s表示文本，a表示摘要，分别对文本s和摘要a进行分词并去除停用词；文本s和摘要a经过分词及去除停用词后，可分别表示为：其中，为文本s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,N；为摘要a经过分词及去除停用词后剩余词语中的第j个词，j＝1,2,...,M；N为文本s经过分词及去除停用词后剩余的词语数量，M为摘要a经过分词及去除停用词后剩余的词语数量；步骤B22：对步骤B21得到的摘要s进行编码，得到摘要s的初始表征向量表示为：其中，“+”表示向量加法操作，为文本中第i个词所对应的词向量，i＝1,2,...,N，通过在预训练的词向量矩阵中查找得到，其中d表示词向量的维度，|D|是词典中的词语数；为文本s中第i个词所对应的位置编码，i＝1,2,...,N，编码方本文档来自技高网...

【技术保护点】
1.一种融合语义与上下文信息的文本摘要方法，其特征在于：包括以下步骤：/n步骤A：采集文本内容以及摘要，构建文本-摘要对训练集；/n步骤B：基于文本-摘要对训练集，训练融合语义与上下文信息的深度学习网络模型；/n步骤C：将文本内容输入步骤B训练好的深度学习网络模型中，输出文本的摘要。/n

【技术特征摘要】
1.一种融合语义与上下文信息的文本摘要方法，其特征在于：包括以下步骤：
步骤A：采集文本内容以及摘要，构建文本-摘要对训练集；
步骤B：基于文本-摘要对训练集，训练融合语义与上下文信息的深度学习网络模型；
步骤C：将文本内容输入步骤B训练好的深度学习网络模型中，输出文本的摘要。


2.根据权利要求1所述的一种融合语义与上下文信息的文本摘要方法，其特征在于：所述步骤B具体包括以下步骤：
步骤B1：遍历文本-摘要对训练集，对训练集中的每个训练样本，重复下述步骤B2-B7；
步骤B2：对每个训练样本，根据预训练的词向量矩阵分别对文本和摘要进行编码，得到文本的初始表征向量和摘要的初始表征向量
步骤B3：将步骤B2得到的初始表征向量输入到卷积编码器中，得到文本的语义表征向量
步骤B4：将步骤B2得到的初始表征向量输入到变换网络中，得到文本的上下文表征向量
步骤B5：使用门控单元融合步骤B3得到的文本的语义表征向量和步骤B4得到的文本的上下文表征向量得到文本的表征向量
步骤B6：将步骤B5得到的文本的表征向量和步骤B2得到的摘要的初始表征向量输入到解码器中，得到融合文本和摘要语义信息的表征向量
步骤B7：将步骤B5得到的表征向量输入到全连接层，再通过Softmax，输出概率分布向量|D|为词典大小，计算公式如下：



其中为隐藏层权重矩阵，为可训练的参数；
步骤B8：根据目标损失函数loss，利用反向传播方法计算深度学习网络中各参数的梯度，并利用随机梯度下降方法更新参数；
用交叉熵作为损失函数计算损失值，通过梯度优化算法SGD进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；
其中最小化损失函数Loss的计算公式如下：



其中M为摘要中词的个数；为预测第i个摘要词时，目标单词在词典中的索引；
步骤B9：当深度学习网络模型产生的损失值小于设定阈值不再降低或者达到最大迭代次数，终止深度学习模型的训练。


3.根据权利要求2所述的一种融合语义与上下文信息的文本摘要方法，其特征在于：所述步骤B2具体包括以下步骤：
步骤B21：每个训练样本表示为(s,a)，s表示文本，a表示摘要，分别对文本s和摘要a进行分词并去除停用词；
文本s和摘要a经过分词及去除停用词后，可分别表示为：






其中，为文本s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,N；为摘要a经过分词及去除停用词后剩余词语中的第j个词，j＝1,2,...,M；N为文本s经过分词及去除停用词后剩余的词语数量，M为摘要a经过分词及去除停用词后剩余的词语数量；
步骤B22：对步骤B21得到的摘要s进行编码，得到摘要s的初始表征向量表示为：



其中，“+”表示向量加法操作，为文本中第i个词所对应的词向量，i＝1,2,...,N，通过在预训练的词向量矩阵中查找得到，其中d表示词向量的维度，|D|是词典中的词语数；为文本s中第i个词所对应的位置编码，i＝1,2,...,N，编码方式如下：






其中，表示位置编码的偶数维对应的正弦值，表示位置编码的奇数维对应的余弦值；[]T表示转置操作；
步骤B23：对步骤B21得到的摘要a进行编码，得到摘要a的初始表征向量表示为：



其中，“+”表示向量加法操作，为摘要中第j个词所对应的词向量，j＝1,2,...,M，通过在预训练的词向量矩阵中查找得到，其中d表示词向量的维度，|D|是词典中的词语数；为摘要中第j个词所对应的位置编码，j＝1,2,...,M，编码方式如下：






其中，表示位置编码的偶数维对应的正弦值，表示位置编码的奇数维对应的余弦值；[]T表示转置操作。


4.根据权利要求2所述的一种融合语义与上下文信息的文本摘要方法，其特征在于：所述步骤B3具体方法如下：将文本的初始表征向量视作由i＝1,2,...,N构成的向量序列，输入到卷积编码器中，卷积编码器由L个卷积层构成，第一个卷积层的输入为文本的初始表征向量第l个卷积层的输出为第l+1个卷积层的输入，对第l个卷积层，卷积操作公式如下：



其中，表示第l层第i个卷积核窗口的输出，表示在卷积核窗口内的向量序列，k为卷积核的大小,为待学习的参数，2d表示特征映射的个数；为偏置向量，为文本s的第i个词在第l个卷积层所对应的输出；
将平分成两部分，分别为和使用门控单元融合两部分的信息，得到计算公式如下：



其中，σ为sigmoid函数，为可训练的参数；
将第L个卷积层的输出作为文本的语义表征向量


5.根据权利要求2所述的一种融合语义与上下文信息的文本摘要方法，其特征在于：所述步骤B4中；具体包括以下步骤：
步骤B41：将得到文档的初始表征向量分别乘以权重矩阵Weq、Wek、Wev得到新向量计算公式如下：









其中，为可训练的参数；
步骤B42：选择能够整除d的整数h，将步骤B41计算得到的新向量qe,ke,ve的最后一个维度平均分成h个子向量，分别得到子向量序列[qe,1；...；qe,i；...；qe,h]、[ke,1；...；ke,i；...；ke,h]和[ve,1；...；ve,i；...；ve,h]，其中i＝1,2,...h是qe的第i个子向量，i＝1,2,...h是ke的第i个子向量，i＝1,2,...h是ve的第i个子向量；
步骤B43：将qe、ke、ve的每个对应的子向量输入到注意力机制模块中，计算公式如下：






其中为注意力相似性权重矩阵，为多头注意力机制第i个子向量的输出向量；
步骤B44：把将h个子向量的输出向量连接起来作为多注意力机制的输出向量：
...

【专利技术属性】
技术研发人员：陈羽中，张斯巍，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35