一种基于预训练语言模型的文本自动摘要方法技术

本发明专利技术涉及一种基于预训练语言模型的文本自动摘要方法，属于自然语言处理技术领域。本发明专利技术方法包括如下步骤：使用预训练语言模型BERT网络，对源文本信息进行编码；然后通过LSTM联合注意力机制对源文本自动生成摘要。本发明专利技术在中文文本自动摘要任务中，生成的中文摘要达到了很好的可读性，生成的摘要质量较高，同时模型训练速度较快，由于有预训练语言模型作为编码器即使在训练数据较少的情况下也能生成质量相对较高的摘要。

【技术实现步骤摘要】
一种基于预训练语言模型的文本自动摘要方法
本专利技术涉及一种基于预训练语言模型的文本自动摘要方法，属于自然语言处理

技术介绍
随着新媒体平台的不断涌现，人们日常接触到的信息呈现爆炸式的增长，从而给人们带来信息过载的困扰，并且随着生活节奏的加快，人们无暇梳理接收到的所有信息。通过阅读摘要，人们能够提高理解原文的效率，有效减少浏览信息的时间和精力。目前国内外常用的文本摘要技术主要可以分为抽取式和生成式。抽取式方法是指通过文本的统计特征，例如词频，逆文档频率等来计算句子的重要性，从而选择出最重要的句子作为原文的摘要，它可以看做是一种句子分类任务，得分高的成为摘要，反之则为非摘要句。抽取式方法发展时间长，目前相对成熟的自动摘要技术仍然采用抽取式的方法。这种方法获得的摘要质量比较低，抽取出来的句子具有相当高的冗余，因此生成的摘要质量和效果都差强人意。生成式的方法是是计算机“理解”文本，按照人类编写摘要的方式，根据获取到文本中的信息进行语法语义的分析，从而生成新的摘要句子。随着深度学习的不断发展，基于深度学习的生成式文本摘本文档来自技高网...

【技术保护点】
1.一种基于预训练语言模型的文本自动摘要方法，其特征在于，包括如下步骤：/n(1)基于BERT预训练语言模型对文本的上下文信息进行全局编码；/n(2)基于注意力机制和LSTM网络对编码输出结果进行解码生成文本摘要；/n(3)最终通过对隐藏状态向量，上下文向量以及前一个摘要词的词向量进行计算，就得到输出的状态向量，根据每一个可能输出单词对应的概率，并选取对应概率最大的值作为这一步的输出。/n

【技术特征摘要】
1.一种基于预训练语言模型的文本自动摘要方法，其特征在于，包括如下步骤：
(1)基于BERT预训练语言模型对文本的上下文信息进行全局编码；
(2)基于注意力机制和LSTM网络对编码输出结果进行解码生成文本摘要；
(3)最终通过对隐藏状态向量，上下文向量以及前一个摘要词的词向量进行计算，就得到输出的状态向量，根据每一个可能输出单词对应的概率，并选取对应概率最大的值作为这一步的输出。


2.根据权利要求1所述的一种基于预训练语言模型的文本自动摘要方法，其特征在于，步骤(1)中所述BERT预训练语言模型是叠加的自注意力模型，所述自注意力模型的编码为：
Ql＝Hl-1WlQ，Kl＝Hl-1WlK，Vl＝Hl-1WlV，



其中：WlQ表示第l层的查询向量矩阵，WlK表示第l层的键向量矩阵，WlV表示第l层的值向量矩阵；Ql，Kl，Vl分别代表第l层的查询向量，键向量，值向量；dk表示Q和K的向量维度；softmax表示softmax函数，T表示对向量矩阵进行转置，Hl-1表示上一层Transformer模块运算后的结果；Al表示最终经过自注意力模型之后的结果，经过全连接层以及残差层之后最终可得到第l层编码后的结果Hl。


3.根据权利要求1所述的一种基于预训练语言模型的文本自动摘要方法，其特征在于，步骤(2)的具体过程如下：...

【专利技术属性】
技术研发人员：王宇，师岩，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32