基于强化学习的文本摘要生成方法和系统技术方案

本发明专利技术提供一种基于强化学习的文本摘要生成方法和系统，涉及文本摘要自动生成技术领域。本发明专利技术获取并预处理源文本的原文与标准摘要；基于预处理后的源文本中的原文和seq2seq模型获取预训练模型和摘要序列；通过预训练模型对摘要序列进行采样，获取采样序列；通过贪心算法对标准摘要进行采样，得到标准序列；通过采样序列和标准序列计算损失函数，对预训练模型的参数进行更新，重复上述步骤，直至损失函数收敛，得到摘要生成模型。本发明专利技术在对模型进行训练时，充分考虑ROUGE

【技术实现步骤摘要】
基于强化学习的文本摘要生成方法和系统


[0001]本专利技术涉及文本摘要自动生成
，具体涉及一种基于强化学习的文本摘要生成方法和系统。

技术介绍

[0002]文本摘要技术包括抽取式文本摘要技术以及生成式文本摘要技术。其中，抽取式文本摘要技术是通过抽取文本的前三行或者利用TextRank图、聚类等方法从论文中提取出重要且能概况论文信息的句子，该技术虽然提取语言的可读性比较高，但是因不能高度概括一个句子，会导致生成的摘要包括很多不重要信息，产生的文本过于冗余；生成式文本摘要技术是让机器学习人类的思维方式，利用神经网络的各种变形方法训练模型，通过学习文本内容让机器在每一时间步生成一些新颖的单词，使生成的摘要更加凝练简洁。
[0003]现有方法中主要包括利用强化学习机制结合其他算法生成文本摘要，如混合使用Teacher
‑
forcing和强化学习策略梯度算法。该方法在训练的过程中，首先使用交叉熵损失函数训练几个epoch，然后慢慢切换到强化学习损失函数进行训练。从交叉熵损失函数切换到强化学习损失函数的方式有很多种。如使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的文本摘要生成方法，其特征在于，所述方法包括：S1、获取并预处理源文本的原文与标准摘要；S2、基于预处理后的源文本和seq2seq模型获取预训练模型和摘要序列；S3、通过预训练模型对摘要序列进行采样，获取采样序列；通过贪心算法对标准摘要进行采样，得到标准序列；S4、通过采样序列和标准序列计算损失函数，对预训练模型的参数进行更新，重复步骤S2～S4，直至损失函数收敛，得到摘要生成模型，所述摘要生成模型用于自动生成文本摘要，所述损失函数包括ROUGE
‑
1指标、ROUGE
‑
2指标和ROUGE
‑
L指标的损失。2.如权利要求1所述的基于强化学习的文本摘要生成方法，其特征在于，所述基于预处理后的源文本和seq2seq模型获取预训练模型和摘要序列，包括：S201、基于Teacher
‑
forcing机制和seq2seq模型获取预训练模型S202、通过预训练模型对预处理后的原文进行处理，得到摘要序列。3.如权利要求2所述的基于强化学习的文本摘要生成方法，其特征在于，所述seq2seq模型为基于注意力的指针生成seq2seq模型。4.如权利要求1～3任一所述的基于强化学习的文本摘要生成方法，其特征在于，所述通过预训练模型对摘要序列进行采样，获取采样序列；通过贪心算法对标准摘要进行采样，得到标准序列，包括：利用预训练模型从每个摘要序列中取样一个特定的动作利用贪心算法，从标准摘要中选取动作通过预训练模型对动作进行采样，通过贪心算法对动作进行采样，分别得到采样序列和标准序列5.如权利要求4所述的基于强化学习的文本摘要生成方法，其特征在于，所述损失函数函数的计算公式包括：函数的计算公式包括：其中，公式中的表示对采样序列分别计算ROUGE
‑
1、ROUGE
‑
2、ROUOGE
‑
L分数；表示对标准序列分别计算ROUGE
‑
1、ROUGE
‑
2、ROUGE
‑
L分数；λμσ分别表示权重系数。6.如权利要求5所述的基于...

【专利技术属性】
技术研发人员：孙晓，檀才东，汪萌，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：