一种文本摘要生成模型训练系统和方法技术方案

本申请公开了一种文本摘要生成模型训练系统和方法，该系统包括：文本增强模块，用于对当前原始训练文本进行数据增强得到当前训练文本增强数据；文本编码模块，用于对当前训练文本增强数据进行文本编码得到当前训练文本表征数据；文本解码模块，用于对当前训练文本表征数据进行文本解码得到当前训练解码文本；训练控制模块，计算得到新的训练文本过程损失值，用新的训练文本过程损失值对当前训练文本过程损失值进行更新，根据新的训练文本过程损失值的大小进行训练控制。通过本申请的技术方案，既提高了文本摘要获取过程中的鲁棒性，又加强了句向量的全局语义，实现了自动获取文本摘要的最佳效果。摘要的最佳效果。摘要的最佳效果。

【技术实现步骤摘要】
一种文本摘要生成模型训练系统和方法


[0001]本申请涉及文本摘要生成模型建立
，具体而言，涉及一种文本摘要生成模型训练系统和方法。

技术介绍

[0002]文本摘要获取旨在准确抓取文本关键信息，现有的文本摘要获取方法主要由抽取式和生成式两种，抽取式文本摘要获取是从文本中直接抽取相关的句子，生成式文本摘要获取是基于输入的文本生成一个摘要。随着自然语言处理(Natural Language Processing，NLP)的发展，生成式文本摘要是目前主流的文本摘要获取方式。
[0003]目前大多数的生成式文本摘要获取模型都是采用Transformer框架(一种模型结构)，虽然这里模型在不同的文本理解任务中很受欢迎，但该方式存在两个方面的问题：1、在使用过程中表现效果不佳，主要原因在于模型对不同噪音的鲁棒性很差，如数据损坏、分布不均衡等；2、由于基于Transformer(Transformer
‑
based)的句向量由预训练模型的字向量或词向量组合而成，因而会导致句向量的全局语义弱，而文本摘要的获取又是一个非常需要全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本摘要生成模型训练系统，其特征在于，该系统包括：文本增强模块，用于对当前原始训练文本以句级别分别进行两次数据增强，得到两个当前训练文本增强数据；文本编码模块，用于结合当前训练文本过程损失值对所述两个当前训练文本增强数据分别进行文本编码，得到对应的两个当前训练文本表征数据；文本解码模块，用于结合所述当前训练文本过程损失值对所述两个当前训练文本表征数据分别进行文本解码，得到对应的两个当前训练解码文本；以及训练控制模块，用于根据所述两个当前训练解码文本和相应的当前训练文本目标摘要计算得到新的训练文本过程损失值，用所述新的训练文本过程损失值对所述当前训练文本过程损失值进行更新，并根据所述新的训练文本过程损失值的大小进行训练控制。2.根据权利要求1所述的文本摘要生成模型训练系统，其特征在于，所述训练控制模块计算得到新的训练文本过程损失值包括：根据所述两个当前训练解码文本中的第一当前训练解码文本和所述当前训练文本目标摘要利用自监督对比学习算法得到第一当前中间损失值；根据所述两个当前训练解码文本中的第二当前训练解码文本和所述当前训练文本目标摘要利用自监督对比学习算法得到第二当前中间损失值；以及将所述第一当前中间损失值和所述第二当前中间损失值叠加得到所述新的训练文本过程损失值。3.根据权利要求2所述的文本摘要生成模型训练系统，其特征在于，该系统还包括：模型优化模块，用于根据所述两个当前训练文本增强数据和所述新的训练文本过程损失值计算得到新的优化损失值；其中，所述训练控制模块还用于用所述新的优化损失值对所述当前训练文本过程损失值进行更新，并根据所述新的优化损失值的大小进行训练控制。4.根据权利要求3所述的文本摘要生成模型训练系统，其特征在于，所述模型优化模块计算得到新的优化损失值包括：根据所述两个当前训练文本增强数据中的第一当前训练文本增强数据和第二当前训练文本增强数据利用自监督对比学习算法得到对比损失值；以及根据所述对比损失值和所述新的训练文本过程损失值来计算所述新的优化损失值。5.根据权利要求1所述的文本摘要生成模型训练系统，其特征在于，所述文本增强模块以句级别进行数据增强的方式包括：从所述当前原始训练文本中随机选取并复制一个或多个句子，将复制后的一个或多个句子随机插入所述当前原始训练文本中；从所述当前原始训练文本中随机选取一个句子，并变换所选取句子的位置；从所述当前原始训练文本中随机删除一个句子；以及从所述当前原始训练文本中随机选取一个句子，并将所选取句子的前向句子与后向句子互换位置，其中，所述前向句子为在...

【专利技术属性】
技术研发人员：范凌，王喆，
申请(专利权)人：特赞上海信息科技有限公司，
类型：发明
国别省市：