【技术实现步骤摘要】
本申请涉及文本摘要生成，特别是涉及一种基于对比学习的有监督文本摘要模型训练方法和装置。
技术介绍
1、文本摘要生成技术指的是在读取源文本之后生成较为简短的能够概括源文本主要内容的自然语言理解和生成技术，生成的摘要可以压缩文本内容但保留源文本中的核心信息。
2、传统的文本摘要生成技术方法主要使用端到端(seq2seq)模型算法来实现，一方面这种方式一般使用最大似然方法来进行模型的训练，具体到文本摘要生成任务中就是在训练的过程中使用最大似然的方式来生成句子，也就是根据前面生成的token(字符)作为条件生成后面的token，但这容易造成暴露偏差的问题，也就是错误会发生积累，缺乏相应的指导和参考；另一方面，现有技术已经采用对比学习的方法来改善文本摘要生成任务中的暴露偏差问题，但是主要采用训练和评分两种方式来改善在训练和测试阶段中的区别，也就是文本摘要生成中的训练过程使用的是token级别的评价方式，这和模型最终的目标也就是生成简短的摘要来说是存在差异的，因为最后的摘要生成评价标准是句子级别的整体评价方式，所以这会导致训练目标不一致的问题，并且，现有技术采用对比学习的方法为训练和测试过程中增加了评分机制，使用rouge(文本摘要生成评价指标)的评价标准来对候选摘要进行评分以选出最符合要求的摘要句子，但这种方法简单得将评分机制添加到模型中，并没有直接影响或者说是建模训练过程，而且对于源文本与生成的候选摘要以及目标摘要之间的相似性采用同样的训练目标，缺少多目标的建模优化方式，也就是现有技术一方面缺少在训练中的建模，另一方面缺少不
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够采用多目标的方式来对不同文本进行建模计算，借助于对比学习技术来改善现有的暴露偏差问题，改善训练方式，提升摘要生成的质量的基于对比学习的有监督文本摘要模型训练方法和装置。
2、一种基于对比学习的有监督文本摘要模型训练方法，所述方法包括：
3、获取源文本和对应的目标摘要，并划分为训练集和测试集；
4、将测试集中的源文本输入预先构建的摘要生成模型，根据摘要生成模型中的编码器和解码器依次对源文本进行处理，生成候选摘要；
5、将训练集中的源文本和对应的目标摘要、以及候选摘要输入预先构建的摘要评分模型，根据摘要评分模型进行对比学习，计算得到候选摘要的文本蕴含评分和余弦相似度评分，将文本蕴含评分和余弦相似度评分的均值作为候选摘要的总体质量评分，并根据总体质量评分构建得到对比学习损失函数；
6、根据对比学习损失函数和在摘要生成模型中引入的负对数似然损失函数，构建得到总损失函数，并根据总损失函数对包括摘要生成模型和摘要评分模型的文本摘要模型进行联合训练，直至得到训练好的文本摘要模型；
7、将测试集中的源文本输入训练好的文本摘要模型进行摘要生成，输出总体质量评分最高的候选摘要作为最终摘要。
8、在其中一个实施例中，将训练集中的源文本和对应的目标摘要、以及候选摘要输入预先构建的摘要评分模型，根据摘要评分模型进行对比学习，计算得到候选摘要的文本蕴含评分和余弦相似度评分，包括：
9、将训练集中的源文本和对应的目标摘要、以及候选摘要输入预先构建的摘要评分模型，根据摘要评分模型对候选摘要与训练集中的源文本进行对比学习，计算得到候选摘要的文本蕴含评分；
10、根据摘要评分模型对候选摘要与训练集中的源文本对应的目标摘要进行对比学习，计算得到候选摘要的余弦相似度评分。
11、在其中一个实施例中，根据摘要评分模型对候选摘要与训练集中的源文本进行对比学习，计算得到候选摘要的文本蕴含评分，表示为
12、
13、其中，表示第i个候选摘要，n表示第i个候选摘要中的句子总数，x＝(x0＝<s>,x1,x2,…,x|x|＝<e>)表示训练集中的源文本，x0＝<s>和x|x|＝<e>分别表示源文本标记的开始和结束，|x|表示源文本的长度，x表示源文本中的句子，表示第i个候选摘要中的第j个句子，表示与x之间的蕴含程度，max表示取最大值函数。
14、在其中一个实施例中，根据摘要评分模型对候选摘要与训练集中的源文本对应的目标摘要进行对比学习，计算得到候选摘要的余弦相似度评分，表示为
15、
16、其中，y＝(y0＝<s>,y1,y2,…,y|y|＝<e>)表示训练集中的源文本对应的目标摘要，y0＝<s>和y|y|＝<e>分别表示目标摘要标记的开始和结束，|y|表示目标摘要的长度，y表示目标摘要中的句子，表示第i个候选摘要中的第j个句子与y之间的余弦相似度。
17、在其中一个实施例中，将文本蕴含评分和余弦相似度评分的均值作为候选摘要的总体质量评分，并根据总体质量评分构建得到对比学习损失函数，表示为
18、
19、
20、其中，和分别表示第i个候选摘要和第j个候选摘要的总体质量评分，表示所有候选摘要中的最高总体质量评分，uij＝(j-i)u表示边界数值，u表示训练中的超参数。
21、在其中一个实施例中，根据对比学习损失函数和在摘要生成模型中引入的负对数似然损失函数，构建得到总损失函数，表示为
22、
23、
24、其中，表示负对数似然损失函数，p(yt|y0:t-1,x)＝softmax(whht)表示在摘要生成模型中经过softmax计算得到的yt的条件概率，wh表示参数矩阵，ht表示摘要生成模型中的解码器生成的向量，y0:t-1表示摘要生成模型处理的第t-1个字符，yt表示在y0:t-1处理完成的情况下摘要生成模型处理的第t个字符。
25、在其中一个实施例中，针对英文文本的摘要生成请求，摘要生成模型为bart预训练语言模型；针对中文文本的摘要生成请求，摘要生成模型为pegasus预训练语言模型。
26、在其中一个实施例中，摘要评分模型为基于文本蕴含的bert模型。
27、一种基于对比学习的有监督文本摘要模型训练装置，所述装置包括：
28、文本获取模块，用于获取源文本和对应的目标摘要，并划分为训练集和测试集；
29、摘要生成模块，用于将测试集中的源文本输入预先构建的摘要生成模型，根据摘要生成模型中的编码器和解码器依次对源文本进行处理，生成候选摘要；
30、摘要评分模块，用于将训练集中的源文本和对应的目标摘要、以及候选摘要输入预先构建的摘要评分模型，根据摘要评分模型进行对比学习，计算得到候选摘要的文本蕴含评分和余弦相似度评分，将文本蕴含评分和余弦相似度评分的均值作为候选摘要的总体质量评分，并根据总体质量评分构建得到对比学习损失函数；
31、联合训练模块，用于根据对比学本文档来自技高网...
【技术保护点】
1.一种基于对比学习的有监督文本摘要模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，将所述训练集中的源文本和对应的目标摘要、以及所述候选摘要输入预先构建的摘要评分模型，根据所述摘要评分模型进行对比学习，计算得到所述候选摘要的文本蕴含评分和余弦相似度评分，包括：
3.根据权利要求2所述的方法，其特征在于，根据所述摘要评分模型对所述候选摘要与所述训练集中的源文本进行对比学习，计算得到所述候选摘要的文本蕴含评分，表示为
4.根据权利要求3所述的方法，其特征在于，根据所述摘要评分模型对所述候选摘要与所述训练集中的源文本对应的目标摘要进行对比学习，计算得到所述候选摘要的余弦相似度评分，表示为
5.根据权利要求4所述的方法，其特征在于，将文本蕴含评分和余弦相似度评分的均值作为所述候选摘要的总体质量评分，并根据所述总体质量评分构建得到对比学习损失函数，表示为
6.根据去哪里要求5所述的方法，其特征在于，根据所述对比学习损失函数和在摘要生成模型中引入的负对数似然损失函数，构建得到总损失函数，表示为p>
7.根据权利要求1或6所述的方法，其特征在于，针对英文文本的摘要生成请求，所述摘要生成模型为BART预训练语言模型；针对中文文本的摘要生成请求，所述摘要生成模型为PEGASUS预训练语言模型。
8.根据权利要求1至4任意一项所述的方法，其特征在于，所述摘要评分模型为基于文本蕴含的BERT模型。
9.一种基于对比学习的有监督文本摘要模型训练装置，其特征在于，所述装置包括：
10.根据权利要求9所述的装置，其特征在于，所述摘要评分模块还用于：
...【技术特征摘要】
1.一种基于对比学习的有监督文本摘要模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，将所述训练集中的源文本和对应的目标摘要、以及所述候选摘要输入预先构建的摘要评分模型，根据所述摘要评分模型进行对比学习，计算得到所述候选摘要的文本蕴含评分和余弦相似度评分，包括：
3.根据权利要求2所述的方法，其特征在于，根据所述摘要评分模型对所述候选摘要与所述训练集中的源文本进行对比学习，计算得到所述候选摘要的文本蕴含评分，表示为
4.根据权利要求3所述的方法，其特征在于，根据所述摘要评分模型对所述候选摘要与所述训练集中的源文本对应的目标摘要进行对比学习，计算得到所述候选摘要的余弦相似度评分，表示为
5.根据权利要求4所述的方法，其特征在于，将文本蕴含评分和余弦相似度...
【专利技术属性】
技术研发人员：丁兆云，赵雨，曹得琪，刘蔚柯，朱承，周鋆，刘斌，刘毅，朱先强，王菲，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。