一种基于对比学习的文本摘要辅助生成方法技术

本发明专利技术公开了一种基于对比学习的文本摘要辅助生成方法，首先构建了候选摘要生成模型，包含文本嵌入模块和源文本编码模块；文本嵌入模块将源文本分别进行词表分词、词嵌入和位置编码嵌入来获得源文本的嵌入向量；源文本编码模块则负责对源文本进行语义建模和特征提取，得到编码隐向量。然后基于自注意力结构来生成多条候选摘要。接着采用候选摘要生成模型的编码器网络获得句向量编码。最后，基于对比学习思想设计了一种新型排序损失函数，基于该损失函数对每一条候选摘要根据源文本进行语义相似度的有效评价，最终给出源文本最为合理的文本摘要。本发明专利技术有效缓解了高概率候选摘要与源本文的语义匹配度低的问题，能够实现高效的文本摘要辅助生成。效的文本摘要辅助生成。效的文本摘要辅助生成。

【技术实现步骤摘要】
一种基于对比学习的文本摘要辅助生成方法


[0001]本专利技术属于深度学习
，具体涉及一种文本摘要辅助生成方法。

技术介绍

[0002]文本摘要生成是一个相对来说比较主观的任务，因为每个源文本在事实上会有很多个优秀的参考摘要。但实际上现有的文本摘要数据集大多为单参考摘要数据集，并且这些参考摘要也并非是完全正确的，部分参考摘要同样面临完整性、流畅性等问题。这其中的主要原因在于数据集中的参考摘要也是人工撰写的，而人的思维是发散性的，对于同一篇文章不同撰写人的看法是不一样的，因此对于文本中重点信息的关注程度也不尽相同。此外，基于深度学习的文本摘要生成模型在训练过程中大多采用教师强迫训练机制和最大似然估计损失，使得模型倾向于生成低多样性的摘要，而训练与测试过程存在的曝光偏差问题和缺乏多参考摘要数据集问题更是加重了这一现象。
[0003]文献“Liu Y,Liu P.SimCLS:A Simple Framework for Contrastive Learning of Abstractive Summarization[C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing.2021:1065
‑
1072.”公开了一种基于深度学习的文本摘要生成方法。该方法构建了一个本文摘要生成框架SimCLS，将文本生成问题表述为一个无参考文献的评价问题，有效改善了目前占主导地位的序列到序列学习框架所带来的学习目标和评价指标之间的差距。但是，该方法存在以下问题：该方法使用集束搜索算法进行解码生成，返回多条候选摘要时与源文本匹配程度最高的候选摘要却隐藏在高概率候选摘要之后，而与源文本语义匹配程度最高的候选摘要往往也并非是匹配指标最高的候选摘要。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种基于对比学习的文本摘要辅助生成方法，首先构建了能够从源文本中获得候选摘要集合的候选摘要生成模型，包含文本嵌入模块和源文本编码模块；文本嵌入模块将源文本分别进行词表分词、词嵌入和位置编码嵌入来获得源文本的嵌入向量；源文本编码模块则负责对源文本进行语义建模和特征提取，得到编码隐向量。然后，根据编码隐向量，基于自注意力结构，通过设置集束搜索算法的不同采样参数来生成多条候选摘要。接着，构建了候选摘要评价模型，采用候选摘要生成模型的编码器网络，分别对候选摘要集合、源文本和参考摘要进行编码嵌入，获得句向量编码。进一步，根据候选摘要集合与参考摘要的相似度分数指标，按照从大到小的顺序对候选摘要进行评价，并重新进行排列。最后，基于对比学习思想设计了一种新型排序损失函数，基于该损失函数对每一条候选摘要根据源文本进行语义相似度的有效评价，最终给出源文本最为合理的文本摘要。由于本专利技术中的候选摘要评价模型，以生成模型的编码器结构为基础，所设计的对比学习排序损失函数能够对每一条候选摘要根据源文本进行语义相似度的
有效评价，有效缓解了高概率候选摘要与源本文的语义匹配度低的问题；同时候选摘要生成模型能有效扩展到当前主流的基于序列到序列生成结构的生成模型中，能够实现高效的文本摘要辅助生成。
[0005]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0006]步骤1：构建候选摘要生成模型；
[0007]所构建的候选摘要生成模型由两部分组成，分别是文本嵌入模块和源文本编码模块；其中，文本嵌入模块将源文本分别进行词表分词、词嵌入和位置编码嵌入来获得源文本的嵌入向量；源文本编码模块则负责对源文本进行语义建模和特征提取；
[0008]步骤2：基于所构建的候选摘要生成模型，根据编码隐向量和集束搜索算法生成候选摘要集合；
[0009]对编码隐向量通过构建解码器来获取候选摘要集合；解码器包括带掩码的自注意力网络、交叉注意力网络和前馈神经网络；带掩码的自注意力网络用于将之前时间步的文本信息解码输出，并进行前向编码；交叉注意力网络根据编码隐向量的计算，让模型从源文本中解码生成输出；最后将输出送入前馈神经网络进行特征变换与抽取，从而生成候选摘要集合；
[0010]步骤3：构建候选摘要评价模型；
[0011]候选摘要评价模型采用候选摘要生成模型的编码器网络，分别对候选摘要集合、源文本和参考摘要进行编码嵌入，获得句向量编码；接着，根据候选摘要集合与参考摘要的相似度分数指标即ROUGE
‑
1分数，按照从大到小的顺序对候选摘要进行评价，并重新进行排列；
[0012]步骤4：基于对比学习实现对文本摘要的辅助生成；
[0013]构建一个优化目标，该优化目标使ROUGE
‑
1分数排名与语义相似性分数成反比；
[0014]设计对比学习排序损失函数，通过对比学习，最终生成源文本的文本摘要。
[0015]进一步地，所述步骤1具体为：
[0016]文本嵌入模块包含两个部分，分别为词嵌入层和位置编码嵌入层；词嵌入层用于将输入文本根据上下文动态嵌入，得到具有上下文特征的动态词向量，其中词向量的维度大小为d；位置编码嵌入层为带可学习参数的编码嵌入，输入文本的当前位置，经过位置编码层得到位置编码向量，位置编码向量的维度大小同样为d；对于源文本嵌入，嵌入获得的动态词向量X
s
用如下公式描述：
[0017]X
s
＝PE(D)+WE(D)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]其中，WE为词嵌入，PE为位置编码嵌入，D为源文本；词嵌入层由模型在预训练过程中得到，通过在预训练语料上进行的预训练能使模型根据上下文完成对输入的动态嵌入；
[0019]源文本编码模块由N层子编码器组成，每层子编码器都包含两个子层：第一级子层是基于自注意力机制的神经网络，第二级子层是基于全连接的前馈神经网络，共同构成了一个完整的子编码系统；在每一子层内部，通过残差连接来提高信息流通性，并且通过层归一化处理确保前向和反向传播的稳定性；为了使每个子层之间和每个子编码器之间实现残差连接，模型每一子层与子编码器的输出均为维度大小为d的向量；源文本编码模块对输入文本进行特征提取，经过多个子编码器的语义编码，得到上下文隐藏层向量。
[0020]优选地，所述步骤2具体为：
[0021]将候选摘要生成模型获得的上下文隐藏层向量作为编码隐向量，根据编码隐向量和集束搜索算法生成候选摘要集合，对编码隐向量通过构建解码器来获取候选摘要集合；
[0022]解码器包含N个重复堆叠的子解码器；每个子解码器共包含四个子层，分别为带掩码的自注意力网络、两个相同的交叉注意力网络和一个前馈神经网络；为了在每个子层内实现残差连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的文本摘要辅助生成方法，其特征在于，包括如下步骤：步骤1：构建候选摘要生成模型；所构建的候选摘要生成模型由两部分组成，分别是文本嵌入模块和源文本编码模块；其中，文本嵌入模块将源文本分别进行词表分词、词嵌入和位置编码嵌入来获得源文本的嵌入向量；源文本编码模块则负责对源文本进行语义建模和特征提取；步骤2：基于所构建的候选摘要生成模型，根据编码隐向量和集束搜索算法生成候选摘要集合；对编码隐向量通过构建解码器来获取候选摘要集合；解码器包括带掩码的自注意力网络、交叉注意力网络和前馈神经网络；带掩码的自注意力网络用于将之前时间步的文本信息解码输出，并进行前向编码；交叉注意力网络根据编码隐向量的计算，让模型从源文本中解码生成输出；最后将输出送入前馈神经网络进行特征变换与抽取，从而生成候选摘要集合；步骤3：构建候选摘要评价模型；候选摘要评价模型采用候选摘要生成模型的编码器网络，分别对候选摘要集合、源文本和参考摘要进行编码嵌入，获得句向量编码；接着，根据候选摘要集合与参考摘要的相似度分数指标即ROUGE
‑
1分数，按照从大到小的顺序对候选摘要进行评价，并重新进行排列；步骤4：基于对比学习实现对文本摘要的辅助生成；构建一个优化目标，该优化目标使ROUGE
‑
1分数排名与语义相似性分数成反比；设计对比学习排序损失函数，通过对比学习，最终生成源文本的文本摘要。2.根据权利要求1所述的一种基于对比学习的文本摘要辅助生成方法，其特征在于，所述步骤1具体为：文本嵌入模块包含两个部分，分别为词嵌入层和位置编码嵌入层；词嵌入层用于将输入文本根据上下文动态嵌入，得到具有上下文特征的动态词向量，其中词向量的维度大小为d；位置编码嵌入层为带可学习参数的编码嵌入，输入文本的当前位置，经过位置编码层得到位置编码向量，位置编码向量的维度大小同样为d；对于源文本嵌入，嵌入获得的动态词向量X
s
用如下公式描述：X
s
＝PE(D)+WE(D)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，WE为词嵌入，PE为位置编码嵌入，D为源文本；词嵌入层由模型在预训练过程中得到，通过在预训练语料上进行的预训练能使模型根据上下文完成对输入的动态嵌入；源文本编码模块由N层子编码器组成，每层子编码器都包含两个子层：第一级子层是基于自注意力机制的神经网络，第二级子层是基于全连接的前馈神经网络，共同构成了一个完整的子编码系统；在每一子层内部，通过残差连接来提高信息流通性，并且通过层归一化处理确保前向和反向传播的稳定性；为了使每个子层之间和每个子编码器之间实现残差连接，模型每一子层与子编码器的输出均为维度大小为d的向量；源文本编码模块对输入文本进行特征提取，经过多个子编码器的语义编码，得到上下文隐藏层向量。3.根据权利要求2所述的一种基于对比学习的文本摘要辅助生成方法，其特征在于，所述步骤2具体为：将候选摘要生成模型获得的上下文隐藏层向量作为编码隐向量，根据编码隐向量和集束搜索算法生成候选摘要集合，对编码隐向量通过构建解码器来获取候选摘要集合；
解码器包含N个重复堆叠的子解码器；每个子解码器共包含四个子层，分别为带掩码的自注意力网络、两个相同的交叉注意力网络和一个前馈神经网络；为了在每...

【专利技术属性】
技术研发人员：郭哲，张智博，周炜杰，王毅，樊养余，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：