一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法技术

本发明专利技术涉及一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，属于计算机自然语言处理技术领域。本发明专利技术包括步骤：1、将预训练语言模型进行知识蒸馏；2、对学生模型进行模型自身和模型之间的二阶段一致性正则训练；与现有技术相比，本发明专利技术方法采用基于二阶段一致性正则和知识蒸馏的熵约束伪标签技术，能够在资源有限的情况下训练出较高性能的抽取式文本摘要模型，具有很强的实用性。

【技术实现步骤摘要】

本专利技术涉及一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，属于计算机自然语言处理。

技术介绍

1、当前的文本摘要研究领域，尽管大型深度预训练语言模型(plm)在微调下游任务时表现出色，但其庞大的参数量对于资源受限的设备而言是一个不小的挑战。此外，高性能的文本摘要模型依赖于大量高质量的标注数据，而获取这些数据往往代价昂贵。

2、因此，如何在有限的标注样本和轻量级模型的约束下提升自动文本摘要模型的性能已经成为亟待解决的问题。

技术实现思路

1、本专利技术的目的是为了解决有限的标注样本和轻量级模型的约束下提升自动文本摘要模型的性能的技术问题，提出一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法。

2、本专利技术的工作流程为：首先，使用任务无关的知识蒸馏技术，将全参数两的预训练语言模型作为教师模型在wiki语料库上蒸馏出更轻量的两个学生模型。然后，使用二阶段一致性正则方法对两个学生模型在含有大量无监督数据和少量的有监督的数据集上进行协同训练。最后，在训练的过程中使用基于熵约束的伪标签技术本文档来自技高网...

【技术保护点】

1.一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，其特征在于：包括以下步骤，

2.如权利要求1所述的一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，其特征在于：步骤1实现方法为，

3.如权利要求1所述的一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，其特征在于：步骤2.1实现方法为，

4.如权利要求1所述的一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，其特征在于：步骤2.2实现方法为，

【技术特征摘要】

1.一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，其特征在于：包括以下步骤，

2.如权利要求1所述的一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，其特征在于：步骤1实现方法为，

3.如权...

【专利技术属性】
技术研发人员：赵三元，沈一豪，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：