一种面向小样本文本分析的统一提示调优方法技术

本发明专利技术公开一种面向小样本文本分析的统一提示调优方法，属于自然语言处理领域。包括通过一种新的统一范式POV，对训练样本进行数据增强；利用知识增强的选择性KSMLM进行自监督任务学习；最终对特定的下游任务，在小目标训练集上进行微调，来完成预训练语言模型面向小样本的各类文本分类任务。本发明专利技术提出了基于提示的统一调优框架，利用新的范式POV以及自监督的KSMLM，显式地从无目标数据集中捕获提示语义，既提高了预训练语言模型在小样本文本分析任务中的性能，又增强了泛化能力。又增强了泛化能力。又增强了泛化能力。

【技术实现步骤摘要】
一种面向小样本文本分析的统一提示调优方法


[0001]本专利技术属于自然语言处理领域，具体涉及一种面向小样本文本分析的统一提示调优方法。

技术介绍

[0002]随着人工智能的发展，预训练语言模型的出现提高了各种NLP任务的性能。然而，在微调过程中，由于模型过拟合，其在较少训练样本的情况下表现不佳。
[0003]最近，有一些工作关注超大型预训练语言模型上的多任务prompt
‑
tuning。具体来说，他们根据来自不同任务的全部训练样本来微调预训练语言模型，迫使预训练语言模型学习到更多的提示知识，并通过零样本学习直接对目标任务进行预测。然而，对于基于BERT
‑
style预训练语言模型，性能并不令人满意，主要是以下两个原因：(1)预训练语言模型对不同的prompt模板和verbalizers(语言生成器)的设计很敏感，这些模板和verbalizer不能适应于新的prompts和verbalizers的目标任务；(2)语料库中的prompt
‑
style文本和句子的词汇分布存在差异。...

【技术保护点】

【技术特征摘要】
1.一种面向小样本文本分析的统一提示调优方法，其特征在于，包括：首先，通过一种新的统一范式POV，对训练样本进行数据增强；利用知识增强的选择性KSMLM进行自监督任务学习；最终对特定的下游任务，在小目标训练集上进行微调，来完成PLM面向小样本的各类文本分类任务。2.根据权利要求1所述的一种面向小样本文本分析的统一提示调优方法，其特征在于，通过一种新的统一范式POV，对训练样本进行数据增强的方法，具体如下：步骤1.1：假设存在M个与目标任务T
*
不同的NLP任务：T
(1)
,
…
,T
(M)
；其训练集分别定义为D
(1)
,
…
,D
(M)
；对训练集进行分层抽样形成一个批次，其中从D
(1)
,
…
,D
(M)
中抽取一个训练样本i，其概率记为w
i
：其中，γ>0是平滑因子，k和k
′
均∈[1,M]，D
(k)
和D
(k
′
)
分别表示训练集中的第k个和第k
′
个数据集，i∈D
(k)
；步骤1.2：一个统一的prompt范式，它通过POV三元组来增强每个训练样本i；其中P
i
是用于提供任务指导的提示，O
i
是一个固定的表达，为模型提供所有候选标签词，V
i
是语言生成器，它将掩盖掉的token的输出映射到整个单词表V中；关于训练样本i，候选标签词tokenv∈V的输出概率q(v|i,P
i
,O
i
,Θ)计算如下：其中，候选标签词tokenv
′
∈V；Θ表示底层PLM的参数；s(v|i,P
i
,O
i
,Θ)是KSMLM...

【专利技术属性】
技术研发人员：练智超，王书娟，王盼盼，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：