基于提示对比学习的持续学习下小样本关系抽取方法技术

本申请涉及一种基于提示对比学习的持续学习下小样本关系抽取方法。所述方法包括：将基于提示的数据输入预训练BERT模型获得句子的向量表示并将句子的向量表示映射到低维嵌入空间，得到隐藏表示；对隐藏表示进行归一化处理，得到规范化嵌入表示；根据标签集上的概率分布、隐藏表示、规范化嵌入表示和数据增强策略构建初始CFRE模型的总损失函数，利用训练数据集和总损失函数对初始CFRE模型进行训练，最小化初始CFRE模型的损失函数来优化模型中的参数，根据对比学习和知识蒸馏方法对初始持续小样本关系抽取模型进行优化，利用持续小样本关系抽取模型进行关系抽取。采用本方法能够提高实体关系抽取准确率。提高实体关系抽取准确率。提高实体关系抽取准确率。

【技术实现步骤摘要】
基于提示对比学习的持续学习下小样本关系抽取方法


[0001]本申请涉及数据处理
，特别是涉及一种基于提示对比学习的持续学习下小样本关系抽取方法。

技术介绍

[0002]关系抽取(RE)在知识抽取和管理中起着至关重要的作用，它可以用于自然语言处理中的一系列任务，如问答、文本理解等。给定一个带有注释实体对e1和e2的句子x，RE的任务旨在通过将其分类到预定义的关系R
k
集合中来识别实体对之间的关系。传统的RE模型需要一个预定义的固定关系集，它只能将句子中实体对之间的关系划分到固定关系集中的一个类别中。然而，由于现实世界是开放的，新数据的出现导致关系的数量不断增加。针对这种情况，提出了持续关系抽取范式。
[0003]在现有的研究中，大多数CRE模型都假设后续任务有足够的可用于训练的标记数据。然而，在现实世界中，大多数关系都没有足够的标记数据，特别是对于新出现的关系来说。因此，考虑到获取足够多的标记数据代价高昂，秦等人提出了持续小样本关系抽取，该方法要求模型从很少的训练例中学习新的关系，同时不忘记旧的关系。目前的CFRE本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于提示对比学习的持续学习下小样本关系抽取方法，其特征在于，所述方法包括：获取任务集和初始CFRE模型；所述任务集中包含多个任务；所述每个任务包含各自的训练数据集；所述数据集包含多个训练样本；所述训练样本包括多个句子；对任务中的句子进行信息增强，得到增强后的句子；根据预先构建的模板映射函数对所述增强后的句子进行映射，得到基于提示的数据；将所述基于提示的数据输入预训练BERT模型获得句子的向量表示，根据句子的向量表示计算得到标签集上的概率分布；利用投影头将所述句子的向量表示映射到低维嵌入空间，得到隐藏表示；对所述隐藏表示进行归一化处理，得到规范化嵌入表示；在每个任务中根据所述标签集上的概率分布、隐藏表示、规范化嵌入表示和数据增强策略构建初始CFRE模型的总损失函数，利用所述训练数据集和所述总损失函数对初始CFRE模型进行训练，最小化所述初始CFRE模型的损失函数来优化模型中的参数，得到初始持续小样本关系抽取模型；根据对比学习和知识蒸馏方法对所述初始持续小样本关系抽取模型进行优化，得到持续学习下小样本关系抽取模型；利用所述持续学习下小样本关系抽取模型进行关系抽取。2.根据权利要求1所述的方法，其特征在于，对任务中的句子进行信息增强，得到增强后的句子，包括：对任务中的句子进行信息增强，得到增强后的句子为x
aug
＝{w1,...,[E
11
],e1,[E
12
],...,[E
21
],e2,[E
22
],...,w
x
}其中，w
x
表示句子中的单词，[E11]、[E12]、[E21]和[E22]均表示特殊标记，e1和e2表示句中的头实体和尾实体。3.根据权利要求2所述的方法，其特征在于，根据预先构建的模板映射函数对所述增强后的句子进行映射，得到基于提示的数据，包括：根据预先构建的模板映射函数对所述增强后的句子进行映射，得到基于提示的数据为x
prompi
＝T(x
aug
)＝I think e1is[MASK]of e2[SEP]x
aug
其中，T(
·
)表示模板映射函数，[MASK]表示任务位置，[SEP]表示句子分隔符。4.根据权利要求3所述的方法，其特征在于，所述初始CFRE模型的总损失函数包括交叉熵损失函数、句子特征混合损失函数和对比损失函数；在每个任务中根据所述标签集上的概率分布、隐藏表示、规范化嵌入表示和数据增强策略构建初始CFRE模型的总损失函数，包括：根据所述标签集上的概率分布构建交叉熵损失函数；根据数据增强策略对所述隐藏表示和所述隐藏表示对应的类标签进行线性插值计算，得到插值结果；利用所述插值结果构建句子特征混合损失函数；根据规范化嵌入表示构建对比损失函数；利用所述交叉熵损失函数、句子特征混合损失函数和对比损失函数构建所述初始CFRE模型的总损失函数为L
All
＝α1·
L
CE
+α2·
L
SM
+α3·
L
CL
其中，L
CE
表示交叉熵损失函数，L
...

【专利技术属性】
技术研发人员：谭真，张翀，吴菲，庞宁，赵翔，葛斌，肖卫东，唐九阳，潘岩，胡艳丽，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：