基于对偶对比学习的零样本关系抽取方法和系统技术方案

本发明专利技术涉及软件检测技术领域，提出一种基于对偶对比学习的零样本关系抽取方法和系统，其中方法包括：获取样本数据集，将样本数据集分为训练集、验证集和测试集；对训练集进行预处理；对预处理后的样本进行编码，结合位置编码，得到各样本的向量表示，对训练集中样本的标签进行编码，得到各标签的向量表示；结合样本层的对比学习和标签层的对比学习计算模型损失，计算模型损失后构建关系抽取模型；将验证集输入关系抽取模型，得到最优关系抽取模型；将测试集输入优化后的关系抽取模型，得到语义匹配的结果作为零样本关系抽取结果。根据本发明专利技术的方案，保证零样本关系抽取的高效和精准，解决了现有技术中对零样本关系抽取迫切需求的问题。求的问题。求的问题。

【技术实现步骤摘要】
基于对偶对比学习的零样本关系抽取方法和系统


[0001]本专利技术涉及信息检测
，尤其涉及一种基于对偶对比学习的零样本关系抽取方法、系统、电子设备以及计算机可读存储介质。

技术介绍

[0002]随着互联网的发展，网上的信息爆发式的增长，人们每天不仅要接收大量新的知识和新闻，同时，互联网上每天也会出现海量新的实体和关系类型。而关系抽取技术就是一种通过给定的上下文信息和目标实体（包括头实体和尾实体），判断两个实体之间是何种关系的技术。而在以往的研究中，研究者们主要集中于标签（即头尾实体的关系名称，例如北京和中国的关系是首都，首都即为关系名称）完全确定的关系抽取。即预定义目标关系类型之后，标注大量对应的样本，然后通过训练机器学习或者深度学习模型，来判断新的样本和头尾实体的关系类型。然而，这种方法不适用于关系类型空间持续扩大的场景，也就是说，在关系类型不断增加的实际场景中，我们需要更加灵活的关系抽取方法。随之而来的研究是针对零样本的关系抽取方法，即给定一些新的关系类型，但是没有对应的已标注数据集。模型需要通过自己学习得到了一些知识，结合新的样本上下文信息，来判断关系类型。这种技术需求迫切，其下游应用场景也极为广泛，比如知识图谱动态扩充，问答系统，检索系统等等，但是其实现难度较大。

技术实现思路

[0003]本专利技术的目的在于解决
技术介绍
中的至少一个技术问题，提供一种基于对偶对比学习的零样本关系抽取方法、系统、电子设备以及计算机可读存储介质。
[0004]为实现上述专利技术目的，本专利技术提供一种基于对偶对比学习的零样本关系抽取方法，包括：获取样本数据集，根据所述样本数据集中的样本的标签将所述样本数据集分为训练集、验证集和测试集；对所述训练集进行预处理，得到所述训练集中目标实体的位置编码；采用DeBERTa模型对预处理后的所述训练集中的各样本进行编码，结合所述位置编码，得到各样本的向量表示，对所述训练集中的各样本的标签进行编码，得到各标签的向量表示；结合对各样本的向量表示进行的样本层的对比学习以及对各标签的向量表示进行的标签层的对比学习计算模型损失，计算模型损失后优化所述DeBERTa模型作为关系抽取模型；将验证集进行所述预处理并得到其中各样本的向量表示以及各标签的向量表示后输入所述关系抽取模型，获取并保存验证集中样本与标签的语义相似度最高的最优关系抽取模型用于所述测试集；将测试集进行所述预处理并得到其中各样本的向量表示以及各标签的向量表示
后输入所述最优关系抽取模型，得到语义匹配的结果作为零样本关系抽取结果。
[0005]根据本专利技术的一个方面，所述位置编码具有两个向量表示，其中第一个向量表示样本中的每个单词与所述目标实体的头实体的相对位置关系，第二个向量表示样本中的每个单词与所述目标实体的尾实体的相对位置关系。
[0006]根据本专利技术的一个方面，采用DeBERTa模型对预处理后的所述训练集中的各样本进行编码，结合所述位置编码，得到各样本的向量表示为：使用DeBERTa模型对各样本进行编码，随后拼接所述第一个向量表示和所述第二个向量表示，经过双层神经网络，得到各样本的向量表示。
[0007]根据本专利技术的一个方面，对所述训练集中的各样本的标签进行编码，得到各标签的向量表示为：获取各所述标签的现有描述文本片段，将各所述描述文本片段进行编码，将编码后的各所述描述文本片段输入所述双层神经网络，通过所述双层神经网络的平均池化层得到各所述标签的向量表示。
[0008]根据本专利技术的一个方面，所述样本层的对比学习为：将各样本轮流作为对照样本，将其他未作为所述对照样本时的样本与当前所述对照样本进行对比，与所述对照样本标签相同的样本作为正样本，与所述对照样本标签不同的样本作为负样本。
[0009]根据本专利技术的一个方面，所述标签层的对比学习为：将所述训练集中存在的标签轮流作为对照标签，将属于当前所述对照标签的样本作为正样本，不属于当前所述对照标签的样本作为负样本。
[0010]为实现上述目的，本专利技术还提供一种基于对偶对比学习的零样本关系抽取系统，包括：数据获取分类模块，获取样本数据集，根据所述样本数据集中的样本的标签将所述样本数据集分为训练集、验证集和测试集；预处理模块，对所述训练集进行预处理，得到所述训练集中目标实体的位置编码；数据编码模块，采用DeBERTa模型对预处理后的所述训练集中的各样本进行编码，结合所述位置编码，得到各样本的向量表示，对所述训练集中的各样本的标签进行编码，得到各标签的向量表示；模型构建模块，结合对各样本的向量表示进行的样本层的对比学习以及对各标签的向量表示进行的标签层的对比学习计算模型损失，计算模型损失后优化所述DeBERTa模型作为关系抽取模型；模型优化模块，将验证集进行所述预处理并得到其中各样本的向量表示以及各标签的向量表示后输入所述关系抽取模型，获取并保存验证集中样本与标签的语义相似度最高的最优关系抽取模型用于所述测试集；测试模块，将测试集进行所述预处理并得到其中各样本的向量表示以及各标签的向量表示后输入所述最优关系抽取模型，得到语义匹配的结果作为零样本关系抽取结果。
[0011]为实现上述目的，本专利技术还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于对偶对比学习的零样本关系抽取方法。
[0012]为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述基于对偶对比学习的零样本关系抽取方法。
[0013]根据本专利技术的上述方案，本专利技术利用DeBERTa模型来作为语义匹配的基础模型进行调优训练，采用了有监督对比学习来提升模型的表达能力，基于此，形成对偶对比学习和语义匹配的训练策略来适应零样本关系抽取，保证零样本关系抽取的高效和精准，解决了现有技术中对零样本关系抽取迫切需求的问题。
附图说明
[0014]图1示意性表示根据本专利技术的基于对偶对比学习的零样本关系抽取方法的流程图；图2示意性表示根据本专利技术的基于对偶对比学习的零样本关系抽取系统的结构框图。
具体实施方式
[0015]现在将参照示例性实施例来论述本专利技术的内容。应当理解，论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本专利技术的内容，而不是暗示对本专利技术的范围的任何限制。
[0016]如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
[0017]为了解决上述
技术介绍
中提及的技术问题，更好的进行零样本关系抽取，本专利技术对零样本关系抽取问题进行了深入分析，发现零样本关系抽取可以通过基于语义匹配的模型框架来解决。例如，在句子（样本）“北京是中国的首都，拥有大量的高质量教育资源”中，给定头实体是北京，尾实体是中国，假设零样本关系抽取的标签中有{首都，包含，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对偶对比学习的零样本关系抽取方法，其特征在于，包括：获取样本数据集，根据所述样本数据集中的样本的标签将所述样本数据集分为训练集、验证集和测试集；对所述训练集进行预处理，得到所述训练集中目标实体的位置编码；采用DeBERTa模型对预处理后的所述训练集中的各样本进行编码，结合所述位置编码，得到各样本的向量表示，对所述训练集中的各样本的标签进行编码，得到各标签的向量表示；结合对各样本的向量表示进行的样本层的对比学习以及对各标签的向量表示进行的标签层的对比学习计算模型损失，计算模型损失后优化所述DeBERTa模型作为关系抽取模型；将验证集进行所述预处理并得到其中各样本的向量表示以及各标签的向量表示后输入所述关系抽取模型，获取并保存验证集中样本与标签的语义相似度最高的最优关系抽取模型用于所述测试集；将测试集进行所述预处理并得到其中各样本的向量表示以及各标签的向量表示后输入所述最优关系抽取模型，得到语义匹配的结果作为零样本关系抽取结果。2.根据权利要求1所述的基于对偶对比学习的零样本关系抽取方法，其特征在于，所述位置编码具有两个向量表示，其中第一个向量表示样本中的每个单词与所述目标实体的头实体的相对位置关系，第二个向量表示样本中的每个单词与所述目标实体的尾实体的相对位置关系。3.根据权利要求2所述的基于对偶对比学习的零样本关系抽取方法，其特征在于，采用DeBERTa模型对预处理后的所述训练集中的各样本进行编码，结合所述位置编码，得到各样本的向量表示为：使用DeBERTa模型对各样本进行编码，随后拼接所述第一个向量表示和所述第二个向量表示，经过双层神经网络，得到各样本的向量表示。4.根据权利要求3所述的基于对偶对比学习的零样本关系抽取方法，其特征在于，对所述训练集中的各样本的标签进行编码，得到各标签的向量表示为：获取各所述标签的现有描述文本片段，将各所述描述文本片段进行编码，将编码后的各所述描述文本片段输入所述双层神经网络，通过所述双层神经网络的平均池化层得到各所述标签的向量表示。5.根据权利要求4所述的基于对偶对比学习的零样本关系抽取方法...

【专利技术属性】
技术研发人员：张世琨，叶蔚，李博，谢睿，
申请(专利权)人：北京大学，
类型：发明
国别省市：